#какэтоработает #интервью Всем привет! Заметили, как быстро мы пересаживаемся на ИИ? Теперь LLM (Большие языковые модели) везде: в мессенджерах, в поисковиках, в чатах поддержки. Как формирует свои ответы LLM? Сегодня в гостях у Техписалити! — создатель Робота Макса на Госуслугах и автор канала ИИ что дальше Никита Устриков. Спросили у Никиты, как же появляется База знаний для ИИ — Никита, для пользователей ответы нейромоделей — это некая магия, которая появляется внезапно. А как на самом деле она формирует ответ? — Сама по себе большая языковая модель после обучения — это сложный механизм предсказания следующего слова. Она не думает, а генерирует текст, который статистически похож на человеческий. Как очень и очень продвинутый автопродолжатель. — А чтобы нейромодель могла отвечать на вопросы пользователей по документации, мы можем просто скинуть ей текст? — «Загрузка» документации в саму модель — это сложный процесс тонкой настройки. Например, в чатах поддержки используется RAG (Retrieval-Augmented Generation). Модель не ищет ответ в общих знаниях, а работает как умный анализатор: с помощью поиска мы находим вo внутренней базе знаний релевантные документы и передаём их модели. Её задача — проанализировать именно эти документы и сформулировать ответ. — Если в документации переиспользуют фрагменты текста в разных частях документации, может это повлиять на результат поиска? — Вряд ли переиспользование текста повлияет на качество генерации, то есть на работу самой нейромодели. Большое количество одинаковых фрагментов может повлиять на качество поиска, на его сбалансированность, и в этом случае генерация может ухудшиться. — Если не говорить о разработке и Data Science, есть ли ещё какие-то особенности создания базы знаний именно для нейромодели? — Важно подготовить ответы на предположительные вопросы, но не пытаться предугадать все. На старте любого сервиса 20% уникальных вопросов покрывают 80% запросов. В Роботе Максе есть система, которая анализирует диалоги операторов с клиентами, обезличивает их и предлагает сгенерированные ответы для базы знаний. Конечно, эти ответы проверяет человек. Но в целом это сокращает время реакции на новые, непредсказуемые запросы пользователей. — Спасибо за ответы! Если хотите глубже погрузиться в тему ИИ, рекомендуем канал Никиты. Наш топ постов: Понять нейросеть за 2 минуты Парадокс тупости или коллапс модели Шок-контент