Автор: канал Listen IT · по материалам Димы Склярова и «Технократии», с дополнениями; второй материал — перевод статьи Sahin Ahmed
Ассистент нашёл документ, подробно объяснил поведение API и приложил ссылку. Ответ выглядит проверяемым. Но если документ описывает запланированное изменение, а не работающую версию системы, аккуратный пересказ всё равно введёт пользователя в заблуждение.
В выпуске Listen IT о RAG этот риск объясняется через устройство всей системы, а не только вызов языковой модели. Прежде чем модель начнёт отвечать, документы нужно получить, разобрать, разделить на фрагменты и найти среди них подходящие. Ошибка на любом из этих этапов может превратиться в убедительный ответ по неверному источнику.
Поэтому самый полезный вопрос здесь — не «какую модель подключить», а «почему именно этот фрагмент оказался в её контексте». Отдельно важны версия документа, его статус и право пользователя видеть найденную информацию.
Кому смотреть: разработчикам и аналитикам, которые проектируют поиск по внутренней документации, корпоративного ассистента или поддержку с ответами по базе знаний.
Из этого можно взять в работу: при проверке ответа сохранять не только итоговый текст, но и разбирать, какие документы система нашла, почему выбрала их и к какой версии продукта они относятся.
Выпуск разделяет подготовку данных и обработку пользовательского вопроса. Источники остаются основным местом хранения знаний: если документация живёт в репозитории или Confluence, RAG не должен превращаться в забытую копию. Индекс нужно обновлять вслед за изменениями.
Разбиение текста тоже влияет на результат. Маленький фрагмент может потерять условие или исключение, а большой — объединить несколько разных тем. Для технической документации предлагается учитывать структуру: разделы, endpoints, таблицы, сценарии и блоки кода, а не просто отрезать одинаковое количество символов.
Поиск обсуждается на примере сочетания смысловой близости и точных совпадений. Формулировки пользователя и документа могут различаться, но название параметра или код ошибки часто нужно найти буквально. Затем повторное ранжирование помогает выбрать из найденных кандидатов фрагменты для окончательного контекста.
Особенно важны метаданные. В разобранном примере ассистент должен объяснить отмену заявки по актуальной спецификации, не перепутав систему, роль пользователя и состояние документа. Найти похожий текст недостаточно: нужно отличить действующее правило от будущего предложения и учитывать ограничения доступа.
RAG не требует дообучения самой модели. Найденные материалы добавляются к запросу во время работы системы. Это позволяет обновлять используемые знания отдельно от модели, но не гарантирует правильного ответа: плохой поиск, устаревшие источники и потерянный контекст остаются инженерными проблемами, которые одной инструкцией «не выдумывай» не устранить.