Автор: Екатерина Давыдова · AvitoTech
Екатерина Давыдова — программный менеджер в Авито, ведёт внутреннюю программу, которая объединяет все GenAI-команды компании. Авито — один из крупнейших классифайдов мира, и в этой связи их опыт выстраивания работу с GenAI отличается от опыта стартапов с «чистым листом».
Доклад начинается с конкретной ситуации: к продуктовой команде приходит CEO и говорит «давайте уже что-нибудь запустим на AI, иначе будет поздно» — и команда не понимает ни где брать идеи, ни какие ресурсы нужны, ни как вообще двигаться. Давыдова прошла через это с десятками команд и рассказывает, что работает на каждом из пяти этапов: от генерации идей до масштабирования.
Формат — не история успеха, а производственный разбор. Что делать на каждом шаге, какие этапы выпадают при планировании и потом больно бьют, и почему «80% компаний сказали что начали что-то внедрять, но только 10% смогли объяснить — что именно».
Кому смотреть: продуктовым лидерам, которым пришла задача «запустить что-то на GenAI» — и которые хотят понять, с чего начинать и где обычно закапываются.
Из этого можно взять в работу: WizardOfOz-эксперимент. До того как у вас есть рабочая модель, посадите человека имитировать AI в диалоге с пользователями. Вы начнёте собирать паттерны запросов, проверять первые гипотезы и снимать метрики — не написав ни строчки кода для самой модели.
Этап 1 — генерация идей. Авито проводит воркшопы для продуктовых команд: объясняют что такое LLM, где технология хороша, где лучше применить классические модели или просто запрограммировать логику. Показывают кейсы Авито с конкретными эффектами и нишевый обзор рынка — под конкретную команду. Выход — не «абстрактный конь в вакууме», а проработанные гипотезы с конкретной болью пользователя. Пример из доклада: «хочу сделать саммаризацию отзывов, потому что LLM хорошо справляется со структуризацией контента, а пользователи не хотят читать большую простыню».
Этап 2 — отбор идей. Помимо стандартного RICE, в Авито добавили два критерия: маркетинговый потенциал (будут ли о продукте говорить на рынке, не будет ли стыдно рассказать на следующей конференции) и технологичность (какую дополнительную экспертизу компания приобретёт). Но первично — бизнес-потенциал: модную фичу без веры в монетизацию не берут.
Этап 3 — экономика. Как считать эффект от GenAI в сложном продукте: если LLM — неотъемлемая часть (убрать = продукта нет), берут весь продукт целиком. Статьи расходов, которые часто выпадают из расчётов: инференс (своё железо или токены), дополнительная экспертиза в команде, хранение данных. И отдельно — дата-центры: аренда, электроэнергия, обслуживание. «Люди считают стоимость GPU, а это очень большая статья расхода» — Давыдова выделяет это явно.
Этап 4 — разработка. Три ключевых инструмента:
-
3-ступенчатая система до MVP: Proof of Technology — быстрый прототип «на коленке» на самых больших доступных моделях, проверка что задуманное реализуемо и какой технологический потолок. Затем PC с UX на целевых технологиях — его можно дать потрогать и использовать как базу для MVP. Затем MVP/MLP.
-
Ранняя проверка ценности: Friends & Family — выпустить PC для сотрудников Авито, на следующий день получить фидбэк от лояльной аудитории. WizardOfOz — человек на бэкенде общается с реальными пользователями, имитируя AI, используя PC как инструмент. Позволяет начать собирать паттерны запросов, проверять гипотезы и снимать первые метрики до того, как модель готова.
-
Оценка качества: LLM-продукт нельзя протестировать тест-кейсами — 10 одинаковых запросов дают 100 разных ответов. Нужен evaluation-фреймворк: ручная разметка + LLM-judge (одна модель оценивает результат другой по критериям). Это встраивается в непрерывный пайплайн — иначе непонятно, улучшение принесло изменение или «просто заменили один шум на другой».
Правовые и PR-риски (Давыдова выделяет это в отдельную рубрику): закон о персональных данных — нельзя передавать за пределы РФ, поэтому либо своя модель, либо локальная. Соглашение с вендором — имеет ли право обучать на ваших данных. Авторские права — модель может процитировать закрытый контент. Guardrails — защита от провокационных запросов и нежелательных ответов — это не разовая настройка, а «гонка вооружений»: команда защиты строит защиту, команда атаки пытается её сломать.
Этап 5 — масштабирование. До этого этапа доходят только продукты, уже показавшие ценность — остальные отваливаются раньше. Три обязательных мониторинга: качество модели на проде (чтобы не деградировала без изменений), user experience (latency), стоимость инференса (чтобы диалог не стоил дороже, чем можно заработать). Плюс платформизация — общая LLM-платформа для доступа к моделям и переиспользуемые компоненты, чтобы следующая команда собирала продукт из готовых кубиков.