Внедрение LLM в модерацию: от PoC до целевого решения — Илья Чумак, Авито

Илья Чумак в своем докладе на Data Fest рассказал о том как устроена команда модерации и о подходах работы с LLM. 00:00:04 Введение и проблемы модерации 00:01:02 Цель внедрения LLM 00:01:29 Этапы внедрения 00:02:08 Создание проверок и метрики 00:03:11 Оценка качества 00:04:02 Выбор модели и ограничения 00:05:29 Режим работы модели 00:06:10 Автоподбор промтов 00:09:21 Админка и мониторинг 00:10:20 Файн-тюнинг и инференс 00:11:24 Роль ML-моделей 00:12:04 Vision токены и оптимизации 00:13:02 Guardrails 00:13:38 Продакшн 00:14:15 Основные выводы 00:15:14 Вопросы о метриках и сравнении методов 00:17:15 Использование информации о пользователе 00:19:05 Автоматизация промптов 00:19:38 Гардрейлы и защита от обхода модерации 00:20:39 Процесс улучшения промптов 00:22:28 Применение LM для модерации 00:23:12 Борьба с попытками взлома модерации AvitoTech — это команда инженеров Авито. Подпишитесь на наш канал, соцсети и блоги, чтобы узнавать больше о технологиях Авито 👇🏻 ВК: https://vk.com/avitotech Телеграм: https://clc.to/-YHGlg Хабр: https://habr.com/ru/company/avito Гитхаб: https://github.com/avito-tech RuTube: https://rutube.ru/channel/30462632/ Дзен: https://dzen.ru/avitotech Сайт: https://clc.to/l5ZqRA