Вера Романцова. Менеджер данных: кому нужен и с чем поможет.

В задачах машинного обучения данные не менее важны, чем модели. Чтобы собрать чистые данные, нужно постараться. Например, нужно перевести бизнес-постановку в пайплайн для крауда, поддерживать качество разметки и постоянно делать аналитику на предмет слабых мест датасета. Часто могут возникать сложности по типу как получить разметку на 100 классов или как добрать в датасет примеров с классом, который один на миллион. По статистике, в нашей команде, на сбор данных требуется 80% от суммарного времени на задачу. Изначально задачами с данными у нас занимались ML-инженеры. Для них тяжело одновременно держать контексты данных и алгоритмов. У инженеров хорошо получается заниматься моделями, а вот следить за согласованностью разметки, планировать бюджет на неё и быть эмпатичными к крауду — не очень. Поэтому мы выделили отдельную роль и назвали её «менеджер датасетов». В этом докладе: - Обсудим, какие задачи решаются менеджером датасетов - Взаимодействие: что ему нужно от команды, а что команде от него - Как можно помочь менеджеру датасетов: полезные инструменты и сервисы - Когда вам может быть полезна эта роль, а когда нет - На что обращать внимание при поиске человека на эту позицию - И, конечно же, покажем трудности разметки: гигантские пайплайны, сложности формализации, недостаток данных. Сайт – https://codefest.ru Презентация – https://disk.yandex.ru/i/7EKLuHwwwn1XwA