E-mail: mxrynd@ispras.ru
Образование:
- бакалавриат, ФУПМ МФТИ (2013-2017)
- магистратура, ФУПМ МФТИ (2017-2019)
- аспирантура, ИСП РАН (2019-н.в.)
Научные интересы:
- методы адаптации к домену и переноса знаний (domain adaptation, transfer learning)
- онлайн обучение (online learning, online data mining, lifelong machine learning)
- обработка текстов на естественном языке (natural language processing), векторное представление слов/предложений/текстов/etc (word/etc embeddings)
- генеративные модели
- активное и проактивное обучение
Кроме научных интересов:
Если вам нужен тех диплом(ВШЭ)/не нужен диплом/просто хочется прогерских задачек, то можно посмотреть и сюда
- занимаюсь писанием всякого бэкенда. В основном Scala(play, slick, sangria, akka), для простых штук Python
- инфраструктура и деплой для машинного обучения
Примеры тем и направлений исследований
Активное обучение и перенос знаний для сегментации документов.
Есть необходимость научиться минимальной кровью решать следующую задачу: при анализе всяких относительно структурированных документов (как например научных статей) полезным первым шагом может быть выделение всяких сложных элементов по типу таблиц, списков, да и структуры документа в целом. Можно легко обучаться решать такие задачи на открытых наборах данных, а как полученные модельки будут вести себя у заказчика — непонятно (а часто реальные примеры смотреть нельзя, т.к. они , например, содержат коммерческую тайну).
Задача состоит в том, чтобы разработать алгоритм, который будет просить владельца целевых документов разметить некоторое количество его документов (эту величину мы минимизируем) для того, чтобы дообучить модельки и они начали хорошо справляться с целевой задачей.
Совместная тема с Ильёй Козловым.
Стратегии сбора обратной связи и дообучения в задаче NERC и RelExt
Есть задача: по данному тексту выделить из него все именованные сущности, классифицировать их и выделить все связи между ними. У нас нету данных для целевой предметной области. Хочется устроить работу пользователя системы так, чтобы он вначале выполнял эту работу вручную, а мы на основании его действий могли строить обучающую выборку и в какой-то момент построить модельки NERC и RelExt, которые будут ему в его работу помогать. Ну и далее по ходу работы корректировать эти модельки. Подзадачи здесь: составление обучающей выборки, выбор моментов (до)обучение, контроль качества и версий модели.
Мониторинг состояния модели машинного обучения в условиях меняющейся среды (ниже написано больше, чем на одну работу)
1) Выбор примеров для контроля качества. Сравнить разные стратегии: равномерный семпл, равномерный по уверенности семпл, наиболее далекие по расстоянию примеры, примеры с наибольшим покрытием.
2) Контроль качества без меток. Оценка качества работы по смещению распределения ответов исследуемой модели. Предсказание изменения распределения данных, сравнение эффективности стат тестов и использования машинного обучения. Выбор минимального представителя распределения для сравнения в будущем.
3) Контроль качества моделей над текстовыми данными на синтетических задачах. Одновременно с основной моделью учится (в мультитаск стиле) несколько вспомогательных (языковая модель, предсказание частей речи, предсказание заглавной буквы и др). Деградация основной модели оценивается по деградации вспомогательных.
Краудсорсинговая разметка в машинном обучении (ниже написано больше, чем на одну работу)
С проблемой того, что размечать данные дорого, можно пытаться бороться путем разметки несколькими дешевыми, но менее квалифицированными экспертами.
Возникает вопрос оценки качества разметки. Предлагается поисследовать в одном из направлений:
1) Выбор примеров для контроля качества — предположим, что мы можем разметить дорогим надежным экспертом немного примеров, чтобы на них проверить, правильно ли размечают эксперты. Вот и встает вопрос некого аналога активного выбора примеров для неизвестных экспертных стратегий.
2) Контроль качества без меток. Стратегии на основе измерения внешних метрик по типу согласия и пр.
3) Агреггация ответов нескольки экспертов. Сравнить бустинг, голосование, эвристику по порогам и теоретико-игровые алгоритмы взвешивания экспертных стратегий (по типу экспоненциального взвешивания). Взять сразу несколько подходов и фичей выше, и бустинг над выходами.
4) Активное взвешивание экспертных стратегий, оценки регрета, состоятельность.
5) Взвешивание экспертных стратегий в нестационарных ансамблях эспертов: растущих, случайных.
Непрерывно инкрементально обучающиеся в мультитаск стиле нейросетевые модели над текстовыми данными (ниже написано больше, чем на одну работу)
Посравнивать разные стратегии lifelong обучения для нейросетевых моделей. Адаптировать progressive архитектуру для рекуррентных сетей. Сравниться по памяти и скорости обучения при фиксированном качестве с простым мультитаск обучением. Добавить выбор задач для обучения, сравнить с бездумным непрерывным обучением.
Использование разных признаков в задаче состязательной адаптации к домену над текстовыми данными(Свободная тема)
Предлагается помодифицировать и поэкспериментировать с DANN. Исследовать, как на показатели влияет использование нескольких источников признаков, например одновременное использование нескольких разных эмбеддингов или одновременное использование эмбеддингов и данных из скрытых слоев автоэнкодеров. Сравнить разные стратегии: канкатенацию, устреднение, выбор подпространств, обучение нескольких независимых подсетей, решающую одну задачу и их ансамблирование.
Research and development of unsupervised (semi-supervised) methods to attack (text-based) captchas
Сбору данных часто мешает необходимость проходить визуальный тест Тьюринга(разгадывать капчу). До недавней публикации большинство методов атаки были или дорогими (размер размеченной обучающей выборки сопостовим со средним количесвом вводов для полного сбора ресурса) или неуверсальным(дизайн решения нужно было менять под каждый конкретный сайт, что крайне трудозатратно). В статье выше применён подход, использующий GAN(генеративно-состязательные сети) для создания выборки (разметка не требуется).
Предлагается повторить результат и попытаться улучшить его (возможны изменения в дизайне сети/препроцессинге/файнтюнинге или внимательный анализ особенностей примеров, на которых алгоритм в статье часто ошибается). (Тема занята)
Другой предлагаемый к исследованию подход — атака на модуль для слабовидящих — аудиоверсию капчи. Этот подход подходит не только для текстовой капчи, но и для более современных, основанных на картинках.
Предлагается провести обзор эффективности открытых сервисов перевода аудио в текст, алгоритмов «очистки» входного аудио от шума и их эффективности, разбиения на отдельные сегменты (слова/буквы), обучение сети, переводящей аудио в текст, на сгенерированных с помощью гугл-переводчика или вокалоида аудио примеров, оценка применимости такого подхода к задаче и, в случае слабых результатов, исследование адаптации этой модели с помощью domain adaptation/transfer learning. Также возможны эксперименты с состязательным обучением speech to text(Тема занята, но по ней не будет курсовой/диплом, возможно её можно взять и попробовать сделать что-то немного другое)