Каких вопросов по машинному обучению ожидать на собеседовании?

В процессе найма специалиста по машинному обучению обычно больше этапов, чем при найме обычного разработчика, и каждый этап проверяет отдельный уровень знаний. Понимая этот уровень, вы поймёте, какого ответа ждёт интервьюер.

• Основы. Теоретические вопросы об обучении, обобщающей способности и оптимизации. Интервьюер хочет услышать, что вы понимаете, почему метод работает, а не просто воспроизводите заученное определение.
• Оценка и эксперименты. Выбор метрики, стратегия валидации, различия между офлайн- и онлайн-результатами, а также способ спроектировать эксперимент, доказывающий пользу модели.
• Прикладное моделирование. Проектирование признаков, утечка данных, дисбаланс классов и сложные аспекты реального набора данных. Такие вопросы часто формулируют на примере одного из ваших проектов.
• Проектирование ML-систем. Откуда модель получает данные, как её обучают и переобучают, как выдаются прогнозы и как вы заметите ухудшение её работы в продакшене.
• Программирование. Задание на pandas или чистом Python, иногда — реализация с нуля небольшого алгоритма, например k-means или логистической регрессии.

Поведенческие вопросы тоже встречаются и подчиняются тем же правилам, что и для любой другой должности; они отдельно разобраны в разделе банков вопросов.

Формулировки различаются от компании к компании, но суть вопросов повторяется. Тренируйтесь, пока не сможете объяснять всё простыми словами.

• Смещение и дисперсия: Как определить, переобучена или недообучена модель, и что вы измените в первую очередь? Как регуляризация влияет на модель и когда вы предпочтёте L1 вместо L2?
• Валидация: Почему случайное разделение на обучающую и тестовую выборки может дать вводящую в заблуждение оценку на данных временных рядов? Когда нужна стратифицированная или групповая кросс-валидация?
• Метрики: Когда точность — неподходящая метрика? Объясните продакт-менеджеру точность положительных прогнозов, полноту и ROC-кривую. Какую метрику вы бы оптимизировали для выявления мошенничества и что отслеживали бы вместе с ней?
• Проблемы с данными: Что такое утечка целевой переменной и как вам удавалось её обнаружить? Как работать с сильным дисбалансом классов, не создавая искусственные данные? Как обрабатывать пропущенные значения, чтобы модель случайно не научилась использовать сам факт их отсутствия?
• Модели: Когда градиентный бустинг по деревьям превосходит нейронную сеть на табличных данных? Что именно вычисляет механизм внимания в трансформере? Почему эмбеддинги помогают при работе с категориальными признаками высокой кардинальности?
• Оптимизация: Что происходит, если скорость обучения слишком высока или слишком низка? Почему пакетная нормализация упрощает обучение?
• Проектирование систем: Спроектируйте рекомендательную систему для маркетплейса. Как выявлять дрейф данных после развёртывания? Как переобучать модель, не выдавая устаревшие прогнозы?
• Эксперименты: Офлайн-метрика улучшилась, но A/B-тест не показал изменений — что вы проверите?

Если вы можете ответить на каждый из этих вопросов, приведя один конкретный пример из собственной практики, то охватили почти всё, что могут спросить на этапе проверки базовых знаний.

Можно хорошо знать материал и всё же сбиваться, когда вас просят объяснить его во время видеозвонка. Этот раздел предлагает структуру устного ответа; краткая схема такова: определение, решение, пример, ограничение.

• Определение — одним предложением и простыми словами, до любых формул.
• Решение: когда вы применили бы этот метод и что выбрали бы вместо него, поскольку интервьюеры проверяют способность рассуждать, а не словарный запас.
• Пример из реального проекта: набор данных, возникшая проблема, внесённое изменение и полученный результат.
• Ограничение: где метод перестаёт работать; это показывает, что вы применяли его достаточно часто, чтобы увидеть его недостатки.

Специалистку по данным, проходящую собеседование на ML-должность в компании-маркетплейсе, спрашивают, почему её модель ранжирования отлично выглядела офлайн, но никак не повлияла на A/B-тест. Она отвечает в четыре этапа: объясняет разрыв между офлайн- и онлайн-результатами, вызвавшее его смещение позиции в журналируемых данных, добавленную ею контрфактическую оценку и оговорку о том, что метод работает лишь при достаточной рандомизации журналирования. Такой ответ ценнее безупречного вывода формулы. Именно для репетиции устных ответов предназначен инструмент пробного собеседования: он задаёт уточняющие вопросы так же, как настоящий интервьюер.

На разговорных этапах — да, но с ограничениями. Нативное приложение SubcueAI для настольных систем macOS и Windows захватывает системный звук звонка и звук с вашего микрофона, распознаёт вопрос интервьюера в Zoom, Google Meet или Microsoft Teams и показывает краткую предлагаемую структуру ответа в плавающем оверлее, видимом только на вашем экране. Для звонков во вкладке браузера Chrome или Edge боковая панель расширения захватывает только звук вкладки со встречей, поэтому слышит интервьюера, но никогда не расшифровывает вашу речь. Ни приложение, ни расширение не подключаются к звонку как бот и ничего не внедряют на страницу встречи. Если вы загрузили резюме, подсказки могут ссылаться на ваши собственные проекты — именно такие примеры особенно ценятся в ответах по ML.

Ограничения те же, что и на любом техническом собеседовании. SubcueAI не предназначен для экзамена по программированию с прокторингом, тестового задания или сессии на устройстве под управлением компании, а вывод формул на виртуальной доске с демонстрацией экрана должен быть полностью вашей работой, поскольку показ всего экрана сделает оверлей видимым для всех. Aaron Cao, основатель SubcueAI, создал оверлей, чтобы подсказывать структуру и терминологию, а не диктовать ответы: интервьюер по ML уточняет каждое утверждение, и заимствованный ответ рассыпается уже на втором вопросе. Настройка обоих вариантов описана на странице руководства, а практические различия между настольным приложением и расширением — на странице сравнения.