Вопросы на собеседовании по MLOps

Кандидаты из data science часто готовят теорию моделей и удивляются, как мало она звучит на деле. Этот раздел объясняет, что реально проверяют интервьюеры MLOps, чтобы подготовка соответствовала работе. Короче говоря, это операционное суждение: способны ли вы надёжно выкатить модель и заметить, когда она тихо перестала работать.

Большинство процессов строятся вокруг трёх тем. Первая тема: воспроизводимость. Сможет ли кто-то точно воссоздать модель прошлого месяца с тем же снапшотом данных, кодом и зависимостями? Вторая тема: развёртывание. Batch-инференс против онлайн, стратегии выката и откат. Третья тема: мониторинг. Что вы измеряете после запуска, когда метки приходят с опозданием или вовсе не приходят.

Теория машинного обучения тоже встречается, но на уровне понимания того, что делает ваш пайплайн. Более глубокие вопросы по моделированию можно найти на странице вопросы на собеседовании по машинному обучению в банке вопросов.

• Как вы версионируете данные, код и модели, чтобы запуск обучения был воспроизводимым?
• Что входит в реестр моделей и как модель переходит из staging в продакшен?
• Batch-скоринг против онлайн-эндпоинта в реальном времени: как вы выбираете, и что меняется в инфраструктуре?
• Что такое training-serving skew и как хранилище признаков помогает его предотвратить?
• Объясните разницу между дрейфом данных и дрейфом концепта. Как бы вы обнаруживали каждый без свежих меток?
• Опишите canary- или shadow-развёртывание для новой версии модели. Что заставило бы вас сделать откат?
• Как выглядит CI/CD для модели в отличие от обычного прикладного кода?
• Как вы планируете и повторяете многошаговый пайплайн обучения, и какой инструмент бы использовали?
• Как бы вы контейнеризировали модель и развернули её на Kubernetes? А как насчёт планирования GPU?

Инструменты часто называют по имени, обычно это MLflow, Kubeflow, Airflow, SageMaker, Vertex AI или Azure Machine Learning. Интервьюеры редко требуют конкретный инструмент; они хотят услышать, что вы понимаете, что делает инструмент, и сможете освоить их вариант.

Во многих процессах есть сессия проектирования, где вы строите сквозной пайплайн на доске или в общем документе. Типичные задания: сервис скоринга мошенничества, рекомендательная модель, переобучаемая еженедельно, или классификатор документов с очередью на проверку человеком.

Платформенного инженера, проходившего собеседование на роль в ML-инфраструктуре, попросили спроектировать переобучение модели прогнозирования спроса. Он начал с контракта данных и того, как будут обрабатываться запаздывающие данные, затем описал пайплайн по расписанию, ворота валидации перед продвижением в реестр, shadow-развёртывание и дашборд дрейфа, который бы запускал следующее переобучение. Именно отправная точка от данных и режимов сбоя, а не от модели, сделала ответ убедительным.

Охватите весь цикл: приём и валидацию, вычисление признаков, обучение, ворота оценки, реестр, развёртывание, мониторинг и путь обратной связи. Назовите компромиссы, которые вы делаете по стоимости, задержке и свежести данных.

Ответы по MLOps представляют собой объяснения систем, и их трудно изложить чисто, не проговорив сначала вслух. Выберите три вопроса из списка, объясните каждый с таймером менее чем за две минуты, затем пройдите одно задание по проектированию от начала до конца. Инструмент для пробного собеседования может сыграть роль интервьюера и задать уточняющий вопрос, к которому вы не готовились.

На живых видеосозвонах SubcueAI расшифровывает речь интервьюера и составляет структурированный ответ из десктоп-приложения или боковой панели браузерного расширения, при этом ни один бот не подключается к звонку. Домашние проекты, тесты по программированию под наблюдением и всё, что происходит на общем экране, находятся вне того, что он охватывает, поэтому эти системные знания должны быть вашими собственными.