Как провести пробное собеседование дата-сайентиста

Процессы собеседований для дата-сайентистов различаются между компаниями сильнее, чем для аналитиков, и попытка подготовиться сразу ко всему — верный способ вымотаться ещё до очного финального этапа. Этот раздел сужает подготовку до четырёх раундов, которые покрывают большинство процессов, чтобы ваше время на тренировки соответствовало реальному распределению.

Вот эти четыре раунда: разговор о статистике и машинном обучении, кейс по эксперименту или метрикам, раунд написания кода на SQL и часто на Python, и глубокий разбор одного проекта, за который вы отвечали. Роли с сильным акцентом на продуктовую аналитику придают больше веса раунду с кейсом; роли с сильным акцентом на машинное обучение придают больше веса вопросам по моделированию, а иногда добавляют разговор о дизайне ML-систем. Прочитайте описание вакансии и распределите вес своей тренировки так же.

На раннем этапе тренируйте раунды по отдельности, а за неделю до собеседований пройдите их как единый процесс целиком; страница пробного собеседования рассказывает, как проводить сессии с таймером и ИИ-интервьюером, который задаёт уточняющие вопросы.

Здесь чаще всего подводит не нехватка знаний, а неумение внятно объяснить хорошо известные вещи под наблюдением. Отрепетируйте стандартный набор вопросов вслух, каждый на двух уровнях глубины: сначала одна фраза простым языком, понятная продакт-менеджеру, затем техническая версия с явно названными допущениями.

• Что такое p-значение, а что нет, и что даёт статистическая мощность.
• Компромисс между смещением и дисперсией, и как регуляризация балансирует между ними.
• Когда точность важнее полноты, с конкретным примером.
• Почему модель с хорошими офлайн-метриками всё равно может провалиться в продакшене.
• Переобучение: как вы его обнаруживаете и что меняете, когда находите.

Эта тренировка на двух уровнях важна, потому что реальные интервьюеры часто задают один и тот же вопрос обоими способами, а умение плавно переключаться между уровнями и считывается как признак сеньорности.

В раунде с кейсом вам дают продуктовое изменение и просят спроектировать тест для него. Отрепетируйте фиксированную структуру: выберите метрику успеха и её знаменатель, определите единицу рандомизации, назовите защитные метрики, примерно оцените размер выборки с учётом статистической мощности и сформулируйте правило принятия решения ещё до того, как появятся данные. Затем назовите классические ловушки: слишком раннее подглядывание в данные, несовпадающие единицы рандомизации, эффект новизны и взаимное влияние между вариантами.

Конкретный пример тренировки: дата-сайентист, готовящаяся к роли в маркетплейсе, даёт себе 15 минут на решение, стоит ли выкатывать новый алгоритм ранжирования, вслух проходит по структуре и в конце проверяет только одно — выдержит ли выбранная единица рандомизации взаимодействие между покупателями и продавцами. Именно эта единственная проверка решает исход кейсов про маркетплейсы, а тренировка делает её автоматической.

Больше формулировок кейсов и наборов вопросов по ролям собрано в разделе банка вопросов.

Пробное собеседование без письменной обратной связи стирается из памяти за день. Заканчивайте каждую сессию тремя строками: что получилось, где вы застряли, и один вопрос, который стоит повторить в следующий раз. Начинайте следующую сессию именно с этого вопроса. За пять-шесть сессий это сходится к вашим реальным слабым местам, а в этом и весь смысл тренировок, а не просто чтения.

Для глубокого разбора проекта отрепетируйте один проект на трёх уровнях глубины: 2-минутное резюме, 10-минутный подробный разбор и 30-минутный жёсткий допрос, где оспаривается каждое решение. Интервьюеры продолжают копать, пока не найдут границу вашей реальной зоны ответственности; знание, где проходит эта граница, ещё до них, позволяет сохранять спокойствие в этом раунде. Как выглядят полноценные сессии и автоматически сгенерированная обратная связь, описано в разделе пробных собеседований.