Вопросы на собеседовании: Data Engineer

Расскажите о случае, когда вы отвечали за решение проблемы с качеством данных, от которых зависели другие команды.

Из гайда Google · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Расскажите о случае, когда вы отвечали за конвейер данных, отказавший в рабочей среде. Что вы сделали и что после этого изменилось?

Из гайда Amazon · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Опишите случай, когда вы не согласились с заинтересованным лицом по поводу модели данных, и расскажите, как разрешилась ситуация.

Из гайда Amazon · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как обеспечить безопасный повторный запуск ежедневного задания после частичного сбоя?

Из гайда Meta · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Расскажите о спроектированной вами модели данных, которую пришлось изменить после запуска.

Из гайда Meta · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Расскажите о спроектированной вами модели данных, которую пришлось изменить после запуска. В чем вы ошиблись?

Из гайда Microsoft · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Напишите запрос, который находит первое событие сбоя для каждого устройства в скользящем окне, и объясните, как вы будете его тестировать.

Из гайда NVIDIA · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Расскажите о модели данных, которую пришлось изменить после запуска, и о том, что вы спроектировали бы иначе.

Из гайда NVIDIA · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как обеспечить безопасный повторный запуск ночного задания после частичного сбоя?

Из гайда LinkedIn · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Расскажите о спроектированной вами модели данных, которую пришлось изменить после запуска.

Из гайда LinkedIn · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Напишите запрос, который находит первый сбой каждого устройства в пределах заданного окна, и объясните, как вы будете его тестировать.

Из гайда Apple · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Почему вы хотите работать именно над задачами этой команды, связанными с данными?

Из гайда Apple · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Расскажите о модели данных, которую пришлось изменить после запуска, и о том, что вы спроектировали бы иначе.

Из гайда Apple · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Расскажите о модели данных, которую пришлось изменить после запуска, и о том, что вы спроектировали бы иначе.

Из гайда Tesla · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Почему вы хотите работать над задачами команды, связанными с данными?

Из гайда Tesla · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Напишите запрос, который находит счета, где итоговые суммы расчётов не совпадают с итоговыми суммами транзакций, и объясните, как вы будете его тестировать.

Из гайда Stripe · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Расскажите о проблеме качества данных, за решение которой вы отвечали и от которой зависели другие команды.

Из гайда Stripe · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Расскажите о модели данных, которую пришлось изменить после запуска, и о том, что вы спроектировали бы иначе.

Из гайда Intel · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Напишите запрос, определяющий клиентов, чьи заказы отправлялись с опозданием несколько месяцев подряд, и объясните, как вы проверите его правильность.

Из гайда Amazon · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Напишите запрос, который находит пользователей, активных в последовательные дни, и объясните, как вы будете его тестировать.

Из гайда Meta · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Напишите запрос, который находит клиентов, чьи расходы растут от месяца к месяцу, и объясните, как вы проверите результат.

Из гайда Microsoft · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Напишите запрос, который находит участников, проявлявших активность несколько дней подряд, и объясните, как вы будете его тестировать.

Из гайда LinkedIn · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Напишите запрос, который находит первое событие неисправности для каждого автомобиля в скользящем окне, и объясните, как вы будете его тестировать.

Из гайда Tesla · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Напишите запрос, который находит первое неуспешное измерение для каждого устройства в пределах окна, и объясните, как вы будете его тестировать.

Из гайда Intel · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Что делает QUALIFY, и что вы написали бы без него?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Что такое slowly changing dimension и как вы реализуете тип два?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как бы вы спроектировали конвейер, который принимает события потока кликов и через несколько минут делает их доступными для запросов?

Из гайда Google · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Спроектируйте систему, которая принимает события о заказах из нескольких регионов и делает их доступными для ежедневной отчётности и оповещений почти в реальном времени.

Из гайда Amazon · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Спроектируйте конвейер, преобразующий необработанные события приложения в ежедневные метрики вовлеченности, и объясните, как вы будете обрабатывать события, поступившие на день позже.

Из гайда Meta · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

После изменения схемы в вышестоящей системе метрика снизилась. Как выяснить, действительно ли произошло снижение?

Из гайда Meta · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Спроектируйте конвейер, который ежедневно загружает файлы с данными о продажах из нескольких регионов в единую таблицу отчетности и обрабатывает опоздание одного региона, не блокируя остальные.

Из гайда Microsoft · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

На нижестоящей панели мониторинга отображаются числа, не совпадающие с исходной системой. Как определить, на каком этапе возникло расхождение?

Из гайда Microsoft · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Когда вы выберете потоковую архитектуру вместо пакетной обработки по расписанию и какова цена такого решения?

Из гайда Microsoft · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Спроектируйте конвейер, который собирает телеметрию с тысяч устройств и позволяет выполнять запросы как для ежедневных отчётов, так и для ситуативного анализа.

Из гайда NVIDIA · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Команда-потребитель сообщает, что вчерашние итоговые значения неверны. Как вы найдёте место, где конвейер внёс ошибку?

Из гайда NVIDIA · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Когда вы выбрали бы потоковую обработку вместо пакетной по расписанию и какова цена такого решения с точки зрения сложности?

Из гайда NVIDIA · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Спроектируйте конвейер, который преобразует события активности участников в ежедневные метрики вовлечённости и обрабатывает события, поступившие на день позже.

Из гайда LinkedIn · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Панель показывает снижение, которого нет в исходной системе. Как определить, на каком этапе возникло расхождение?

Из гайда LinkedIn · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Спроектируйте конвейер, который получает диагностические данные от миллионов устройств и делает их доступными для запросов при подготовке ежедневных отчетов и анализа с защитой конфиденциальности.

Из гайда Apple · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

После изменения схемы вышестоящего источника снизился ежедневный показатель. Как определить, действительно ли произошло снижение?

Из гайда Apple · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Спроектируйте конвейер, который принимает телеметрию большого парка автомобилей и делает ее доступной для запросов при подготовке ежедневных отчетов и оповещений почти в реальном времени.

Из гайда Tesla · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Панель управления завода показывает итоговые значения, не совпадающие с исходной системой. Как определить, на каком этапе появилось расхождение?

Из гайда Tesla · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Спроектируйте конвейер, который сверяет события платежей из нескольких источников в ежедневном реестре, где ни одна запись не должна учитываться дважды.

Из гайда Stripe · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Перед вами незнакомый конвейер и задание, завершившееся ошибкой. Найдите причину.

Из гайда Stripe · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Спроектируйте конвейер, который собирает результаты тестирования со множества производственных линий и делает их доступными для запросов при подготовке ежедневных отчётов о выходе годной продукции и специального анализа.

Из гайда Intel · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Дневной агрегат не совпадает с исходной системой. Как определить, на каком участке конвейера возникло расхождение?

Из гайда Intel · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Спроектируйте таблицы для истории заказов онлайн-маркетплейса. Какая гранулярность у вашей fact-таблицы?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Объясните star schema и когда вы намеренно денормализовали бы её ещё сильнее.

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как сделать пайплайн идемпотентным и почему это важно для повторных запусков?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как бы вы обнаружили, что пайплайн отработал успешно, но выдал неверные данные?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Пошагово опишите модель данных для бизнеса по подписке и объясните, как вы будете учитывать изменения тарифов со временем.

Из гайда Google · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Ночное задание начало создавать дублирующиеся строки. Как вы найдёте причину и предотвратите повторение проблемы?

Из гайда Google · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как бы вы выбирали между пакетной и потоковой обработкой для задачи подготовки отчётности?

Из гайда Google · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как вы решаете, по каким признакам партиционировать, кластеризовать или индексировать большую аналитическую таблицу?

Из гайда Google · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как обеспечить безопасный повторный запуск загрузки исторических данных без двойного учёта?

Из гайда Amazon · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Когда следует предпочесть колоночный формат построчному хранению и каковы издержки такого решения?

Из гайда Amazon · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Когда для продуктовой метрики следует выбрать потоковую обработку вместо пакетной и какова будет ее стоимость?

Из гайда Meta · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как сделать повторный запуск ночного пакетного задания безопасным?

Из гайда Microsoft · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как обеспечить безопасный повторный запуск масштабной загрузки исторических данных без двойного учёта?

Из гайда NVIDIA · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Когда для продуктовой метрики вы выберете потоковую обработку вместо пакетной и какова цена такого решения?

Из гайда LinkedIn · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как обеспечить безопасный повторный запуск загрузки исторических данных без двойного подсчета?

Из гайда Apple · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как обеспечить безопасный повторный запуск масштабной дозагрузки исторических данных без двойного учета?

Из гайда Tesla · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Имея только документацию незнакомого API, как вы создадите рабочее задание для загрузки данных за час?

Из гайда Stripe · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Когда для финансового отчёта вы выберете потоковую обработку вместо пакетной и чем это обойдётся с точки зрения корректности?

Из гайда Stripe · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как обеспечить безопасный повторный запуск масштабной загрузки исторических данных без двойного учёта?

Из гайда Intel · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Когда для мониторинга вы выбрали бы потоковую обработку вместо пакетной и какова её стоимость?

Из гайда Intel · Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Этот запрос сканирует миллиард строк и занимает двадцать минут. Как вы будете это диагностировать?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Объясните разницу между партиционированием и кластеризацией и когда что помогает.

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Стейкхолдер хочет, чтобы исторические отчёты отражали текущий регион клиента. Что сломается?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как бы вы смоделировали поток событий, приходящих не по порядку?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Когда вы выберете широкую таблицу вместо нормализованной модели?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Источник upstream снова присылает вчерашние данные. Что происходит с вашей задачей?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как бы вы сделали backfill за два года истории, не нарушив ежедневную загрузку?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Опоздавшие данные появляются через три дня после закрытия партиции. Что вы делаете?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Что вы мониторите и что будит кого-то в три часа ночи?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Что вызывает shuffle и почему он дорогой?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Ваша задача выполняется медленно, и одна таска занимает намного дольше остальных. Что происходит?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Объясните data skew и два способа с ним справиться.

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Когда вы выберете стриминг вместо запланированной batch-задачи?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Что на самом деле гарантирует exactly once обработка и где эта гарантия не действует?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме

Как watermark обрабатывают события не по порядку в оконной агрегации?

Отработать его на пробном собеседовании · Составить мой ответ по моему резюме