Каких вопросов о Databricks ожидать на собеседовании?

Собеседования в Databricks начинают с Delta Lake, потому что на нём построена платформа. Будьте готовы объяснить, что таблица Delta добавляет к обычным файлам Parquet: журнал транзакций, фиксирующий каждый коммит, благодаря чему обеспечиваются атомарная запись, согласованное чтение и возможность запросить состояние таблицы из более ранней версии. Цепочка уточняющих вопросов предсказуема: как работает путешествие во времени (чтение более раннего снимка журнала), что удаляет VACUUM и почему это ограничивает глубину возврата, а также как MERGE реализует обновление или вставку записей и шаблоны сбора изменённых данных.

• Контроль и эволюция схемы. Записи, не соответствующие схеме, отклоняются, если эволюция не включена; объясните, когда вы бы её разрешили.
• OPTIMIZE и организация файлов. Маленькие файлы снижают скорость чтения; уплотнение перезаписывает их, а кластеризация или Z-ordering размещает рядом значения, по которым фильтруют запросы.
• Потоковая и пакетная обработка одной таблицы. Одна таблица Delta может быть приёмником потока и источником пакетов; объясните, что означает семантика exactly-once для задания Structured Streaming, записывающего данные в Delta.
• Delta Live Tables и конвейеры. Декларативные конвейеры с требованиями к качеству данных; будьте готовы рассказать, что происходит при нарушении строкой такого требования.

Объясняйте механизм. Фраза о том, что Delta поддерживает ACID, — это лозунг; объяснение, что журнал транзакций скрывает от читателей частично завершившуюся сбоем запись, — это ответ.

Вы создавали бронзовый, серебряный и золотой слои и подозреваете, что интервьюеру нужны не только их названия. Это так, поэтому здесь изложена логика проектирования каждого слоя и проверяющие её вопросы.

• Бронзовый слой. Необработанная загрузка, только добавление, исходная схема. Уточнение: зачем вообще хранить необработанные данные, если серебряные чище? Для повторной обработки и аудита.
• Серебряный слой. Очищенные, дедуплицированные и приведённые к общему виду записи. Уточнение: как устранять дубликаты в потоке событий, которые могут поступить с опозданием или дважды, и какую роль играет watermarking?
• Золотой слой. Агрегаты и бизнес-таблицы для аналитиков и информационных панелей. Уточнение: кто отвечает за определения и как предотвратить расхождения в показателях выручки между двумя золотыми таблицами?
• Оркестрация. Задания, зависимости задач, повторные попытки и оповещения. Уточнение: как сделать задание идемпотентным, чтобы повторный запуск не привёл к двойному подсчёту?
• Загрузка. Auto Loader для инкрементального обнаружения файлов и причины, по которым наивный просмотр каталога не масштабируется.

Интервьюеры также спрашивают о стоимости: почему универсальный кластер не подходит для запланированного задания, когда лучше использовать кластер заданий или бессерверные вычисления и как автомасштабирование и спотовые экземпляры меняют счёт. Назовите ограничение, выберите механизм и укажите стоимость.

На собеседованиях для старших позиций вам дают симптом. Типичный пример: инженеру данных, проходящему собеседование на платформенную роль в розничной компании, говорят, что ночное задание, соединяющее заказы с измерением клиентов, после резкого роста объёма данных стало выполняться не минуты, а часы. Сильный ответ начинается с плана запроса и Spark UI, а не с увеличения кластера: нужно проверить, не превратилось ли соединение с рассылкой в соединение с перемешиванием, нет ли перекоса по нескольким ключам, соответствует ли число партиций перемешивания объёму данных и нет ли в исходных таблицах проблемы мелких файлов, которую исправит OPTIMIZE. Интервьюер оценивает порядок расследования.

Другие частые сценарии: постоянно растущее отставание потокового задания и взаимосвязь интервалов запуска, размера состояния и водяных знаков; блокнот, который работает у одного пользователя и не работает у другого, что обычно указывает на права доступа и ведёт к обсуждению Unity Catalog, рабочих пространств и сервисных субъектов; таблица, на неактуальность которой жалуются аналитики, что связано со свежестью данных и оркестрацией; запрос на безопасную передачу данных другой команде, где применяются Delta Sharing и разрешения на уровне каталога.

До настоящего звонка проговорите эти сценарии вслух вместе с уточняющими вопросами; режим пробного собеседования создан для сценарных вопросов, а более широкий набор материалов по данным и разработке находится в разделе вопросов по ролям и темам.

В разговорных раундах — да, но с честными ограничениями. Нативное настольное приложение SubcueAI для macOS и Windows захватывает системный звук и звук микрофона и показывает краткие варианты ответов в локальном оверлее. Поэтому, когда интервьюер спрашивает о роли водяного знака при потоковой дедупликации, механизм отображается на экране, пока вы объясняете его своими словами. Расширение браузера работает со звонками во вкладках Chrome и Edge, захватывая только звук вкладки встречи. К звонку не подключается бот, и на страницу встречи ничего не внедряется; руководство по настройке доступно на странице обучения.

Ограничения: экзамен с прокторингом, запись экрана, корпоративный ноутбук или практическое задание в блокноте, где вы под наблюдением пишете код на PySpark, не поддерживаются, а именно туда на собеседованиях в Databricks часто выносят самую сложную часть. Лучше всего помощник подходит для вопросов об архитектуре и компромиссах. Сначала загрузите резюме, чтобы подсказки отражали конвейеры, которые вы действительно создавали; этот профиль хранится в конструкторе резюме.