Питання на співбесіді: Data Engineer

Розкажіть про випадок, коли ви відповідали за проблему якості даних, від яких залежали інші команди.

З гайду Google · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Розкажіть про випадок, коли ви відповідали за конвеєр даних, що дав збій у виробничому середовищі. Що ви зробили та що змінилося після цього?

З гайду Amazon · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Опишіть випадок, коли ви не погодилися із зацікавленою стороною щодо моделі даних, і розкажіть, як цю суперечку було вирішено.

З гайду Amazon · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як зробити щоденне завдання безпечним для повторного запуску після часткового збою?

З гайду Meta · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Розкажіть про спроєктовану вами модель даних, яку довелося змінити після запуску.

З гайду Meta · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Розкажіть про спроєктовану вами модель даних, яку довелося змінити після запуску. У чому ви помилилися?

З гайду Microsoft · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Напишіть запит, який знаходить першу подію відмови для кожного пристрою в межах ковзного вікна, і поясніть, як ви його тестуватимете.

З гайду NVIDIA · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Розкажіть про модель даних, яку довелося змінити після запуску, і що ви спроєктували б інакше.

З гайду NVIDIA · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як зробити повторний запуск нічного завдання безпечним після часткового збою?

З гайду LinkedIn · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Розкажіть про спроєктовану вами модель даних, яку довелося змінити після запуску.

З гайду LinkedIn · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Напишіть запит, який знаходить перший збій для кожного пристрою в межах вікна, і поясніть, як ви його тестуватимете.

З гайду Apple · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Чому ви хочете працювати саме над проблемами з даними цієї команди?

З гайду Apple · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Розкажіть про модель даних, яку довелося змінити після запуску, і про те, що ви спроєктували б інакше.

З гайду Apple · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Розкажіть про модель даних, яку довелося змінити після запуску, і про те, що ви спроєктували б інакше.

З гайду Tesla · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Чому ви хочете працювати над задачами цієї команди, пов’язаними з даними?

З гайду Tesla · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Напишіть запит, який знаходить облікові записи, чиї підсумкові суми розрахунків не збігаються із сумами транзакцій, і поясніть, як ви його тестуватимете.

З гайду Stripe · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Розкажіть про проблему з якістю даних, за яку ви відповідали та від якої залежали інші команди.

З гайду Stripe · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Розкажіть про модель даних, яку довелося змінити після запуску, і про те, що ви спроєктували б інакше.

З гайду Intel · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Напишіть запит, що визначає клієнтів, чиї замовлення відправляли із запізненням у послідовних місяцях, і поясніть, як би ви його перевірили.

З гайду Amazon · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Напишіть запит, який знаходить користувачів, активних у послідовні дні, і поясніть, як ви його тестуватимете.

З гайду Meta · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Напишіть запит, який знаходить клієнтів, чиї витрати зростали щомісяця, і поясніть, як ви перевірятимете результат.

З гайду Microsoft · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Напишіть запит, який знаходить учасників, активних у послідовні дні, і поясніть, як ви його тестуватимете.

З гайду LinkedIn · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Напишіть запит, який знаходить першу подію несправності для кожного автомобіля в межах ковзного вікна, і поясніть, як ви його тестуватимете.

З гайду Tesla · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Напишіть запит, який знаходить перше невдале вимірювання для кожної одиниці в межах вікна, і поясніть, як ви його тестуватимете.

З гайду Intel · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Що робить QUALIFY, і що ви написали б без нього?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Що таке slowly changing dimension і як ви реалізуєте тип два?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як би ви спроєктували конвеєр, який приймає події потоку кліків і за лічені хвилини робить їх доступними для запитів?

З гайду Google · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Спроєктуйте систему, яка приймає події замовлень із кількох регіонів і робить їх доступними для щоденної звітності та сповіщень майже в реальному часі.

З гайду Amazon · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Спроєктуйте конвеєр, який перетворює необроблені події застосунку на щоденні показники залученості, і поясніть, як оброблятимете події, що надходять на день пізніше.

З гайду Meta · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Після зміни схеми у джерелі показник знизився. Як ви з’ясуєте, чи це зниження справжнє?

З гайду Meta · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Спроєктуйте конвеєр, який завантажує щоденні файли продажів із кількох регіонів до однієї звітної таблиці та обробляє запізнення одного регіону, не блокуючи інші.

З гайду Microsoft · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Інформаційна панель нижчого рівня показує числа, які не відповідають вихідній системі. Як ви знайдете місце виникнення розбіжності?

З гайду Microsoft · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Коли ви вибрали б потокову архітектуру замість пакетної обробки за розкладом і якою була б ціна такого вибору?

З гайду Microsoft · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Спроєктуйте конвеєр, який збирає телеметрію з тисяч пристроїв і дає змогу виконувати запити як для щоденних звітів, так і для спеціального аналізу.

З гайду NVIDIA · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Команда, що використовує ваші дані, повідомляє, що вчорашні підсумки неправильні. Як знайти місце, де конвеєр вніс помилку?

З гайду NVIDIA · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Коли ви обрали б потокову обробку замість пакетної за розкладом і якою була б ціна у вигляді складності?

З гайду NVIDIA · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Спроєктуйте конвеєр, який перетворює події активності учасників на щоденні показники залученості та обробляє події, що надходять із запізненням на добу.

З гайду LinkedIn · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Панель показує падіння, якого немає у вихідній системі. Як визначити, де виникла ця розбіжність?

З гайду LinkedIn · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Спроєктуйте конвеєр, який отримує діагностичні дані з мільйонів пристроїв і робить їх доступними для запитів у щоденних звітах та аналізі із захистом приватності.

З гайду Apple · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Щоденний показник знизився після зміни схеми у джерелі вище за потоком. Як з’ясувати, чи це зниження реальне?

З гайду Apple · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Спроєктуйте конвеєр, який приймає телеметрію від великого парку автомобілів і робить її доступною для запитів у щоденних звітах та сповіщень майже в реальному часі.

З гайду Tesla · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Панель моніторингу заводу показує підсумки, що не збігаються з даними вихідної системи. Як знайти місце виникнення розбіжності?

З гайду Tesla · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Спроєктуйте конвеєр, який звіряє платіжні події з кількох джерел у щоденному реєстрі, де не можна допускати подвійного обліку.

З гайду Stripe · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Перед вами конвеєр, якого ви ніколи не бачили, і завдання, що завершується помилкою. Знайдіть причину.

З гайду Stripe · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Спроєктуйте конвеєр, який збирає тестові дані з багатьох виробничих ліній і робить їх доступними для запитів у щоденних звітах про вихід придатної продукції та для спеціального аналізу.

З гайду Intel · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Щоденний агрегований показник не збігається з даними вихідної системи. Як визначити, на якому етапі конвеєр спричинив розбіжність?

З гайду Intel · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Спроєктуйте таблиці для історії замовлень онлайн-маркетплейсу. Який grain вашої fact table?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Поясніть star schema і коли ви навмисно денормалізували б далі.

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як зробити пайплайн ідемпотентним і чому це важливо для повторних запусків?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як ви виявляєте, що пайплайн завершився успішно, але виробив неправильні дані?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Опишіть модель даних для бізнесу з передплатою та поясніть, як ви враховували б зміни тарифних планів із часом.

З гайду Google · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Нічне завдання почало створювати дублікати рядків. Як ви знайдете причину й запобігатимете повторенню проблеми?

З гайду Google · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як би ви обирали між пакетним і потоковим опрацюванням для сценарію звітності?

З гайду Google · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як ви вирішуєте, що слід секціонувати, кластеризувати або індексувати у великій аналітичній таблиці?

З гайду Google · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як би ви зробили дозавантаження історичних даних безпечним для повторного запуску без подвійного підрахунку?

З гайду Amazon · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Коли ви обрали б стовпцевий формат замість рядкового зберігання і якою була б ціна такого вибору?

З гайду Amazon · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Коли для продуктового показника ви оберете потокову обробку замість пакетної та скільки це коштуватиме?

З гайду Meta · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як зробити нічне пакетне завдання безпечним для повторного запуску?

З гайду Microsoft · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як зробити велике дозавантаження історичних даних безпечним для повторного запуску без подвійного підрахунку?

З гайду NVIDIA · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Коли для продуктового показника ви оберете потокову обробку замість пакетної та якою буде її вартість?

З гайду LinkedIn · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як зробити дозавантаження історичних даних безпечним для повторного запуску без подвійного підрахунку?

З гайду Apple · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як зробити велике дозавантаження історичних даних безпечним для повторного запуску без подвійного підрахунку?

З гайду Tesla · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Маючи лише документацію до незнайомого API, як би ви створили працездатне завдання завантаження даних за годину?

З гайду Stripe · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Коли для фінансового звіту ви оберете потокову, а не пакетну обробку, і якою буде ціна з погляду правильності?

З гайду Stripe · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як зробити велике ретроспективне завантаження безпечним для повторного запуску без подвійного підрахунку?

З гайду Intel · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Коли для моніторингу варто обрати потокову обробку замість пакетної та скільки це коштує?

З гайду Intel · Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Цей запит сканує мільярд рядків і триває двадцять хвилин. Як ви це діагностуєте?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Поясніть різницю між partitioning і clustering та коли кожен допомагає.

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Стейкхолдер хоче, щоб історична звітність відображала поточний регіон клієнта. Що зламається?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як би ви змоделювали потік подій, що надходить не по порядку?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Коли ви обрали б широку таблицю замість нормалізованої моделі?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Джерело upstream надсилає вчорашні дані повторно. Що відбувається з вашою job?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як би ви зробили backfill за два роки історії, не порушуючи щоденне завантаження?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Запізнілі дані з'являються через три дні після закриття партиції. Що ви робите?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Що ви моніторите і що розбудить когось о третій ночі?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Що спричиняє shuffle і чому він дорогий?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Ваша job повільна, і один task триває набагато довше за решту. Що відбувається?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Поясніть data skew і два способи з ним впоратися.

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Коли ви обрали б стрімінг замість запланованої batch-job?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Що насправді гарантує exactly once processing і де це не діє?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме

Як watermark обробляють події не по порядку у windowed-агрегації?

Відпрацювати його на пробній співбесіді · Скласти мою відповідь за моїм резюме