Rozmowa na data engineera w Netflix: proces i przygotowanie

Dostałeś wiadomość od rekrutera z Netflix i chcesz wiedzieć, co czeka Cię na kolejnych etapach. Ta sekcja oddziela to, co deklaruje sam Netflix, od zwyczajowej praktyki przy rolach data engineeringowych. Najpierw opublikowane fakty, potem etapy, na które warto się przygotować.

Netflix publikuje notatki o procesie rekrutacji osób na początku kariery, a nie rozbicie dla każdej roli dla doświadczonych. W przypadku absolwentów pisze, że rozmowy zwykle zaczynają się od zadania domowego, po którym następują dwie rundy rozmów, a awans zależy od opinii na każdym etapie. Kandydaci na staż zwykle dostają zadanie domowe, a potem około dwóch do trzech rund. Dla wszystkich ról Netflix mówi, że rekruterzy oceniają umiejętności techniczne tam, gdzie mają zastosowanie, umiejętności specyficzne dla roli oraz behawioralne, i chcą poznać Twoje umiejętności oraz rodzaj pracy, która Cię ekscytuje.

Netflix nie publikuje osobnej ścieżki dla doświadczonych data engineerów: brak nazw rund, liczby rozmów i stałej kolejności. Twój rekruter to jedyne wiarygodne źródło informacji o Twoim harmonogramie, więc zapytaj wprost, jakie obszary obejmuje każda rozmowa i czy w procesie jest zadanie domowe.

Planując, warto myśleć etapami, jakie zwykle zawiera proces data engineeringowy w dużych firmach technologicznych. To kategorie przygotowań wynikające z ogólnej praktyki dla tej roli, a nie nazwy rund w Netflix:

• Rozmowa z rekruterem. Twoje doświadczenie, zespół, kwestie organizacyjne i to, co Cię pociąga w tej pracy.
• Screening techniczny. Zwykle SQL i trochę programowania, często z omówieniem pipeline'u, który zbudowałeś.
• Zadanie domowe. Część deklarowanego przez Netflix procesu dla absolwentów i stażystów; zapytaj, czy dotyczy Twojego poziomu.
• Głębsze rozmowy techniczne. Modelowanie danych, projektowanie pipeline'ów i systemów oraz trudniejszy SQL.
• Rozmowy behawioralne i motywacyjne. Jak współpracujesz z innymi i jakie problemy chcesz rozwiązywać.

Wątki społeczności na Reddit i Blind szczegółowo opisują poszczególne procesy. Traktuj każdy z nich jako doświadczenie jednego kandydata w jednym zespole, a nie opis tego, jak Netflix rekrutuje wszystkich data engineerów.

Netflix wymienia trzy rzeczy, które oceniają jego rekruterzy: umiejętności techniczne, specyficzne dla roli i behawioralne. U data engineera granica między technicznymi a specyficznymi dla roli jest cienka, więc bardziej przydatne jest przypisanie ich do obszarów poniżej. Przykładowe pytania na tej stronie to reprezentatywne zadania do ćwiczeń, a nie pytania, o których Netflix potwierdził, że je zadaje.

• Biegłość w SQL. Joiny, które nie mnożą wierszy, funkcje okna do rankingów i sum narastających, deduplikacja, gaps and islands oraz sessionizacja strumieni zdarzeń. Rekruterzy zwykle zwracają uwagę, czy potrafisz wyjaśnić, dlaczego zapytanie jest poprawne, a nie tylko czy zwraca wynik.
• Programowanie dla danych. Parsowanie, przekształcanie i agregowanie rekordów w Pythonie lub języku JVM, z uwagą na pamięć, przypadki brzegowe i czytelny kod. Możliwe są zagadki algorytmiczne, więc podstawowe struktury danych nadal warto powtórzyć.
• Modelowanie danych. Wybór ziarnistości tabeli faktów, oddzielanie faktów od wymiarów, obsługa atrybutów zmieniających się w czasie i projektowanie tabel, które analitycy mogą odpytywać bez wpadania w pułapki.
• Projektowanie pipeline'ów i systemów. Batch kontra streaming, partycjonowanie, idempotentne zapisy, backfille, spóźnione zdarzenia, zmiany schematu i kontrole jakości danych. Spodziewaj się pytań uzupełniających, które w trakcie zmieniają wymagania.
• Ocena behawioralna. Odpowiedzialność za porażki, spory z interesariuszami o definicje metryk oraz kompromisy między szybkością a poprawnością.
• Motywacja. Netflix mówi, że rekruterzy chcą poznać rodzaj pracy, która Cię ekscytuje. Mglista odpowiedź marnuje pytanie, które firma uznaje za ważne.

We wszystkich tych obszarach wspólnym mianownikiem jest myślenie na głos. Kandydat, który w ciszy pisze poprawne zapytanie, i taki, który przed pisaniem wyjaśnia ziarnistość, klucze joinów i przypadki brzegowe, często dostają różną opinię, nawet przy identycznym kodzie. Więcej zadań do ćwiczeń pogrupowanych według umiejętności znajdziesz w bankach pytań.

W większości dużych firm technologicznych proces dla data engineera pokrywa się z obiema sąsiednimi rolami, ale kładzie nacisk na inne umiejętności. Netflix nie publikuje różnic między rolami dla doświadczonych, więc poniższe porównanie to ogólna praktyka, a nie stwierdzenie o pozostałych procesach Netflix.

• W porównaniu z software engineeringiem. Mniejszy nacisk na zagadki algorytmiczne, większy na SQL, modelowanie danych i niezawodność pipeline'ów. Pytania z projektowania systemów koncentrują się raczej na tym, jak dane się przemieszczają, lądują i są korygowane, niż na usługach obsługujących żądania.
• W porównaniu z data science. Mniej statystyki, eksperymentów i modelowania wyników; więcej budowania i utrzymywania tabel, na których polegają analitycy i naukowcy. Możesz nadal usłyszeć pytanie o definicję metryki, bo data engineer często jest właścicielem tabeli, która za nią stoi.
• W porównaniu z analytics engineeringiem. Granica jest rozmyta. Role analytics engineera zwykle bardziej skłaniają się ku modelowaniu i SQL na potrzeby raportowania, a role data engineera schodzą głębiej w ingestię, przetwarzanie rozproszone i infrastrukturę.

Między firmami większa różnica zwykle polega na tym, w jakim stopniu proces opiera się na zadaniach domowych, a w jakim na rozwiązywaniu problemów na żywo. Deklarowany przez Netflix proces dla absolwentów i stażystów zaczyna się od zadania domowego, które nagradza czystą, udokumentowaną pracę bardziej niż szybkość. Przewodniki o tym, jak inne firmy układają swoje procesy, zebrano w rozmowach w firmach.

Netflix nie publikuje harmonogramu rekrutacji data engineerów. Terminy zależą od zespołu, Twojego poziomu i dostępności rekruterów, więc po wejściu w proces o to należy pytać rekrutera.

Trudność łatwiej opisać jakościowo. Netflix mówi, że awans opiera się na opinii z każdego etapu, co oznacza, że każdy etap działa jak bramka, a nie wynik uśredniany na końcu. Słabe zadanie domowe lub chwiejny screening SQL może zakończyć proces przed rozmowami projektowymi, niezależnie od tego, jak dobry być może byłbyś później.

Dla większości kandydatów trudne nie są niejasne składnie. Trudna jest głębia przy pytaniach uzupełniających: projektujesz pipeline, rekruter dodaje spóźnione dane, potem zmianę schematu, a następnie pyta, skąd wiesz, że wynik jest błędny. Kandydaci, którzy utrzymywali pipeline'y na produkcji, radzą sobie z takim dryfem lepiej niż ci, którzy je tylko budowali.

Starsi kandydaci powinni też spodziewać się większego nacisku na ocenę sytuacji. Wybieranie, czego nie budować, wyjaśnianie kompromisu nietechnicznemu interesariuszowi i przyznawanie się do własnego błędu z przeszłości liczy się na tym poziomie jako umiejętność specyficzna dla roli.

Zbuduj przygotowania wokół trzech obszarów wymienionych przez Netflix, a następnie dodaj zadanie domowe, jeśli rekruter potwierdzi, że jest.

• Technicznie: najpierw SQL. Ćwicz funkcje okna, deduplikację i sessionizację zdarzeń, aż będziesz je pisać bez podglądania. Przy każdym zapytaniu powiedz na głos, jaka jest ziarnistość wyniku, zanim je uruchomisz.
• Technicznie: kod. Ćwicz przekształcanie zagnieżdżonych lub zabałaganionych rekordów w swoim głównym języku i powtórz podstawowe struktury danych na wypadek, gdyby screening zawierał klasyczne zadanie algorytmiczne.
• Specyficznie dla roli: modelowanie i pipeline'y. Weź domenę, którą znasz, na przykład subskrypcje lub logi zdarzeń, i naszkicuj tabele, ziarnistość oraz pipeline, który je wypełnia. Potem poddaj projekt próbie: ponowne uruchomienie po częściowej awarii, backfill, spóźniona partia, zmieniona nazwa kolumny.
• Behawioralnie: historie z konsekwencjami. Przygotuj awarię pipeline'u, za którą odpowiadałeś, spór o definicję metryki i kompromis, który dziś podjąłbyś inaczej. Struktura STAR pomaga, jeśli masz skłonność do rozwlekłości, ale wynik niech będzie konkretny.
• Motywacja: praca, która Cię ekscytuje. Netflix deklaruje, że jego rekruterzy chcą to wiedzieć. Nazwij rodzaj problemu z danymi i wskaż projekt, który to pokazuje, zamiast chwalić firmę.
• Zadanie domowe, jeśli zostanie zlecone. Traktuj je jak pracę produkcyjną: testy, krótki README wyjaśniający założenia i jasna obsługa błędnych danych wejściowych.

Wyobraź sobie data engineera, którego doświadczenie to głównie nocny batchowy ETL w sieci handlowej. Pierwsze sesje poświęca na SQL z funkcjami okna, a potem ćwiczy wyjaśnianie, jak uczynić backfill bezpiecznym do ponownego uruchomienia, bo tam kryją się jego prawdziwe historie. Gdy pojawiają się pytania behawioralne, odpowiada awarią pipeline'u, za którą odpowiadał, zamiast ogólnego przykładu pracy zespołowej.

Ostatni krok to wypowiedzenie tego wszystkiego na głos, bo każdy etap to rozmowa. Strona mock interview w SubcueAI pozwala ćwiczyć pytania data engineeringowe na głos przed prawdziwym screeningiem.