Pohovor Netflix pro Data Engineera: proces a příprava

Napsal ti recruiter z Netflixu a chceš vědět, co tě čeká. Tato část odděluje to, co uvádí sám Netflix, od obecné praxe u rolí v data engineeringu. Nejdřív zveřejněná fakta, pak fáze, na které se vyplatí připravit.

Netflix zveřejňuje poznámky k procesu pro nábor na začátku kariéry, ne rozpis pro každou zkušenou roli. U kandidátů new grad uvádí, že pohovory obvykle začínají domácím úkolem a pokračují dvěma koly pohovorů a že postup závisí na zpětné vazbě v každé fázi. Kandidáti na stáž obvykle dostanou domácí úkol a poté zhruba dvě až tři kola. Napříč rolemi Netflix říká, že tazatelé hodnotí technické dovednosti tam, kde jsou relevantní, dovednosti specifické pro roli a behaviorální dovednosti a že chtějí poznat tvůj soubor dovedností a druh práce, který tě nadchává.

Netflix nezveřejňuje samostatný průběh pro zkušené data engineery: žádné názvy kol, počet pohovorů ani pevné pořadí. Tvůj recruiter je jediný spolehlivý zdroj pro tvůj vlastní harmonogram, proto se přímo ptej, jaké oblasti každý rozhovor pokrývá a zda je součástí domácí úkol.

Pro plánování pomáhá myslet na fáze, které průběh pro data engineera u velkých technologických firem obvykle obsahuje. Jsou to kategorie přípravy z obecné praxe pro tuto roli, ne názvy kol v Netflixu:

• Rozhovor s recruiterem. Tvé zkušenosti, tým, logistika a to, co tě na práci láká.
• Technické screeningové kolo. Obvykle SQL a trochu programování, často s diskusí o pipelinu, který jsi vytvořil.
• Domácí úkol. Součást uváděného procesu Netflixu pro new grad a stáže; zeptej se, zda platí pro tvou úroveň.
• Hlubší technické pohovory. Datové modelování, návrh pipelinů a systémů a náročnější SQL.
• Behaviorální a motivační rozhovory. Jak spolupracuješ s ostatními a jaké problémy chceš vlastnit.

Vlákna komunity na Redditu a Blindu podrobně popisují jednotlivé průběhy. Ber každé jako zkušenost jednoho kandidáta v jednom týmu, ne jako popis toho, jak Netflix zpovídá všechny data engineery.

Netflix uvádí tři věci, které tazatelé hodnotí: technické dovednosti, dovednosti specifické pro roli a behaviorální dovednosti. U data engineera je hranice mezi technickým a rolovým tenká, proto je užitečnější přiřadit je k oblastem níže. Ukázkové otázky na této stránce jsou reprezentativní cvičné zadání, ne otázky, o nichž by Netflix potvrdil, že je klade.

• Plynulost v SQL. Joiny, které nenásobí řádky, okenní funkce pro pořadí a průběžné součty, deduplikace, gaps and islands a sessionizace proudů událostí. Tazatelům obvykle záleží na tom, zda umíš vysvětlit, proč je dotaz správný, ne jen zda vrací výstup.
• Programování pro data. Parsování, transformace a agregace záznamů v Pythonu nebo jazyce na JVM, s důrazem na paměť, hraniční případy a čitelný kód. Možné jsou i algoritmické hádanky, takže základní datové struktury si zaslouží opakování.
• Datové modelování. Volba granularity faktové tabulky, oddělení faktů od dimenzí, práce s atributy, které se v čase mění, a návrh tabulek, nad nimiž mohou analytici dotazovat bez pastí.
• Návrh pipelinů a systémů. Batch versus streaming, partitioning, idempotentní zápisy, backfilly, pozdě došlé události, změny schématu a kontroly kvality dat. Počítej s doplňujícími otázkami, které uprostřed změní požadavky.
• Behaviorální úsudek. Odpovědnost za selhání, neshody se zainteresovanými stranami ohledně definic metrik a kompromisy mezi rychlostí a správností.
• Motivace. Netflix říká, že tazatelé chtějí poznat druh práce, který tě nadchává. Vágní odpověď tu promrhá otázku, na které podle firmy záleží.

Společným jmenovatelem všeho je uvažování nahlas. Kandidát, který v tichosti napíše správný dotaz, a kandidát, který před psaním vysvětlí granularitu, klíče joinů a hraniční případy, často dostanou jinou zpětnou vazbu, i při identickém kódu. Další cvičná zadání seskupená podle dovedností najdeš v bankách otázek.

U většiny velkých technologických firem se pohovor pro data engineera překrývá s oběma sousedními rolemi, ale dává jiné váhy dovednostem. Netflix nezveřejňuje rozdíly mezi rolemi pro zkušené náboru, takže srovnání níže vychází z obecné praxe, ne z tvrzení o ostatních procesech Netflixu.

• Oproti softwarovému inženýrství. Méně důrazu na algoritmické hádanky a více na SQL, datové modelování a spolehlivost pipelinů. Otázky na system design se obvykle točí kolem toho, jak data putují, přistávají a opravují se, ne kolem služeb obsluhujících požadavky.
• Oproti data science. Méně statistiky, experimentování a modelování výsledků; více o budování a provozu tabulek, na nichž závisí analytici a vědci. Stále se tě mohou ptát, jak je metrika definována, protože data engineer často vlastní tabulku, která za ní stojí.
• Oproti analytics engineeringu. Hranice je rozmazaná. Role analytics engineera se obvykle více kloní k modelování a SQL pro reporting, zatímco role data engineera jdou hlouběji do ingestu, distribuovaného zpracování a infrastruktury.

Mezi firmami je větším rozdílem obvykle to, jak moc se proces opírá o domácí úkoly oproti řešení problémů naživo. Uváděný proces Netflixu pro new grad a stáže začíná domácím úkolem, který odměňuje čistou, zdokumentovanou práci před rychlostí. Průvodce tím, jak ostatní firmy strukturují své procesy, je shromážděn v sekci pohovory ve firmách.

Netflix nezveřejňuje časový harmonogram náboru data engineerů. Plánování závisí na týmu, tvé úrovni a dostupnosti tazatelů, takže recruiter je ten, koho se ptát, jakmile jsi v procesu.

Obtížnost se snáz popisuje kvalitativně. Netflix říká, že postup se opírá o zpětnou vazbu v každé fázi, což znamená, že každá fáze funguje jako brána, nikoli jako skóre zprůměrované na konci. Slabý domácí úkol nebo vratké SQL screeningové kolo může proces ukončit dřív, než začnou rozhovory o návrhu, bez ohledu na to, jak silný bys byl později.

Těžké pro většinu kandidátů není obskurní syntaxe. Je to hloubka pod doplňujícími otázkami: navrhneš pipeline, tazatel přidá pozdě došlá data, pak změnu schématu a potom se zeptá, jak bys poznal, že je výstup špatně. Kandidáti, kteří pipeliny provozovali v produkci, zvládají tento posun lépe než ti, kdo je jen stavěli.

Senioři by také měli počítat s větší váhou úsudku. Rozhodnutí, co nestavět, vysvětlení kompromisu netechnické zainteresované straně a převzetí odpovědnosti za dřívější chybu se na této úrovni počítá jako dovednost specifická pro roli.

Postav přípravu kolem tří oblastí, které Netflix uvádí, a pak přidej domácí úkol, pokud recruiter potvrdí, že existuje.

• Technické: nejdřív SQL. Procvičuj okenní funkce, deduplikaci a sessionizaci událostí, dokud je nenapíšeš bez předlohy. U každého dotazu řekni nahlas granularitu výsledku, než ho spustíš.
• Technické: kód. Trénuj transformaci vnořených nebo nepořádných záznamů ve svém hlavním jazyce a zopakuj základní datové struktury pro případ, že screeningové kolo zahrnuje klasickou algoritmickou úlohu.
• Specifické pro roli: modelování a pipeliny. Vezmi doménu, kterou znáš, například předplatná nebo logy událostí, a načrtni tabulky, granularitu a pipeline, která je plní. Pak návrh zatěž: opakované spuštění po částečném selhání, backfill, pozdní dávka, přejmenovaný sloupec.
• Behaviorální: příběhy s následky. Připrav selhání pipelinu, které jsi vlastnil, neshodu o definici metriky a kompromis, který bys dnes udělal jinak. Struktura STAR pomáhá, pokud máš tendenci se rozkecat, ale výsledek drž konkrétní.
• Motivace: práce, která tě nadchává. Netflix uvádí, že to tazatelé chtějí vědět. Pojmenuj typ datového problému a ukaž na projekt, který ho dokládá, místo abys chválil firmu.
• Domácí úkol, pokud je zadán. Ber ho jako produkční práci: testy, krátké README vysvětlující tvé předpoklady a jasné zacházení s chybným vstupem.

Představ si data engineera, jehož zkušenost je většinou noční batch ETL v maloobchodní firmě. První sezení věnuje SQL s okenními funkcemi, pak nacvičuje vysvětlení, jak by udělal backfill bezpečný pro opakované spuštění, protože tam jsou jeho skutečné příběhy. Když přijdou behaviorální otázky, odpoví selháním pipelinu, které vlastnil, místo obecného příkladu týmové práce.

Posledním krokem je říct to všechno nahlas, protože každá fáze je rozhovor. Stránka s nácvikem pohovoru na SubcueAI ti umožní procvičit otázky z data engineeringu nahlas před skutečným screeningem.