Netflix Data Engineer interjú: folyamat és felkészülés

Kaptál egy üzenetet egy Netflix-toborzótól, és tudni szeretnéd, mi következik. Ez a rész elkülöníti azt, amit maga a Netflix közöl, attól, ami a data engineering szerepkörök általános gyakorlata. Először a közzétett tények, aztán azok a szakaszok, amelyekre érdemes felkészülni.

A Netflix a pályakezdői felvételhez közöl folyamatleírást, nem minden tapasztalt szerepkörre bontást. A new grad jelöltekről azt írja, hogy az interjúk jellemzően otthoni feladattal indulnak, majd két interjúkör következik, és a továbblépés az egyes szakaszok visszajelzésétől függ. A gyakornoki jelöltek jellemzően otthoni feladatot kapnak, majd nagyjából két-három kört. Szerepkörtől függetlenül a Netflix szerint az interjúztatók értékelik a technikai készségeket, ahol relevánsak, a szerepspecifikus készségeket és a viselkedési készségeket, és meg akarják ismerni a készségeidet és azt a munkát, amely lelkesít.

A Netflix nem közöl külön folyamatot tapasztalt data engineereknek: nincsenek körnevek, interjúszám vagy rögzített sorrend. A toborzód az egyetlen megbízható forrás a saját menetrendedhez, ezért kérdezd meg közvetlenül, hogy az egyes beszélgetések mely területeket fedik le, és része-e otthoni feladat.

A tervezéshez segít azokban a szakaszokban gondolkodni, amelyeket a data engineering folyamat jellemzően tartalmaz a nagy technológiai cégeknél. Ezek a szerepkör általános gyakorlatából vett felkészülési kategóriák, nem a Netflix körnevei:

• Beszélgetés a toborzóval. A háttered, a csapat, a logisztika és az, hogy mi vonz a munkában.
• Technikai szűrőkör. Általában SQL és némi programozás, gyakran egy általad épített pipeline megbeszélésével.
• Otthoni feladat. A Netflix közölt new grad és gyakornoki folyamatának része; kérdezd meg, vonatkozik-e a szintedre.
• Mélyebb technikai interjúk. Adatmodellezés, pipeline- és rendszertervezés, nehezebb SQL.
• Viselkedési és motivációs beszélgetések. Hogyan dolgozol másokkal, és milyen problémákat szeretnél magadénak tudni.

A Reddit- és Blind-szálak részletesen leírnak egyes köröket. Kezeld mindegyiket egyetlen jelölt tapasztalataként egyetlen csapatnál, nem annak leírásaként, hogyan interjúztat a Netflix minden data engineert.

A Netflix három dolgot nevez meg, amit az interjúztatók értékelnek: technikai készségek, szerepspecifikus készségek és viselkedési készségek. Egy data engineernél a technikai és a szerepspecifikus közötti határ vékony, ezért hasznosabb az alábbi területekhez rendelni őket. Az ezen az oldalon szereplő mintakérdések reprezentatív gyakorlófeladatok, nem olyan kérdések, amelyekről a Netflix megerősítette volna, hogy felteszi őket.

• SQL-jártasság. Joinok, amelyek nem szorozzák meg a sorokat, ablakfüggvények rangsoroláshoz és gördülő összegekhez, deduplikáció, gaps and islands és eseményfolyamok sessionizálása. Az interjúztatókat általában az érdekli, el tudod-e magyarázni, miért helyes egy lekérdezés, nem csak az, hogy ad-e kimenetet.
• Programozás adatokhoz. Rekordok feldolgozása, átalakítása és aggregálása Pythonban vagy JVM-nyelven, figyelve a memóriára, a határesetekre és az olvasható kódra. Rejtvényszerű algoritmuskérdések lehetségesek, ezért az alapvető adatszerkezeteket érdemes átnézni.
• Adatmodellezés. Egy ténytábla szemcsézettségének (grain) megválasztása, a tények és dimenziók szétválasztása, időben változó attribútumok kezelése, és olyan táblák tervezése, amelyeket az elemzők csapdák nélkül lekérdezhetnek.
• Pipeline- és rendszertervezés. Batch vagy streaming, particionálás, idempotens írások, backfillek, későn érkező események, sémaváltozások és adatminőség-ellenőrzések. Számíts kiegészítő kérdésekre, amelyek menet közben módosítják a követelményeket.
• Viselkedési ítélőképesség. A hibákért vállalt felelősség, nézeteltérések az érintettekkel a metrikadefiníciókról, és a sebesség és a helyesség közötti kompromisszumok.
• Motiváció. A Netflix szerint az interjúztatók meg akarják ismerni, milyen munka lelkesít. Egy homályos válasz itt elpazarol egy kérdést, amelyről a cég azt mondta, hogy fontos neki.

Mindezekben a közös szál a hangos gondolkodás. Az a jelölt, aki némán ír egy helyes lekérdezést, és az, aki gépelés előtt elmagyarázza a szemcsézettséget, a join-kulcsokat és a határeseteket, gyakran eltérő visszajelzést kap, még azonos kód mellett is. További, készség szerint csoportosított gyakorlófeladatok a kérdésbankokban vannak.

A legtöbb nagy technológiai cégnél a data engineer folyamat átfed mindkét szomszédos szerepkörrel, de más készségeket súlyoz. A Netflix nem közöl szerepkörönkénti különbségeket a tapasztalt felvételhez, ezért az alábbi összehasonlítás általános gyakorlat, nem állítás a Netflix többi folyamatáról.

• A szoftvermérnökséghez képest. Kevesebb hangsúly az algoritmusrejtvényeken, több az SQL-en, az adatmodellezésen és a pipeline-ok megbízhatóságán. A system design kérdések jellemzően arról szólnak, hogyan mozognak, érkeznek meg és javulnak az adatok, nem a kéréseket kiszolgáló szolgáltatásokról.
• A data science-hez képest. Kevesebb statisztika, kísérletezés és kimenetmodellezés; több az elemzők és tudósok által használt táblák építéséről és üzemeltetéséről. Még mindig megkérdezhetik, hogyan definiálnak egy metrikát, mert a data engineer gyakran birtokolja a mögötte álló táblát.
• Az analytics engineeringhez képest. A határ elmosódott. Az analytics engineer szerepkörök általában inkább a modellezés és a riportolási SQL felé hajlanak, míg a data engineer szerepkörök mélyebbre mennek a betöltésben, az elosztott feldolgozásban és az infrastruktúrában.

Cégek között a nagyobb különbség általában az, mennyire támaszkodik a folyamat otthoni munkára az élő problémamegoldással szemben. A Netflix közölt new grad és gyakornoki folyamata otthoni feladattal indul, amely a tiszta, dokumentált munkát jutalmazza a sebességgel szemben. A más cégek folyamatfelépítését bemutató útmutatók a cégek interjúi alatt találhatók.

A Netflix nem közöl időtervet a data engineerek felvételére. Az ütemezés a csapattól, a szintedtől és az interjúztatók elérhetőségétől függ, ezért a toborzót érdemes kérdezni, ha már a folyamatban vagy.

A nehézséget könnyebb minőségileg leírni. A Netflix szerint a továbblépés az egyes szakaszok visszajelzésén alapul, ami azt jelenti, hogy minden szakasz kapuként működik, nem a végén átlagolt pontszámként. Egy gyenge otthoni feladat vagy egy ingatag SQL-szűrő véget vethet a folyamatnak, mielőtt a tervezési beszélgetések elkezdődnének, függetlenül attól, mennyire lettél volna erős később.

A legtöbb jelölt számára a nehéz rész nem a homályos szintaxis. Hanem a mélység a kiegészítő kérdések alatt: megtervezel egy pipeline-t, az interjúztató későn érkező adatokat ad hozzá, aztán sémaváltozást, majd megkérdezi, honnan tudnád, hogy a kimenet hibás. Azok a jelöltek, akik üzemeltettek pipeline-okat élesben, jobban kezelik ezt az elcsúszást, mint akik csak építették őket.

A senior jelölteknek az ítélőképesség nagyobb súlyával is számolniuk kell. Annak eldöntése, mit ne építsünk meg, egy kompromisszum elmagyarázása nem technikai érintettnek, és egy korábbi hiba felvállalása mind szerepspecifikus készségnek számít ezen a szinten.

Építsd a felkészülésed a Netflix által megnevezett három terület köré, majd add hozzá az otthoni feladatot, ha a toborzó megerősíti, hogy van.

• Technikai: először az SQL. Dolgozz ablakfüggvényekkel, deduplikációval és eseménysessionizálással, amíg segédlet nélkül meg nem tudod írni őket. Minden lekérdezésnél mondd ki hangosan az eredmény szemcsézettségét, mielőtt lefuttatod.
• Technikai: kód. Gyakorold beágyazott vagy rendetlen rekordok átalakítását a fő nyelveden, és nézd át az alap adatszerkezeteket arra az esetre, ha a szűrő klasszikus algoritmusfeladatot tartalmaz.
• Szerepspecifikus: modellezés és pipeline-ok. Vegyél egy ismert területet, például előfizetéseket vagy eseménynaplókat, és vázold fel a táblákat, a szemcsézettséget és a pipeline-t, amely feltölti őket. Aztán terheld meg a tervet: újrafuttatás részleges hiba után, backfill, késő köteg, átnevezett oszlop.
• Viselkedési: következményekkel járó történetek. Készíts elő egy általad felelősen kezelt pipeline-hibát, egy nézeteltérést egy metrikadefinícióról és egy kompromisszumot, amelyet ma másképp tennél. A STAR-szerkezet segít, ha hajlamos vagy elkalandozni, de az eredmény maradjon konkrét.
• Motiváció: a lelkesítő munka. A Netflix közli, hogy az interjúztatók ezt tudni akarják. Nevezz meg egy adatprobléma-típust, és mutass egy projektet, amely ezt mutatja, ahelyett, hogy a céget dicsérnéd.
• Otthoni feladat, ha kiosztják. Kezeld éles munkaként: tesztek, rövid README a feltevéseidről és a hibás bemenet egyértelmű kezelése.

Képzelj el egy data engineert, akinek tapasztalata főként éjszakai batch ETL egy kiskereskedőnél. Az első alkalmakat ablakfüggvényes SQL-re szánja, majd azt gyakorolja, hogyan tenné újrafuttatásra biztonságossá a backfillt, mert ott vannak a valódi történetei. Amikor jönnek a viselkedési kérdések, egy általa kezelt pipeline-hibával válaszol egy általános csapatmunka-példa helyett.

Az utolsó lépés mindezt hangosan elmondani, mert minden szakasz beszélgetés. A SubcueAI próbainterjú oldala lehetővé teszi, hogy hangosan gyakorold a data engineering kérdéseket a valódi szűrő előtt.