Jaké otázky mohu čekat u pohovoru z machine learningu?

Výběrové řízení na pozici v machine learningu obvykle zahrnuje více kol než obecný pohovor na softwarovou pozici a každé kolo prověřuje jinou vrstvu znalostí. Když víte, o kterou vrstvu jde, poznáte, jaký druh odpovědi tazatel očekává.

• Základy. Teoretické otázky o učení, zobecňování a optimalizaci. Tazatel chce slyšet, že rozumíte tomu, proč určitá technika funguje, nikoli odříkanou definici.
• Vyhodnocování a experimentování. Volba metrik, validační strategie, výsledky offline oproti online prostředí a způsob návrhu experimentu, který prokáže přínos modelu.
• Aplikované modelování. Tvorba příznaků, únik dat, nevyváženost tříd a problematické stránky reálných datových sad. Tyto otázky se často vztahují k některému z vašich projektů.
• Návrh ML systémů. Jak model získává data, jak se trénuje a přetrénovává, jak poskytuje predikce a jak byste zjistili, že se jeho výkon v produkci zhoršuje.
• Programování. Úloha v pandas nebo čistém Pythonu, někdy implementace malého algoritmu, například k-means nebo logistické regrese, od základů.

Objevují se také behaviorální otázky, pro které platí stejná pravidla jako u jakékoli jiné pozice; samostatně je probírá téma databází otázek.

Formulace se mezi firmami liší, ale základní otázky se opakují. Procvičujte je, dokud je nedokážete vysvětlit jednoduchými slovy.

• Zkreslení a rozptyl: Jak byste zjistili, zda je model přeučený, nebo nedoučený, a co byste změnili jako první? Jak regularizace ovlivňuje model a kdy byste dali přednost L1 před L2?
• Validace: Proč může náhodné rozdělení na trénovací a testovací data přinést u časových řad zavádějící skóre? Kdy potřebujete stratifikovanou nebo skupinovou křížovou validaci?
• Metriky: Kdy je přesnost nevhodnou metrikou? Vysvětlete produktovému manažerovi preciznost, úplnost a ROC křivku. Kterou metriku byste optimalizovali při odhalování podvodů a co byste sledovali spolu s ní?
• Problémy s daty: Co je únik cílové proměnné a jak jste jej odhalili? Jak řešíte výraznou nevyváženost tříd, aniž byste si vymýšleli data? Jak pracujete s chybějícími hodnotami, aby se model náhodou nenaučil využívat samotnou skutečnost, že chybějí?
• Modely: Kdy gradientně posilovaný strom překoná neuronovou síť na tabulkových datech? Co ve skutečnosti počítá mechanismus pozornosti v transformeru? Proč embeddingy pomáhají u kategorických příznaků s vysokou kardinalitou?
• Optimalizace: Co se stane, když je rychlost učení příliš vysoká nebo příliš nízká? Proč dávková normalizace usnadňuje trénování?
• Návrh systému: Navrhněte doporučovací systém pro tržiště. Jak byste po nasazení odhalili posun dat? Jak byste model přetrénovali, aniž byste poskytovali zastaralé predikce?
• Experimentování: Offline metrika se zlepšila, ale A/B test nepřinesl změnu; co ověříte?

Pokud dokážete na každou z těchto otázek odpovědět jedním konkrétním příkladem z vlastní práce, máte pokrytou většinu toho, na co se mohou ptát v kole zaměřeném na základy.

Je běžné látku znát, ale přesto zaváhat, když ji máte vysvětlit během videohovoru. Tato část nabízí strukturu mluvených odpovědí a její stručná podoba zní: definice, rozhodnutí, příklad, omezení.

• Definice v jedné větě a jednoduchými slovy, ještě před jakýmkoli vzorcem.
• Rozhodnutí: kdy byste danou metodu použili a co byste zvolili místo ní, protože tazatelé prověřují úsudek, nikoli slovní zásobu.
• Příklad ze skutečného projektu: datová sada, co se pokazilo, co jste změnili a jaký ukazatel se posunul.
• Omezení: kdy technika selhává, čímž ukážete, že jste ji používali dostatečně dlouho na to, abyste její selhání viděli.

Datová analytička, která se uchází o ML pozici ve společnosti provozující tržiště, dostane otázku, proč její model řazení vypadal skvěle offline, ale v A/B testu nic nezměnil. Odpoví pomocí čtyř kroků: vysvětlí rozdíly mezi offline a online výsledky, proč je v jejím případě způsobilo zkreslení pozicí v zaznamenaných datech, jaké kontrafaktuální vyhodnocení přidala a že tento přístup platí pouze tehdy, když je zaznamenávání dostatečně randomizované. Taková odpověď má větší hodnotu než bezchybná derivace. K procvičování mluvených odpovědí slouží právě nástroj simulovaného pohovoru; pokládá doplňující otázky stejně jako skutečný tazatel.

V konverzačních kolech ano, avšak v určitých mezích. Nativní desktopová aplikace SubcueAI pro macOS a Windows zachycuje systémový zvuk hovoru a váš mikrofon, poslouchá otázku tazatele v Zoom, Google Meet nebo Microsoft Teams a v plovoucí vrstvě, kterou vidíte jen vy, zobrazí krátký návrh struktury odpovědi. U hovorů probíhajících na kartě prohlížeče Chrome nebo Edge zachycuje postranní panel rozšíření pouze zvuk z karty se schůzkou, takže slyší tazatele, ale nikdy nepřepisuje vaše slova. Ani jedno rozhraní se nepřipojuje k hovoru jako bot ani nic nevkládá do stránky schůzky. Pokud jste nahráli svůj životopis, návrhy mohou odkazovat na vaše vlastní projekty, což je právě to, co přináší ML odpovědím body.

Omezení jsou stejná jako u každého technického pohovoru. Hlídaný programátorský test, domácí úkol nebo sezení na zařízení spravovaném firmou nespadají mezi účely SubcueAI. Odvození na virtuální tabuli se sdílenou obrazovkou musí být vaším vlastním dílem, protože při sdílení celé obrazovky by překryvnou vrstvu viděli všichni. Aaron Cao, zakladatel SubcueAI, vytvořil překryvnou vrstvu jako nápovědu ke struktuře a slovní zásobě, nikoli k diktování odpovědí, protože ML tazatel se doptává na každé tvrzení a převzatá odpověď se rozpadne při druhé otázce. Nastavení obou rozhraní najdete na stránce s návodem; praktické rozdíly mezi desktopovou aplikací a rozšířením popisuje srovnávací stránka.