Welke sollicitatievragen over machine learning kan ik verwachten?

Een sollicitatieprocedure voor machine learning heeft doorgaans meer rondes dan een algemene softwareprocedure, waarbij elke ronde een andere laag toetst. Als je de laag kent, weet je welk soort antwoord de interviewer verwacht.

• Basiskennis. Theoretische vragen over leren, generalisatie en optimalisatie. De interviewer wil horen dat je begrijpt waarom een techniek werkt, niet dat je een definitie opdreunt.
• Evaluatie en experimenten. De keuze van meetwaarden, de validatiestrategie, offline- tegenover onlineresultaten en hoe je een experiment zou opzetten om aan te tonen dat een model verbetering bracht.
• Toegepaste modellering. Feature-engineering, datalekkage, klassenonbalans en de rommelige kanten van een echte dataset. Deze vragen worden vaak geformuleerd rond een van je eigen projecten.
• ML-systeemontwerp. Hoe het model aan data komt, hoe het wordt getraind en opnieuw getraind, hoe voorspellingen worden aangeboden en hoe je zou opmerken dat het in productie achteruitgaat.
• Coderen. Een oefening met pandas of gewone Python, soms de implementatie vanaf nul van een klein algoritme zoals k-means of logistische regressie.

Ook gedragsvragen komen voor en daarvoor gelden dezelfde regels als bij elke andere functie; het onderwerp vragenbanken behandelt die afzonderlijk.

De formulering verschilt per bedrijf, maar de onderliggende vragen keren terug. Oefen deze totdat je ze in gewone taal kunt uitleggen.

• Bias en variantie: Hoe stel je vast of een model overfit of underfit, en wat zou je als eerste veranderen? Wat doet regularisatie met een model en wanneer verkies je L1 boven L2?
• Validatie: Waarom kan een willekeurige splitsing in trainings- en testdata bij tijdreeksdata een misleidende score geven? Wanneer heb je gestratificeerde of gegroepeerde kruisvalidatie nodig?
• Meetwaarden: Wanneer is nauwkeurigheid de verkeerde meetwaarde? Leg precisie, recall en de ROC-curve uit aan een productmanager. Welke meetwaarde zou je optimaliseren voor fraudedetectie en wat zou je daarnaast monitoren?
• Dataproblemen: Wat is target leakage en hoe heb je dit opgespoord? Hoe ga je om met een sterke klassenonbalans zonder data te verzinnen? Hoe behandel je ontbrekende waarden zodat het model niet per ongeluk leert van het feit dat ze ontbreken?
• Modellen: Wanneer presteert een gradient-boosted tree beter dan een neuraal netwerk op tabeldata? Wat berekent het aandachtsmechanisme in een transformer precies? Waarom helpen embeddings bij categorische features met een hoge kardinaliteit?
• Optimalisatie: Wat gebeurt er als de learning rate te hoog of te laag is? Waarom maakt batchnormalisatie training eenvoudiger?
• Systeemontwerp: Ontwerp een aanbevelingssysteem voor een marktplaats. Hoe zou je datadrift na implementatie detecteren? Hoe zou je een model opnieuw trainen zonder verouderde voorspellingen aan te bieden?
• Experimenten: De offline-meetwaarde is verbeterd, maar de A/B-test bleef gelijk; wat controleer je?

Als je elk van deze vragen kunt beantwoorden met één concreet voorbeeld uit je eigen werk, heb je het grootste deel behandeld van wat in een basisronde kan worden gevraagd.

Het is normaal dat je de stof kent en toch struikelt wanneer je die tijdens een videogesprek moet uitleggen. In dit gedeelte krijg je een structuur voor mondelinge antwoorden, met deze korte opzet: definitie, beslissing, voorbeeld, beperking.

• Definitie in één zin en in gewone woorden, vóór elke formule.
• Beslissing: wanneer je het zou gebruiken en wat je anders zou kiezen, want interviewers toetsen je beoordelingsvermogen, niet je woordenschat.
• Voorbeeld uit een echt project: de dataset, wat er misging, wat je veranderde en wat daardoor verbeterde.
• Beperking: waar de techniek tekortschiet, waarmee je laat zien dat je deze vaak genoeg hebt gebruikt om haar te zien falen.

Een datawetenschapper die solliciteert naar een ML-functie bij een marktplaatsbedrijf, krijgt de vraag waarom haar rangschikkingsmodel offline uitstekend presteerde maar niets veranderde in de A/B-test. Ze antwoordt in vier stappen: wat verschillen tussen offline en online zijn, waarom positiebias in vastgelegde data dit bij haar veroorzaakte, welke contrafeitelijke evaluatie ze toevoegde en het voorbehoud dat dit alleen geldt wanneer de logging voldoende gerandomiseerd is. Dat antwoord is meer waard dan een perfecte afleiding. Het oefenen van mondelinge antwoorden is precies waarvoor de tool proefsollicitatie bedoeld is; deze stelt vervolgvragen zoals een echte interviewer dat doet.

In de gespreksrondes wel, binnen bepaalde grenzen. De native desktop-app van SubcueAI voor macOS en Windows neemt de systeemaudio van het gesprek en je microfoon op, hoort de vraag van de interviewer via Zoom, Google Meet of Microsoft Teams en toont een korte voorgestelde structuur in een zwevende overlay die alleen op jouw scherm zichtbaar is. Voor gesprekken die in een browsertab van Chrome of Edge plaatsvinden, neemt het zijpaneel van de browserextensie alleen de audio van de vergadertab op, zodat het de interviewer hoort en jou nooit transcribeert. Geen van beide varianten neemt als bot deel aan het gesprek of voegt iets toe aan de vergaderpagina. Als je je cv hebt geüpload, kunnen de suggesties naar je eigen projecten verwijzen, en juist daarmee verdien je punten met ML-antwoorden.

De beperkingen zijn dezelfde als bij elke technische sollicitatie. Een bewaakte codingtest, een thuisopdracht of een sessie op een door het bedrijf beheerd apparaat valt buiten het doel van SubcueAI, en een afleiding op een digitaal schoolbord op een gedeeld scherm moet van jouzelf komen, omdat de overlay voor iedereen zichtbaar wordt als je je volledige scherm deelt. Aaron Cao, oprichter van SubcueAI, ontwikkelde de overlay om structuur en woordenschat aan te reiken en niet om antwoorden te dicteren, omdat een ML-interviewer op elke bewering doorvraagt en een geleend antwoord bij de tweede vraag instort. De installatie van beide varianten staat op de tutorialpagina; de praktische verschillen tussen de desktop-app en de extensie worden beschreven op de vergelijkingspagina.