Quali domande devo aspettarmi in un colloquio di machine learning?

Un processo di selezione per il machine learning prevede in genere più fasi rispetto a uno per lo sviluppo software generico, e ogni fase valuta un livello diverso. Sapere quale sia il livello aiuta a capire che tipo di risposta desidera l'intervistatore.

• Fondamenti. Domande teoriche su apprendimento, generalizzazione e ottimizzazione. L'intervistatore vuole capire se sai perché una tecnica funziona, non sentire una definizione recitata a memoria.
• Valutazione e sperimentazione. Scelta delle metriche, strategia di validazione, risultati offline rispetto a quelli online e progettazione di un esperimento che dimostri l'efficacia di un modello.
• Modellazione applicata. Feature engineering, data leakage, sbilanciamento delle classi e gli aspetti complessi di un dataset reale. Queste domande spesso riguardano uno dei tuoi progetti.
• Progettazione di sistemi ML. Come il modello riceve i dati, come viene addestrato e riaddestrato, come vengono servite le previsioni e come rileveresti un peggioramento in produzione.
• Programmazione. Un esercizio con pandas o Python puro, talvolta l'implementazione da zero di un piccolo algoritmo come k-means o la regressione logistica.

Compaiono anche domande comportamentali, che seguono le stesse regole di qualsiasi altro ruolo; l'argomento dedicato alle raccolte di domande le tratta separatamente.

La formulazione cambia da un'azienda all'altra, ma le domande di fondo si ripetono. Esercitati finché non riuscirai a spiegarle con parole semplici.

• Bias e varianza: come stabiliresti se un modello soffre di overfitting o underfitting e che cosa cambieresti per prima cosa? Che effetto ha la regolarizzazione su un modello e quando preferiresti L1 a L2?
• Validazione: perché una suddivisione casuale tra training e test può produrre un punteggio fuorviante con dati di serie temporali? Quando è necessaria una cross-validation stratificata o per gruppi?
• Metriche: quando l'accuratezza è la metrica sbagliata? Spiega precision, recall e curva ROC a un product manager. Quale metrica ottimizzeresti per rilevare le frodi e che cosa monitoreresti insieme a essa?
• Problemi dei dati: che cos'è il target leakage e come lo hai individuato? Come gestisci un forte sbilanciamento delle classi senza inventare dati? Come tratti i valori mancanti affinché il modello non impari accidentalmente dalla loro assenza?
• Modelli: quando un albero con gradient boosting supera una rete neurale sui dati tabellari? Che cosa calcola realmente il meccanismo di attenzione in un transformer? Perché gli embedding sono utili con feature categoriali ad alta cardinalità?
• Ottimizzazione: che cosa accade quando il learning rate è troppo alto o troppo basso? Perché la batch normalization semplifica l'addestramento?
• Progettazione di sistemi: progetta un sistema di raccomandazione per un marketplace. Come rileveresti il data drift dopo la distribuzione? Come riaddestreresti un modello senza servire previsioni obsolete?
• Sperimentazione: la metrica offline è migliorata, ma il test A/B non mostra variazioni: che cosa controlli?

Se sai rispondere a ciascuna domanda con un esempio concreto tratto dal tuo lavoro, hai coperto gran parte di ciò che può essere chiesto in un colloquio sui fondamenti.

È normale conoscere la materia e avere comunque difficoltà quando viene chiesto di spiegarla durante una videochiamata. Questa sezione offre una struttura per le risposte orali, sintetizzabile così: definizione, decisione, esempio, limite.

• Definizione in una frase e con parole semplici, prima di qualsiasi formula.
• Decisione: quando useresti la tecnica e che cosa sceglieresti in alternativa, perché gli intervistatori valutano la capacità di giudizio, non il vocabolario.
• Esempio tratto da un progetto reale: il dataset, che cosa non ha funzionato, che cosa hai cambiato e quale risultato è migliorato.
• Limite: dove la tecnica smette di funzionare, dimostrando così di averla usata abbastanza da vederla fallire.

A una data scientist candidata per un ruolo ML presso un marketplace viene chiesto perché il suo modello di ranking, eccellente offline, non abbia prodotto alcun effetto nel test A/B. Risponde seguendo i quattro passaggi: che cosa sono le discrepanze tra risultati offline e online, perché nel suo caso erano dovute al bias di posizione nei dati registrati, la valutazione controfattuale che ha aggiunto e il limite secondo cui questa è valida solo quando la registrazione è sufficientemente randomizzata. Una risposta del genere vale più di una derivazione perfetta. Lo strumento per il colloquio simulato serve proprio a provare le risposte a voce e pone domande di approfondimento come farebbe un vero intervistatore.

Nelle fasi basate sulla conversazione sì, entro certi limiti. L'app desktop nativa di SubcueAI per macOS e Windows acquisisce l'audio di sistema della chiamata e il tuo microfono, ascolta la domanda dell'intervistatore su Zoom, Google Meet o Microsoft Teams e mostra una breve struttura suggerita in un overlay mobile visibile solo sul tuo schermo. Per le chiamate eseguite in una scheda del browser Chrome o Edge, il pannello laterale dell'estensione acquisisce soltanto l'audio della scheda della riunione, quindi sente l'intervistatore e non trascrive mai ciò che dici. Nessuna delle due soluzioni accede alla chiamata come bot né inserisce elementi nella pagina della riunione. Se hai caricato il curriculum, i suggerimenti possono fare riferimento ai tuoi progetti, ed è proprio qui che le risposte ML guadagnano punti.

I limiti sono gli stessi validi per ogni colloquio tecnico. Un test di programmazione sorvegliato, un compito da svolgere a casa o una sessione su un dispositivo gestito dall'azienda non rientrano negli scopi di SubcueAI; inoltre, una derivazione alla lavagna su uno schermo condiviso deve essere opera tua, perché condividere l'intero schermo renderebbe visibile l'overlay a tutti. Aaron Cao, fondatore di SubcueAI, ha creato l'overlay per suggerire struttura e terminologia, non per dettare risposte, perché un intervistatore ML approfondisce ogni affermazione e una risposta presa in prestito crolla alla seconda domanda. La configurazione di entrambe le soluzioni si trova nella pagina del tutorial; le differenze pratiche tra l'app desktop e l'estensione sono illustrate nella pagina di confronto.