À quelles questions d’entretien en machine learning dois-je m’attendre ?

Un processus de recrutement en machine learning comporte généralement plus d’étapes qu’un processus généraliste en génie logiciel, et chacune évalue un niveau différent. Savoir lequel vous aide à comprendre le type de réponse attendu par l’intervieweur.

• Fondamentaux. Questions théoriques sur l’apprentissage, la généralisation et l’optimisation. L’intervieweur veut vérifier que vous comprenez pourquoi une technique fonctionne, et non entendre une définition récitée.
• Évaluation et expérimentation. Choix des métriques, stratégie de validation, résultats hors ligne par rapport aux résultats en ligne et conception d’une expérience prouvant l’utilité d’un modèle.
• Modélisation appliquée. Ingénierie des caractéristiques, fuite de données, déséquilibre des classes et difficultés propres aux jeux de données réels. Ces questions s’appuient souvent sur l’un de vos projets.
• Conception de systèmes ML. Comment le modèle obtient ses données, comment il est entraîné et réentraîné, comment les prédictions sont mises à disposition et comment détecter une dégradation en production.
• Programmation. Un exercice en pandas ou en Python pur, parfois l’implémentation intégrale d’un petit algorithme comme les k-moyennes ou la régression logistique.

Des questions comportementales sont également posées et suivent les mêmes règles que pour tout autre poste ; le thème des banques de questions les traite séparément.

La formulation varie selon les entreprises, mais les questions de fond se répètent. Entraînez-vous jusqu’à pouvoir les expliquer simplement.

• Biais et variance : Comment détermineriez-vous si un modèle est en surapprentissage ou en sous-apprentissage, et que changeriez-vous en premier ? Quel effet la régularisation a-t-elle sur un modèle, et quand préféreriez-vous L1 à L2 ?
• Validation : Pourquoi une séparation aléatoire entre entraînement et test peut-elle produire un score trompeur sur des séries temporelles ? Quand faut-il utiliser une validation croisée stratifiée ou groupée ?
• Métriques : Quand l’exactitude est-elle une mauvaise métrique ? Expliquez la précision, le rappel et la courbe ROC à un chef de produit. Quelle métrique optimiseriez-vous pour détecter la fraude, et que surveilleriez-vous en parallèle ?
• Problèmes de données : Qu’est-ce qu’une fuite de la variable cible et comment en avez-vous déjà détecté une ? Comment gérez-vous un fort déséquilibre des classes sans inventer de données ? Comment traitez-vous les valeurs manquantes afin que le modèle n’apprenne pas accidentellement leur absence ?
• Modèles : Quand un arbre à gradient boosting surpasse-t-il un réseau neuronal sur des données tabulaires ? Que calcule réellement le mécanisme d’attention d’un transformeur ? Pourquoi les plongements sont-ils utiles pour les caractéristiques catégorielles à forte cardinalité ?
• Optimisation : Que se passe-t-il lorsque le taux d’apprentissage est trop élevé ou trop faible ? Pourquoi la normalisation par lots facilite-t-elle l’entraînement ?
• Conception de systèmes : Concevez un système de recommandation pour une place de marché. Comment détecteriez-vous une dérive des données après le déploiement ? Comment réentraîneriez-vous un modèle sans fournir de prédictions obsolètes ?
• Expérimentation : La métrique hors ligne s’est améliorée, mais le test A/B n’a produit aucun effet ; que vérifiez-vous ?

Si vous pouvez répondre à chacune de ces questions avec un exemple concret tiré de votre expérience, vous aurez couvert l’essentiel des sujets possibles lors d’un entretien sur les fondamentaux.

Il est normal de connaître le sujet et de buter malgré tout lorsqu’il faut l’expliquer pendant un appel vidéo. Voici une structure pour vos réponses orales, résumée ainsi : définition, décision, exemple, limite.

• Définition en une phrase et en termes simples, avant toute formule.
• Décision : quand vous utiliseriez cette méthode et quelle solution vous choisiriez à la place, car les intervieweurs évaluent votre jugement, pas votre vocabulaire.
• Exemple tiré d’un projet réel : le jeu de données, le problème rencontré, le changement apporté et le résultat obtenu.
• Limite : les situations dans lesquelles la technique échoue, ce qui montre que vous l’avez suffisamment utilisée pour en constater les faiblesses.

Lors d’un entretien pour un poste en ML dans une place de marché, on demande à une data scientist pourquoi son modèle de classement semblait excellent hors ligne, mais n’a rien changé lors du test A/B. Elle répond en quatre étapes : ce que sont les écarts entre performances hors ligne et en ligne, comment le biais de position dans les données journalisées a causé le sien, l’évaluation contrefactuelle qu’elle a ajoutée et la réserve selon laquelle celle-ci n’est valable que si la journalisation est suffisamment aléatoire. Cette réponse vaut davantage qu’une démonstration parfaite. C’est précisément à cela que sert l’outil d’entretien blanc : il pose des questions de suivi comme le ferait un véritable intervieweur.

Lors des entretiens conversationnels, oui, dans certaines limites. L’application de bureau native de SubcueAI pour macOS et Windows capte le son système de l’appel ainsi que votre microphone, entend la question de l’intervieweur sur Zoom, Google Meet ou Microsoft Teams, puis affiche une courte structure de réponse suggérée dans une fenêtre flottante visible uniquement sur votre écran. Pour les appels exécutés dans un onglet de navigateur Chrome ou Edge, le panneau latéral de l’extension ne capte que le son de l’onglet de la réunion : il entend donc l’intervieweur sans jamais vous transcrire. Aucune de ces interfaces ne rejoint l’appel comme un robot ni n’injecte quoi que ce soit dans la page de réunion. Si vous avez importé votre CV, les suggestions peuvent faire référence à vos propres projets, ce qui est décisif pour la qualité des réponses en ML.

Les limites sont les mêmes que pour tout entretien technique. Un test de programmation surveillé, un devoir à réaliser chez soi ou une session sur un appareil géré par l’entreprise ne correspondent pas à l’usage prévu de SubcueAI. De plus, toute démonstration au tableau blanc sur un écran partagé doit être la vôtre, car partager l’intégralité de votre écran rendrait la fenêtre flottante visible par tous. Aaron Cao, fondateur de SubcueAI, a conçu cette fenêtre pour suggérer une structure et du vocabulaire plutôt que pour dicter des réponses, car un intervieweur en ML approfondit chaque affirmation et une réponse empruntée s’effondre dès la deuxième question. La configuration des deux interfaces figure sur la page du tutoriel ; les différences pratiques entre l’application de bureau et l’extension sont décrites sur la page de comparaison.