Questions d'entretien data scientist, par étape

Vous avez sans doute préparé du SQL et un peu de machine learning, mais vous ne savez pas trop ce qui vous attend d'autre. Cette section présente les cinq étapes que ces entretiens réutilisent systématiquement, afin que votre préparation corresponde aux critères d'évaluation. Chaque étape teste quelque chose de différent, et ne préparer que les deux étapes techniques est la façon la plus courante dont de bons candidats perdent une offre.

• SQL et code. Rédaction de requêtes et manipulation de données en Python, généralement en direct.
• Statistiques et probabilités. Interprétation et raisonnement, pas de démonstrations.
• Conception d'expériences. Tests A/B : que mesurer, combien de temps les faire durer, quand faire confiance au résultat.
• Modélisation ou étude de cas. Un problème ouvert que vous cadrez, puis résolvez à un niveau global.
• Comportemental et relations avec les parties prenantes. Comment vous avez géré l'ambiguïté, les désaccords, et des résultats que personne ne voulait.

Les intitulés varient. Une entreprise qui appelle ce poste data scientist peut faire passer un entretien d'analyste, et inversement. Si vous cherchez la version analyste de cette page, elle se trouve dans le hub questions d'entretien par poste.

Statistiques et probabilités

• Que signifie réellement une valeur p, et que ne signifie-t-elle pas ?
• Expliquez un intervalle de confiance à un chef de produit en deux phrases.
• Dans quel cas utiliseriez-vous un test t plutôt qu'un test z ?
• Qu'est-ce que le théorème central limite, et pourquoi compte-t-il pour votre travail ?
• Une métrique a bougé et le résultat est significatif. Pourquoi pourrait-il quand même être faux ?
• Expliquez les erreurs de type I et de type II à l'aide d'une décision que prend réellement votre équipe.
• Qu'est-ce qu'un biais de sélection, et comment le détecteriez-vous dans vos données ?
• Quand une médiane est-elle un meilleur résumé qu'une moyenne ?

Conception d'expériences et tests A/B

• Comment concevriez-vous une expérience pour tester un nouveau parcours d'onboarding ?
• Comment choisissez-vous la taille de l'échantillon, et que se passe-t-il si vous ne pouvez pas l'atteindre ?
• Votre test est significatif après trois jours. Le déployez-vous ?
• Qu'est-ce qu'un effet de nouveauté, et comment le distingueriez-vous d'un véritable gain ?
• Comment gérez-vous plusieurs métriques qui évoluent dans des directions différentes ?
• Que feriez-vous si la randomisation s'était rompue en cours de test ?
• Comment mesureriez-vous quelque chose que vous ne pouvez pas randomiser, comme un changement de prix sur un marché entier ?

Ce qu'il faut remarquer : presque aucune de ces questions n'a de réponse unique correcte. Elles sont notées selon que vous nommez l'hypothèse, énoncez le compromis, et dites ce que vous vérifieriez.

Modélisation

• Comment construiriez-vous un modèle pour prédire le churn client ? Commencez par expliquer comment vous définiriez le churn.
• Votre modèle atteint 95 % de précision sur un jeu de données déséquilibré. Est-ce bon ?
• Expliquez le compromis biais-variance à l'aide d'un modèle que vous avez déjà mis en production.
• Comment décideriez-vous entre un modèle simple et un modèle complexe pour ce problème ?
• Comment savez-vous qu'un modèle a cessé de fonctionner après son déploiement ?
• Expliquez la régularisation à quelqu'un qui ne l'a jamais utilisée.

SQL et Python

• Écrivez une requête qui renvoie la première et la plus récente date d'achat de chaque utilisateur.
• Calculez une moyenne mobile sur sept jours des utilisateurs actifs quotidiens.
• Trouvez le taux de conversion par cohorte mensuelle.
• Avec pandas, transformez un tableau long en tableau large, et expliquez dans quel cas vous ne le feriez pas.
• Comment trouveriez-vous et traiteriez-vous les lignes en double dans une table de transactions ?

Sens produit et métriques

• Comment mesureriez-vous si une nouvelle fonctionnalité est un succès ?
• Les utilisateurs actifs quotidiens augmentent mais le revenu stagne. Enquêtez.
• Quelle métrique unique placeriez-vous sur le tableau de bord de la direction, et laquelle laisseriez-vous de côté ?
• Comment distingueriez-vous une bonne courbe de rétention d'une mauvaise ?

Lire une liste de questions crée de la reconnaissance. Les entretiens testent votre capacité à produire une réponse sous pression, avec quelqu'un qui vous interrompt, et ce sont des compétences différentes. L'écart se voit surtout dans les tours d'expérimentation et d'étude de cas, où la réponse est une argumentation structurée plutôt qu'un fait.

• Répondez à voix haute, avec un chronomètre. Six minutes par question d'étude de cas, sans notes, sans recommencer.
• Énoncez d'abord vos hypothèses. Nommer ce que vous supposez est noté, et cela vous achète aussi du temps de réflexion.
• Entraînez-vous à être interrompu. Les vrais recruteurs vous coupent la parole à la deuxième minute. Répéter un monologue sans interruption ne vous y prépare pas.
• Écrivez le SQL à la main. Les tours en direct utilisent souvent un éditeur simple, sans autocomplétion et sans possibilité d'exécuter la requête.
• Expliquez chaque résultat deux fois. Une fois techniquement, une fois pour une partie prenante qui se moque de votre méthode.

Une data scientist avec quatre ans d'expérience s'était préparée pour un entretien chez une marketplace en révisant une centaine de questions dans un document, puis elle s'est figée sur « votre test est significatif après trois jours, le déployez-vous ? », car elle n'avait jamais dit de réponse à voix haute. Le contenu était dans sa tête ; l'expression, non. Si vous voulez vous entraîner sur ces questions avec des relances, le mode entretien simulé fait passer ce tour et met votre réponse à l'épreuve.