Que perguntas devo esperar em uma entrevista de machine learning?

Um processo seletivo de machine learning costuma ter mais etapas do que um processo geral de software, e cada uma avalia uma camada diferente. Saber qual é a camada indica o tipo de resposta que o entrevistador espera.

• Fundamentos. Perguntas teóricas sobre aprendizado, generalização e otimização. O entrevistador quer perceber que você entende por que uma técnica funciona, não ouvir uma definição decorada.
• Avaliação e experimentação. Escolha de métricas, estratégia de validação, resultados offline em comparação com resultados online e como você criaria um experimento para comprovar que um modelo ajudou.
• Modelagem aplicada. Engenharia de atributos, vazamento de dados, desequilíbrio entre classes e as partes complicadas de um conjunto de dados real. Muitas vezes, essas perguntas são formuladas em torno de um dos seus próprios projetos.
• Design de sistemas de ML. Como o modelo recebe os dados, como é treinado e retreinado, como as previsões são disponibilizadas e como você perceberia uma degradação em produção.
• Programação. Um exercício em pandas ou Python puro, às vezes com a implementação do zero de um algoritmo pequeno, como k-means ou regressão logística.

Perguntas comportamentais também aparecem e seguem as mesmas regras de qualquer outra função; o tópico sobre bancos de perguntas trata delas separadamente.

A formulação muda entre empresas, mas as perguntas fundamentais se repetem. Pratique-as até conseguir explicá-las em linguagem simples.

• Viés e variância: Como você diagnosticaria se um modelo está sofrendo de sobreajuste ou subajuste, e o que mudaria primeiro? O que a regularização faz com um modelo e quando você preferiria L1 a L2?
• Validação: Por que uma divisão aleatória entre treino e teste pode produzir uma pontuação enganosa em dados de séries temporais? Quando é necessário usar validação cruzada estratificada ou agrupada?
• Métricas: Quando a acurácia é a métrica errada? Explique precisão, revocação e a curva ROC para um gerente de produto. Qual métrica você otimizaria para detectar fraudes e o que monitoraria junto com ela?
• Problemas com dados: O que é vazamento da variável-alvo e como você já o detectou? Como lidar com um forte desequilíbrio entre classes sem inventar dados? Como tratar valores ausentes para que o modelo não aprenda acidentalmente com a própria ausência?
• Modelos: Quando uma árvore com gradient boosting supera uma rede neural em dados tabulares? O que o mecanismo de atenção de um transformer realmente calcula? Por que embeddings ajudam com atributos categóricos de alta cardinalidade?
• Otimização: O que acontece quando a taxa de aprendizado é alta ou baixa demais? Por que a normalização em lote facilita o treinamento?
• Design de sistemas: Projete um sistema de recomendação para um marketplace. Como você detectaria desvio de dados após a implantação? Como retreinaria um modelo sem disponibilizar previsões desatualizadas?
• Experimentação: A métrica offline melhorou, mas o teste A/B não mudou; o que você verifica?

Se você conseguir responder a cada uma dessas perguntas com um exemplo concreto do seu próprio trabalho, terá coberto a maior parte do que uma etapa de fundamentos pode abordar.

É normal conhecer o assunto e ainda assim se atrapalhar ao explicá-lo em uma videochamada. Esta seção oferece uma forma de estruturar respostas faladas, e o resumo é curto: definição, decisão, exemplo e limite.

• Definição em uma frase e com palavras simples, antes de qualquer fórmula.
• Decisão: quando você usaria a técnica e o que escolheria como alternativa, pois os entrevistadores avaliam discernimento, não vocabulário.
• Exemplo de um projeto real: o conjunto de dados, o que deu errado, o que você mudou e qual resultado se alterou.
• Limite: onde a técnica deixa de funcionar, demonstrando que você já a usou o suficiente para vê-la falhar.

Uma cientista de dados em entrevista para uma função de ML em uma empresa de marketplace é questionada sobre por que seu modelo de ranqueamento parecia excelente offline, mas não produziu nenhum resultado no teste A/B. Ela responde seguindo as quatro etapas: o que são divergências entre resultados offline e online, por que o viés de posição nos dados registrados causou o problema, a avaliação contrafactual que adicionou e a ressalva de que isso só é válido quando o registro é suficientemente aleatório. Essa resposta vale mais do que uma derivação perfeita. Ensaiar respostas faladas é exatamente a finalidade da ferramenta de entrevista simulada; ela faz perguntas complementares como um entrevistador real.

Nas etapas de conversa, sim, dentro de certos limites. O aplicativo nativo para desktop do SubcueAI para macOS e Windows captura o áudio do sistema durante a chamada e o som do seu microfone, ouve a pergunta do entrevistador no Zoom, Google Meet ou Microsoft Teams e mostra uma estrutura curta sugerida em uma sobreposição flutuante visível apenas na sua tela. Em chamadas realizadas em uma aba dos navegadores Chrome ou Edge, o painel lateral da extensão captura somente o áudio da aba da reunião, portanto ouve o entrevistador e nunca transcreve você. Nenhuma das interfaces entra na chamada como bot nem insere qualquer elemento na página da reunião. Se você tiver enviado seu currículo, as sugestões poderão mencionar seus próprios projetos, que é onde as respostas sobre ML demonstram seu valor.

Os limites são os mesmos aplicáveis a todas as entrevistas técnicas. Uma avaliação de programação monitorada, uma tarefa para fazer em casa ou uma sessão em um dispositivo gerenciado pela empresa está fora da finalidade do SubcueAI. Além disso, uma derivação no quadro branco em uma tela compartilhada precisa ser feita por você, pois compartilhar a tela inteira mostraria a sobreposição a todos. Aaron Cao, fundador do SubcueAI, criou a sobreposição para sugerir estrutura e vocabulário, e não para ditar respostas, porque um entrevistador de ML questiona cada afirmação, e uma resposta emprestada desmorona na segunda pergunta. A configuração das duas interfaces está na página do tutorial; as diferenças práticas entre o aplicativo para desktop e a extensão estão descritas na página de comparação.