¿Qué preguntas debo esperar en una entrevista de machine learning?

Un proceso de selección de machine learning suele tener más rondas que uno general de software, y cada ronda evalúa una capa diferente. Conocer esa capa te indica qué tipo de respuesta busca el entrevistador.

• Fundamentos. Preguntas teóricas sobre aprendizaje, generalización y optimización. El entrevistador quiere comprobar que entiendes por qué funciona una técnica, no escuchar una definición memorizada.
• Evaluación y experimentación. Elección de métricas, estrategia de validación, resultados offline frente a online y cómo diseñarías un experimento para demostrar que un modelo fue útil.
• Modelado aplicado. Ingeniería de features, fuga de datos, desequilibrio de clases y las partes problemáticas de un conjunto de datos real. Estas preguntas suelen plantearse en torno a uno de tus propios proyectos.
• Diseño de sistemas de ML. Cómo obtiene sus datos el modelo, cómo se entrena y reentrena, cómo se sirven las predicciones y cómo detectarías que su rendimiento se está degradando en producción.
• Programación. Un ejercicio con pandas o Python puro; a veces, implementar desde cero un algoritmo pequeño, como k-means o regresión logística.

También aparecen preguntas conductuales y siguen las mismas reglas que en cualquier otro puesto; el tema de bancos de preguntas las aborda por separado.

La redacción cambia entre empresas, pero las preguntas de fondo se repiten. Practícalas hasta poder explicarlas con palabras sencillas.

• Sesgo y varianza: ¿Cómo diagnosticarías si un modelo tiene sobreajuste o infraajuste, y qué cambiarías primero? ¿Qué efecto tiene la regularización sobre un modelo y cuándo preferirías L1 en vez de L2?
• Validación: ¿Por qué una división aleatoria entre entrenamiento y prueba puede dar una puntuación engañosa con datos de series temporales? ¿Cuándo necesitas validación cruzada estratificada o agrupada?
• Métricas: ¿Cuándo es la exactitud una métrica inadecuada? Explica la precisión, la exhaustividad y la curva ROC a un responsable de producto. ¿Qué métrica optimizarías para detectar fraude y qué monitorizarías junto con ella?
• Problemas con los datos: ¿Qué es la fuga de la variable objetivo y cómo la has detectado? ¿Cómo manejas un gran desequilibrio de clases sin inventar datos? ¿Cómo tratas los valores ausentes para que el modelo no aprenda accidentalmente de su ausencia?
• Modelos: ¿Cuándo supera un árbol con potenciación por gradiente a una red neuronal con datos tabulares? ¿Qué calcula realmente el mecanismo de atención de un transformer? ¿Por qué ayudan los embeddings con features categóricas de alta cardinalidad?
• Optimización: ¿Qué ocurre cuando la tasa de aprendizaje es demasiado alta o demasiado baja? ¿Por qué la normalización por lotes facilita el entrenamiento?
• Diseño de sistemas: Diseña un sistema de recomendaciones para un marketplace. ¿Cómo detectarías el cambio en la distribución de los datos después del despliegue? ¿Cómo reentrenarías un modelo sin servir predicciones obsoletas?
• Experimentación: La métrica offline mejoró, pero la prueba A/B no mostró cambios; ¿qué comprobarías?

Si puedes responder a cada pregunta con un ejemplo concreto de tu propia experiencia, habrás cubierto la mayor parte de lo que pueden preguntarte en una ronda de fundamentos.

Es normal dominar el contenido y aun así atascarse cuando toca explicarlo en una videollamada. Esta sección te ofrece una estructura para las respuestas orales, resumida así: definición, decisión, ejemplo y límite.

• Definición en una frase y con palabras sencillas, antes de cualquier fórmula.
• Decisión: cuándo lo usarías y qué alternativa elegirías, porque los entrevistadores evalúan tu criterio, no tu vocabulario.
• Ejemplo de un proyecto real: el conjunto de datos, qué salió mal, qué cambiaste y qué resultado varió.
• Límite: dónde falla la técnica, lo que demuestra que la has usado lo suficiente como para verla fallar.

A una científica de datos que se entrevista para un puesto de ML en un marketplace le preguntan por qué su modelo de clasificación parecía excelente offline, pero no produjo ningún efecto en la prueba A/B. Responde siguiendo los cuatro pasos: qué son las diferencias entre los resultados offline y online, por qué el sesgo de posición en los datos registrados causó las suyas, la evaluación contrafactual que añadió y la salvedad de que solo es válida cuando el registro está suficientemente aleatorizado. Esa respuesta vale más que una derivación perfecta. Ensayar respuestas orales es precisamente la finalidad de la herramienta de entrevista simulada; hace preguntas de seguimiento como un entrevistador real.

En las rondas conversacionales, sí, dentro de ciertos límites. La aplicación de escritorio nativa para macOS y Windows de SubcueAI captura el audio del sistema de la llamada y tu micrófono, escucha la pregunta del entrevistador en Zoom, Google Meet o Microsoft Teams y muestra una breve estructura sugerida en una ventana flotante que solo aparece en tu pantalla. En las llamadas realizadas desde una pestaña de Chrome o Edge, el panel lateral de la extensión del navegador solo captura el audio de la pestaña de la reunión, por lo que escucha al entrevistador y nunca te transcribe. Ninguna de las dos opciones se une a la llamada como bot ni introduce nada en la página de la reunión. Si has subido tu currículum, las sugerencias pueden hacer referencia a tus propios proyectos, que es donde las respuestas de ML demuestran su valor.

Los límites son los mismos que se aplican a toda entrevista técnica. Una prueba de programación vigilada, una tarea para casa o una sesión en un dispositivo administrado por la empresa quedan fuera del propósito de SubcueAI. Además, una derivación en una pizarra compartida debe ser tuya, ya que compartir toda la pantalla mostraría la ventana flotante a todos. Aaron Cao, fundador de SubcueAI, creó la ventana flotante para sugerir estructuras y vocabulario, no para dictar respuestas, porque un entrevistador de ML profundiza en cada afirmación y una respuesta prestada se desmorona en la segunda pregunta. La configuración de ambas opciones está en la página del tutorial; las diferencias prácticas entre la aplicación de escritorio y la extensión se describen en la página comparativa.