Entrevista de Data Engineer na Netflix: processo e preparação

Você recebeu uma mensagem de um recrutador da Netflix e quer saber o que vem nas próximas etapas. Esta seção separa o que a própria Netflix afirma do que é prática geral em funções de engenharia de dados. Primeiro vêm os fatos divulgados, depois as etapas que vale a pena preparar.

A Netflix divulga notas sobre o processo para contratações de início de carreira, e não um detalhamento para cada função experiente. Para candidatos recém-formados, ela diz que as entrevistas normalmente começam com uma avaliação para casa seguida de duas rodadas de entrevistas, e que o avanço depende do feedback de cada etapa. Candidatos a estágio normalmente recebem uma avaliação para casa seguida de cerca de duas a três rodadas. Em todas as funções, a Netflix diz que os entrevistadores avaliam habilidades técnicas, quando se aplicam, habilidades específicas da função e habilidades comportamentais, e que querem conhecer seu conjunto de habilidades e o tipo de trabalho que o empolga.

A Netflix não divulga um ciclo separado para data engineers experientes: sem nomes de rodadas, sem número de entrevistas, sem ordem fixa. Seu recrutador é a única fonte confiável para o seu cronograma, então pergunte diretamente quais áreas cada conversa cobre e se há uma avaliação para casa.

Para planejar, ajuda pensar nas etapas que um ciclo de engenharia de dados costuma ter em grandes empresas de tecnologia. São categorias de preparação baseadas na prática geral da função, não nomes de rodadas da Netflix:

• Conversa com o recrutador. Sua trajetória, a equipe, logística e o que o atrai no trabalho.
• Triagem técnica. Geralmente SQL e alguma programação, muitas vezes com discussão sobre um pipeline que você construiu.
• Avaliação para casa. Parte do processo declarado pela Netflix para recém-formados e estagiários; pergunte se vale para o seu nível.
• Entrevistas técnicas aprofundadas. Modelagem de dados, design de pipelines e sistemas, e SQL mais difícil.
• Conversas comportamentais e de motivação. Como você trabalha com outras pessoas e que tipo de problemas quer assumir.

Tópicos no Reddit e no Blind descrevem ciclos individuais em detalhes. Trate cada um como a experiência de um único candidato em uma única equipe, não como uma descrição de como a Netflix entrevista todos os data engineers.

A Netflix cita três coisas que seus entrevistadores avaliam: habilidades técnicas, habilidades específicas da função e habilidades comportamentais. Para um data engineer, a linha entre técnico e específico da função é tênue, então é mais útil mapeá-las para as áreas abaixo. As perguntas de exemplo desta página são exercícios de prática representativos, não perguntas que a Netflix confirmou fazer.

• Fluência em SQL. Joins que não multiplicam linhas, funções de janela para rankings e totais acumulados, deduplicação, gaps and islands e sessionização de fluxos de eventos. Os entrevistadores geralmente se importam se você consegue explicar por que uma consulta está correta, e não só se ela produz resultado.
• Programação para dados. Analisar, transformar e agregar registros em Python ou numa linguagem da JVM, com atenção a memória, casos extremos e código legível. Perguntas de algoritmos no estilo quebra-cabeça são possíveis, então estruturas de dados básicas ainda merecem revisão.
• Modelagem de dados. Escolher a granularidade de uma tabela fato, separar fatos de dimensões, tratar atributos que mudam ao longo do tempo e projetar tabelas que analistas consigam consultar sem cair em armadilhas.
• Design de pipelines e sistemas. Batch versus streaming, particionamento, escritas idempotentes, backfills, eventos atrasados, mudanças de esquema e verificações de qualidade de dados. Espere perguntas de acompanhamento que mudam os requisitos no meio.
• Julgamento comportamental. Responsabilidade por falhas, discordâncias com stakeholders sobre definições de métricas e trade-offs entre velocidade e correção.
• Motivação. A Netflix diz que os entrevistadores querem saber que tipo de trabalho o empolga. Uma resposta vaga aqui desperdiça uma pergunta que a empresa disse que importa.

Em tudo isso, o fio condutor é raciocinar em voz alta. Um candidato que escreve uma consulta correta em silêncio e outro que explica a granularidade, as chaves de join e os casos extremos antes de digitar muitas vezes recebem feedbacks diferentes, mesmo com código idêntico. Mais exercícios agrupados por habilidade estão nos bancos de perguntas.

Na maioria das grandes empresas de tecnologia, o ciclo de data engineer se sobrepõe às duas funções vizinhas, mas dá peso a habilidades diferentes. A Netflix não divulga diferenças por função para contratações experientes, então a comparação abaixo reflete a prática geral, não uma afirmação sobre os outros ciclos da Netflix.

• Em comparação com engenharia de software. Menos ênfase em quebra-cabeças de algoritmos e mais em SQL, modelagem de dados e confiabilidade de pipelines. Perguntas de design de sistemas tendem a girar em torno de como os dados se movem, chegam e são corrigidos, e não de serviços que atendem requisições.
• Em comparação com ciência de dados. Menos estatística, experimentação e modelagem de resultados; mais construção e operação das tabelas de que analistas e cientistas dependem. Você ainda pode ser perguntado como uma métrica é definida, porque o data engineer costuma ser dono da tabela por trás dela.
• Em comparação com engenharia de analytics. A linha é difusa. Funções de analytics engineer costumam pender mais para modelagem e SQL para relatórios, enquanto as de data engineer vão mais fundo em ingestão, processamento distribuído e infraestrutura.

Entre empresas, a diferença maior costuma ser o quanto o ciclo se apoia em trabalho para casa versus resolução de problemas ao vivo. O processo declarado pela Netflix para recém-formados e estagiários começa com uma avaliação para casa, que premia trabalho limpo e documentado em vez de velocidade. Guias sobre como outras empresas estruturam seus ciclos estão reunidos em entrevistas de empresas.

A Netflix não divulga um cronograma para a contratação de data engineers. O agendamento depende da equipe, do seu nível e da disponibilidade dos entrevistadores, então o recrutador é quem você deve consultar quando estiver no processo.

A dificuldade é mais fácil de descrever qualitativamente. A Netflix diz que o avanço se baseia no feedback de cada etapa, o que significa que cada etapa funciona como um filtro, e não como uma nota que é calculada a média no final. Uma avaliação para casa fraca ou uma triagem de SQL instável pode encerrar o processo antes das conversas de design, independentemente de quão bem você iria depois.

A parte difícil para a maioria dos candidatos não é sintaxe obscura. É a profundidade sob perguntas de acompanhamento: você projeta um pipeline, o entrevistador acrescenta dados atrasados, depois uma mudança de esquema, e então pergunta como você saberia que a saída está errada. Candidatos que operaram pipelines em produção costumam lidar melhor com essa deriva do que os que apenas os construíram.

Candidatos seniores também devem esperar mais peso no julgamento. Escolher o que não construir, explicar um trade-off a um stakeholder não técnico e assumir um erro passado contam como habilidade específica da função nesse nível.

Estruture sua preparação em torno das três áreas que a Netflix cita e depois acrescente a avaliação para casa, se o recrutador confirmar que existe uma.

• Técnico: SQL primeiro. Pratique funções de janela, deduplicação e sessionização de eventos até conseguir escrevê-las sem consulta. Para cada consulta, diga em voz alta a granularidade do resultado antes de executá-la.
• Técnico: código. Pratique transformar registros aninhados ou bagunçados na sua linguagem principal e revise estruturas de dados essenciais, caso a triagem inclua um problema clássico de algoritmo.
• Específico da função: modelagem e pipelines. Pegue um domínio que você conhece, como assinaturas ou logs de eventos, e esboce as tabelas, a granularidade e o pipeline que as preenche. Depois teste o design sob estresse: uma reexecução após falha parcial, um backfill, um lote atrasado, uma coluna renomeada.
• Comportamental: histórias com consequências. Prepare uma falha de pipeline pela qual você foi responsável, uma discordância sobre a definição de uma métrica e um trade-off que você faria diferente hoje. A estrutura STAR ajuda se você tende a divagar, mas mantenha o resultado específico.
• Motivação: o trabalho que o empolga. A Netflix afirma que seus entrevistadores querem saber isso. Nomeie um tipo de problema de dados e aponte um projeto que o demonstre, em vez de elogiar a empresa.
• Avaliação para casa, se atribuída. Trate-a como trabalho de produção: testes, um README curto explicando suas premissas e tratamento claro de entradas ruins.

Considere um data engineer cuja experiência é principalmente ETL batch noturno em uma varejista. Ele dedica as primeiras sessões a SQL com funções de janela e depois ensaia explicar como tornaria um backfill seguro para reexecução, porque é aí que estão suas histórias reais. Quando chegam as perguntas comportamentais, responde com uma falha de pipeline pela qual foi responsável, em vez de um exemplo genérico de trabalho em equipe.

O último passo é dizer tudo isso em voz alta, já que cada etapa é uma conversa. A página de entrevista simulada do SubcueAI permite praticar perguntas de engenharia de dados em voz alta antes da triagem real.