Um assistente de entrevistas com IA funciona com sotaques?

A pergunta se divide em duas, e cada metade tem uma resposta diferente. O seu sotaque afeta como a sua própria fala é transcrita. O sotaque do entrevistador afeta se o assistente entendeu a pergunta que está prestes a responder, e é essa metade que decide se a sugestão na sua tela vale alguma coisa.

Nos aplicativos de desktop macOS e Windows, os dois lados são capturados: o áudio do sistema carrega o entrevistador, o seu microfone carrega você, e os dois fluxos são reconhecidos separadamente. Apenas frases concluídas do entrevistador disparam uma nova sugestão. A extensão de navegador Side Panel restringe isso ainda mais, capturando apenas o áudio da aba da reunião, então ela ouve o entrevistador e nunca transcreve você. Se o seu próprio sotaque era o que te preocupava, a extensão elimina essa questão por completo.

É razoável supor que escolher um idioma também escolhe um sotaque, e que em algum lugar que você ainda não procurou existe uma opção de inglês indiano ou inglês escocês. Não existe. A configuração de idioma seleciona um idioma e nada mais específico do que isso. As variantes regionais são reduzidas antes de o áudio chegar ao reconhecedor, então o inglês britânico e o inglês americano chegam como a mesma solicitação.

O que de fato acontece automaticamente: com a detecção automática padrão, o mecanismo deduz o idioma a partir dos primeiros segundos de fala, em vez de exigir que você o declare. A precisão em fala sotacada vem de quanto desse sotaque estava presente nos dados de treinamento do modelo de reconhecimento, algo que nenhuma configuração expõe e que o aplicativo não pode sobrepor. Dizer isso com clareza é melhor do que insinuar que existe algum ajuste. Onde ficam os campos de idioma é mostrado na página do tutorial.

Os erros raramente são dramáticos. Um termo técnico mal compreendido ou uma negação perdida se transforma em uma sugestão fluente, confiante, que responde a algo que o entrevistador não perguntou. A falha é silenciosa, e é exatamente isso que a torna importante de se conhecer.

Aaron Cao, fundador da SubcueAI, colocou a transcrição ao vivo na tela ao lado da sugestão em vez de escondê-la justamente por esse motivo. Ver a frase que o sistema acha que ouviu permite que você identifique a divergência em cerca de um segundo, enquanto uma sugestão sem transcrição visível deixaria você confiando em uma caixa-preta justamente no momento em que menos pode se dar a esse luxo.

O hábito que vale a pena construir: ler primeiro a linha da transcrição, depois a sugestão. Quando elas discordam, os seus ouvidos vencem. Como a captura e a geração de respostas se encaixam é abordado nas páginas de como funciona.

Nenhuma das alavancas abaixo muda o modelo acústico, e nenhuma faz um sotaque forte ser transcrito como um sotaque leve. O que elas fazem é eliminar os erros que estão sob o seu controle.

• Um headset em vez de caixas de som: mantém o áudio do entrevistador limpo e evita que o eco do ambiente seja transcrito de volta.
• Um ambiente silencioso: a fala de fundo é a fonte de erro que as pessoas mais subestimam, porque o reconhecedor não sabe qual voz é a da entrevista.
• Especificar o idioma em vez de usar a detecção automática: se você já sabe que a entrevista será em alemão, informar isso evita uma oscilação de detecção nos primeiros segundos.
• Menos fontes de áudio simultâneas: música, sons de notificação e uma segunda chamada acabam todos no mesmo fluxo de áudio do sistema.

Fazer uma entrevista simulada exatamente no hardware que você planeja usar é a forma mais rápida de ver sua taxa de erro real antes que ela realmente importe.