Quanta latência um assistente de entrevista com IA adiciona?

Um assistente de entrevista com IA é um pipeline, e cada etapa adiciona uma pequena quantidade de atraso:

• Captura de áudio — o aplicativo armazena continuamente em buffer o microfone e o áudio do sistema. Isso é geralmente negligenciável (dezenas de milissegundos).
• Fala para texto (STT) — a transcrição em streaming retorna resultados parciais enquanto o entrevistador ainda está falando, então você vê o texto aparecer com um pequeno atraso em vez de esperar pela frase completa.
• Inferência do modelo de linguagem — uma vez reconhecida a pergunta, o modelo tem que gerar uma resposta. Normalmente este é o maior componente individual de latência e escala com a duração da resposta e o contexto incluído (currículo, descrição do cargo, turnos anteriores).
• Viagens de ida e volta na rede — chamadas para provedores de STT e LLM em nuvem dependem da qualidade da sua conexão e distância física até a região do provedor.

A resposta honesta para "quanta latência" é, portanto: é a soma dessas etapas, não um único número.

Como modelo mental aproximado para qualquer assistente de entrevista com IA moderno, incluindo SubcueAI:

• Primeiras palavras transcritas aparecem dentro de aproximadamente um segundo após o entrevistador falar, porque o STT em streaming emite resultados parciais.
• Primeiros tokens de uma resposta geralmente começam a chegar um ou dois segundos após a pergunta terminar — esta é a figura que mais importa, porque você pode começar a ler imediatamente.
• Resposta completa leva mais tempo para terminar de transmitir, mas você não precisa esperar que termine antes de começar a falar.

Essas faixas assumem uma conexão de banda larga estável. Em uma conexão Wi-Fi fraca, uma rede de cafeteria congestionada, ou enquanto compartilha sua tela e executa aplicativos pesados, cada etapa fica mais lenta.

SubcueAI é um aplicativo de desktop nativo para macOS e Windows com captura de áudio dupla (seu microfone mais o áudio do sistema da reunião) e uma sobreposição flutuante local. Algumas escolhas de design ajudam a manter baixa a latência percebida:

• Capturar o áudio do sistema diretamente evita regravar os alto-falantes pelo microfone, o que mantém a transcrição mais limpa e reduz a necessidade de tentativas.
• Transcrição em streaming e respostas em streaming significam que você vê conteúdo útil antes de a resposta completa ser concluída.
• A sobreposição é renderizada localmente em sua máquina, então atualizar a interface não depende de um navegador ou de um bot de reunião entrando na chamada.

Você pode ler mais sobre a arquitetura na página de visão geral ou no tutorial.

A maior parte da latência que você notará na prática vem da sua própria configuração, não do assistente. Coisas práticas que ajudam:

• Use uma conexão cabeada ou um sinal Wi-Fi de 5 GHz forte em vez de uma marginal.
• Feche aplicativos pesados em segundo plano (grandes IDEs indexando, editores de vídeo, sessões grandes de navegador) antes da entrevista.
• Feche outras abas e aplicativos que estão transmitindo áudio ou vídeo.
• Faça um ensaio antes para saber como o timing realmente se sente — veja o tutorial.

Também vale a pena ser realista: um assistente de IA não é instantâneo. Trate-o como uma camada de dicas que você dá uma olhada, não como um teleprompter que você lê palavra por palavra.