Как работает распознавание речи в реальном времени во время собеседования

Транскрипция собеседования в реальном времени зависит от одновременного захвата двух отдельных аудиопотоков:

• Системное аудио (loopback) — голос интервьюера, поступающий через Zoom, Google Meet или Microsoft Teams.
• Аудио с микрофона — ваш собственный голос, когда вы говорите.

Нативное десктопное приложение SubcueAI захватывает оба потока одновременно с помощью стандартных API аудио операционной системы, доступных на macOS и Windows. Поскольку захват происходит на уровне ОС — а не внутри самого приложения для встреч — не требуется ни браузерный плагин, ни бот для встреч. Объединённый поток затем передаётся в движок распознавания речи.

После захвата аудио оно проходит через потоковый конвейер speech-to-text, который работает с короткими перекрывающимися аудиофрагментами, а не ждёт завершения предложения. Такой подход позволяет сохранять низкую задержку — обычно всего несколько секунд от речи до читаемого текста.

• Voice Activity Detection (VAD) отфильтровывает тишину, чтобы движок обрабатывал только кадры, содержащие речь, снижая шум и экономя время обработки.
• Акустическое моделирование сопоставляет аудио-признаки с фонемами, а затем со словами, используя нейронную сеть, обученную на больших наборах речевых данных.
• Языковое моделирование ранжирует последовательности слов по вероятности, повышая точность для технической лексики и имён собственных, часто встречающихся на собеседованиях.

В результате получается непрерывно обновляемая транскрипция по мере развития разговора.

Живая транскрипция служит входом для слоя предложений ответов SubcueAI. Когда система обнаруживает, что был задан вопрос — на основе структуры предложения и знаков пунктуации — она отправляет релевантный контекст в большую языковую модель (LLM), которая генерирует предложенный ответ.

• Предложения появляются в плавающем локальном оверлее SubcueAI, видимом только на вашем экране — не передаются в окно встречи.
• Оверлей спроектирован так, чтобы не попадать в область общего экрана, поэтому он не виден участникам, наблюдающим за вашим шарингом экрана.
• Вы можете прочитать, адаптировать или проигнорировать любое предложение; инструмент предназначен для поддержки вашего мышления, а не для дословного сценария.

См. руководство по настройке для рекомендаций по позиционированию оверлея перед собеседованием.

Качество транскрипции в реальном времени зависит от нескольких факторов, которые не полностью контролируются ни одним приложением:

• Качество микрофона и фоновый шум — гарнитурный микрофон значительно повышает точность по сравнению со встроенным микрофоном ноутбука.
• Интернет-соединение — если этап инференса ИИ выполняется с помощью облака, сетевая задержка добавляется ко времени отклика.
• Акценты и темп речи — современные нейронные речевые модели справляются с широким диапазоном акцентов, но не идеальны.
• Прокторируемые или записываемые собеседования — оверлей SubcueAI локальный и приватный, но в среде с записью экрана или прокторингом оверлей может появиться в записи, если его не расположить или не скрыть должным образом. Всегда изучайте правила конкретного собеседования перед использованием любого инструмента помощи.

Для более широкого обзора конфиденциальности и того, что могут видеть интервьюеры, посетите страницу безопасности и конфиденциальности.