Як працює розпізнавання мови в реальному часі під час співбесіди

Транскрипція співбесіди в реальному часі залежить від одночасного захоплення двох окремих аудіопотоків:

• Системне аудіо (loopback) — голос співбесідника, що надходить через Zoom, Google Meet або Microsoft Teams.
• Аудіо мікрофона — ваш власний голос, коли ви говорите.

Нативний десктопний застосунок SubcueAI захоплює обидва потоки одночасно за допомогою стандартних API аудіо операційної системи, доступних на macOS і Windows. Оскільки захоплення відбувається на рівні ОС — а не всередині самого застосунку для зустрічі — не потрібен браузерний плагін чи бот для зустрічі. Об’єднаний потік потім передається до механізму розпізнавання мови.

Після захоплення аудіо воно проходить через потоковий конвеєр speech-to-text, який працює з короткими, частково перекриваючими аудіо-фрагментами, а не чекає повного речення. Такий підхід тримає затримку низькою — зазвичай кілька секунд від мовлення до читабельного тексту.

• Voice Activity Detection (VAD) фільтрує тишу, щоб механізм обробляв лише кадри, що містять мову, зменшуючи шум і заощаджуючи час обробки.
• Акустичне моделювання відображає аудіо-ознаки на фонеми, а потім на слова за допомогою нейронної мережі, навченої на великих наборах даних мовлення.
• Мовне моделювання ранжує послідовності слів за ймовірністю, покращуючи точність для технічної лексики та власних назв, поширених на співбесідах.

Результатом є безперервно оновлювана транскрипція, яка оновлюється в міру розвитку розмови.

Живий транскрипт є вхідними даними для шару підказок відповідей SubcueAI. Коли система виявляє, що було поставлено запитання — на основі структури речення та знаків пунктуації — вона надсилає відповідний контекст до великої мовної моделі (LLM), яка генерує запропоновану відповідь.

• Підказки з’являються в плаваючому локальному оверлеї SubcueAI, видимому лише на вашому екрані — не передаються у вікно зустрічі.
• Оверлей розроблений так, щоб не потрапляти в область спільного екрана, тому він не видимий для учасників, які переглядають ваш спільний екран.
• Ви можете читати, адаптувати або ігнорувати будь-яку підказку; інструмент призначений для підтримки вашого мислення, а не для дослівного сценарію.

Перегляньте посібник з налаштування, щоб дізнатися, як розташувати оверлей перед співбесідою.

Якість транскрипції в реальному часі залежить від кількох факторів, які не повністю контролюються жодним застосунком:

• Якість мікрофона та фоновий шум — гарнітурний мікрофон значно покращує точність порівняно зі вбудованим мікрофоном ноутбука.
• Інтернет-з’єднання — якщо етап AI-інференсу є хмарним, мережева затримка додається до часу відповіді.
• Акценти та темп мовлення — сучасні нейронні моделі мовлення підтримують широкий діапазон акцентів, але не є досконалими.
• Спостережувані або записані співбесіди — оверлей SubcueAI є локальним і приватним, але в середовищах із записом екрана або спостереженням оверлей може з’явитися в записі, якщо його не обережно розташувати або приховати. Завжди ознайомтеся з правилами вашої конкретної співбесіди перед використанням будь-якого інструменту допомоги.

Для ширшого погляду на конфіденційність і те, що можуть бачити співбесідники, відвідайте сторінку безпеки та конфіденційності.