Чи працює AI-асистент для співбесід з акцентами?

Питання розпадається на дві частини, і кожна половина має свою відповідь. Ваш акцент впливає на те, як транскрибується ваше власне мовлення. Акцент інтерв'юера впливає на те, чи зрозумів асистент запитання, на яке він от-от відповість, і саме ця половина визначає, чи має підказка на вашому екрані бодай якусь цінність.

У десктопних застосунках для macOS і Windows захоплюються обидві сторони: системний звук передає інтерв'юера, ваш мікрофон передає вас, і обидва потоки розпізнаються окремо. Лише завершені речення інтерв'юера запускають нову підказку. Side Panel розширення браузера звужує це ще більше, захоплюючи лише звук вкладки зустрічі, тож він чує тільки інтерв'юера і ніколи не транскрибує вас. Якщо саме ваш власний акцент вас турбував, розширення повністю знімає це питання.

Цілком логічно припустити, що вибір мови також вибирає акцент і що десь є опція індійської або шотландської англійської, яку ви просто ще не знайшли. Це не так. Налаштування мови вибирає мову і нічого конкретнішого. Регіональні варіанти зливаються ще до того, як звук потрапляє до розпізнавача, тож британська англійська і американська англійська надходять як один і той самий запит.

Що відбувається автоматично: за стандартного автовизначення рушій визначає мову за першими секундами мовлення, замість того щоб змушувати вас вказувати її. Точність розпізнавання мовлення з акцентом залежить від того, наскільки цей акцент був представлений у навчальних даних моделі розпізнавання, чого не розкриває жодне налаштування і що застосунок не може змінити. Сказати про це прямо краще, ніж натякати, ніби існує якийсь перемикач. Де саме знаходяться поля вибору мови, показано на сторінці навчального посібника.

Помилки рідко бувають драматичними. Неправильно почутий технічний термін або втрачене заперечення перетворюються на підказку, яка звучить плавно, впевнено і відповідає на щось, чого інтерв'юер не питав. Ця відмова тиха, і саме тому про неї варто знати.

Aaron Cao, засновник SubcueAI, саме тому розмістив живу транскрипцію на екрані поруч із підказкою, а не приховав її. Бачачи речення, яке система вважає почутим, ви можете помітити невідповідність приблизно за секунду, тоді як підказка без видимої транскрипції змусила б вас довіряти чорній скриньці саме в той момент, коли ви можете собі це дозволити найменше.

Звичка, яку варто виробити: спочатку читайте рядок транскрипції, потім підказку. Коли вони розходяться, перемагають ваші вуха. Про те, як захоплення звуку та генерація відповідей поєднуються між собою, розповідається на сторінках як це працює.

Жоден із наведених нижче важелів не змінює акустичну модель, і жоден не змушує сильний акцент транскрибуватися як легкий. Що вони справді роблять — усувають помилки, які залежать від вас.

• Гарнітура замість динаміків: зберігає звук інтерв'юера чистим і запобігає повторній транскрипції луни кімнати.
• Тиха кімната: фонові розмови — джерело помилок, яке люди недооцінюють, оскільки розпізнавач не знає, який голос належить співбесіді.
• Вказати мову замість автовизначення: якщо ви вже знаєте, що співбесіда буде німецькою, вказавши це заздалегідь, ви уникнете хитання визначення у перші секунди.
• Менше паралельних джерел звуку: музика, звуки сповіщень і другий дзвінок — усе це потрапляє в той самий потік системного звуку.

Проведення однієї пробної співбесіди саме на тому обладнанні, яке ви плануєте використовувати, — найшвидший спосіб побачити свій реальний рівень помилок, перш ніж це матиме значення.