Работает ли ИИ-ассистент для собеседований с акцентами?

Вопрос на самом деле распадается на два, и у каждой половины свой ответ. Ваш акцент влияет на то, как распознаётся ваша собственная речь. Акцент интервьюера влияет на то, понял ли ассистент вопрос, на который он собирается ответить, и именно эта половина определяет, чего вообще стоит подсказка на вашем экране.

В десктопных приложениях для macOS и Windows захватываются обе стороны: системный звук передаёт речь интервьюера, микрофон передаёт вашу речь, и оба потока распознаются отдельно. Новую подсказку запускают только завершённые фразы интервьюера. Side Panel расширения браузера сужает это ещё сильнее, захватывая только звук вкладки встречи, поэтому он слышит интервьюера и никогда не распознаёт вас. Если вас беспокоил именно ваш собственный акцент, расширение полностью снимает этот вопрос.

Разумно предположить, что выбор языка также подразумевает выбор акцента и что где-то, куда вы ещё не заглядывали, существует опция индийского английского или шотландского английского. Это не так. Настройка языка выбирает только язык, ничего более узкого. Региональные варианты сводятся воедино ещё до того, как звук достигает распознавателя, поэтому британский английский и американский английский приходят как один и тот же запрос.

Что действительно происходит автоматически: при стандартном автоопределении движок определяет язык по первым секундам речи, вместо того чтобы заставлять вас его указывать. Точность на акцентной речи зависит от того, насколько этот акцент был представлен в обучающих данных модели распознавания, а это не отображается ни в одной настройке и не может быть переопределено приложением. Сказать это прямо лучше, чем создавать впечатление, будто существует какой-то регулятор. Где находятся языковые поля, показано на странице руководства.

Ошибки редко бывают драматичными. Неправильно расслышанный технический термин или пропущенное отрицание превращаются в подсказку, которая звучит бегло, уверенно и отвечает на то, о чём интервьюер не спрашивал. Такой сбой происходит тихо, и именно поэтому о нём стоит знать.

Aaron Cao, основатель SubcueAI, именно по этой причине разместил живую расшифровку на экране рядом с подсказкой, а не скрыл её. Видя фразу, которую система, по её мнению, услышала, вы можете заметить несоответствие примерно за секунду, тогда как подсказка без видимой расшифровки заставила бы вас доверять чёрному ящику именно в тот момент, когда вы меньше всего можете себе это позволить.

Полезная привычка: сначала читать строку расшифровки, затем подсказку. Если они расходятся, доверяйте своим ушам. О том, как связаны захват звука и генерация ответа, рассказано на страницах о том, как это работает.

Ни один из перечисленных ниже способов не меняет акустическую модель, и ни один не делает так, чтобы сильный акцент распознавался так же хорошо, как лёгкий. Они лишь устраняют ошибки, которые в ваших силах устранить.

• Наушники вместо динамиков: сохраняют звук интервьюера чистым и не дают эху в комнате снова попасть в распознавание.
• Тихая комната: фоновая речь — источник ошибок, который люди чаще всего недооценивают, потому что распознаватель не знает, чей голос относится к собеседованию.
• Указать язык вместо автоопределения: если вы уже знаете, что собеседование пройдёт на немецком, указание этого заранее избавит от колебаний определения в первые секунды.
• Меньше параллельных источников звука: музыка, звуки уведомлений и второй звонок — всё это попадает в один и тот же системный звуковой поток.

Провести одно пробное собеседование именно на том оборудовании, которое вы планируете использовать, — самый быстрый способ увидеть реальный уровень ошибок до того, как это станет важно.