Működik egy AI interjúasszisztens akcentusokkal?

A kérdés kettéválik, és a két félnek eltérő a válasza. Az ön akcentusa befolyásolja, hogyan íródik át a saját beszéde. Az interjúztató akcentusa azt befolyásolja, hogy az asszisztens megértette-e azt a kérdést, amelyre éppen válaszolni készül, és ez az a fél, amely eldönti, hogy a képernyőjén megjelenő javaslat ér-e valamit.

A macOS és Windows asztali alkalmazásokon mindkét oldalt rögzítik: a rendszerhang hordozza az interjúztatót, a mikrofonja hordozza önt, és a két hangfolyamot külön-külön ismerik fel. Csak az interjúztató befejezett mondatai váltanak ki új javaslatot. A böngészőbővítmény Side Panel-je ezt tovább szűkíti azzal, hogy csak a megbeszélés lapjának hangját rögzíti, így csak az interjúztatót hallja, és önt sosem írja át. Ha önt a saját akcentusa aggasztotta, a bővítmény ezt a kérdést teljesen kiiktatja.

Ésszerűnek tűnhet feltételezni, hogy egy nyelv kiválasztása egyben akcentust is választ, és hogy valahol létezik egy indiai angol vagy skót angol opció, amelyet csak még nem talált meg. Ez nem így van. A nyelvi beállítás egy nyelvet választ ki, semmi ennél specifikusabbat. A regionális változatok azelőtt olvadnak össze, hogy a hang elérné a felismerőt, így a brit angol és az amerikai angol ugyanazon kérésként érkezik.

Ami valóban automatikusan történik: az alapértelmezett automatikus felismeréssel a motor a beszéd első néhány másodpercéből következteti ki a nyelvet, ahelyett hogy önt kényszerítené annak megadására. Az akcentussal beszélt szöveg pontossága attól függ, mennyi volt az adott akcentusból a felismerő modell tanítóadataiban, amit semmilyen beállítás nem tár fel, és amit az alkalmazás nem tud felülírni. Ezt nyíltan kimondani jobb, mint azt sugallni, hogy létezik valamiféle szabályozó. Hogy hol találhatók a nyelvi mezők, azt a bemutató oldal mutatja meg.

A hibák ritkán drámaiak. Egy félrehallott szakkifejezés vagy egy elveszett tagadás olyan javaslattá alakul, amely folyékony, magabiztos, és olyasmire válaszol, amit az interjúztató nem is kérdezett. A hiba csendes, és pontosan ez teszi érdemessé arra, hogy tudjunk róla.

Aaron Cao, a SubcueAI alapítója éppen ezért helyezte el a képernyőn az élő átiratot a javaslat mellett, ahelyett hogy elrejtette volna. Ha látja azt a mondatot, amelyet a rendszer szerint hallott, körülbelül egy másodperc alatt észreveheti az eltérést, míg egy látható átirat nélküli javaslat arra kényszerítené, hogy egy fekete dobozban bízzon abban a pillanatban, amikor ezt a legkevésbé engedheti meg magának.

Az érdemes szokás: először olvassa el az átirat sorát, majd a javaslatot. Ha ezek nem egyeznek, a fülének van igaza. Hogy a hangrögzítés és a válaszgenerálás hogyan kapcsolódik össze, azt a hogyan működik oldalak tárgyalják.

Az alábbi eszközök egyike sem változtatja meg az akusztikai modellt, és egyikük sem teszi úgy átírhatóvá az erős akcentust, mint egy enyhét. Amit tesznek, az az, hogy megszüntetik azokat a hibákat, amelyeket önnek áll módjában megszüntetni.

• Headset hangszóró helyett: tisztán tartja az interjúztató hangját, és megakadályozza, hogy a szoba visszhangja is átírásra kerüljön.
• Csendes szoba: a háttérbeszéd olyan hibaforrás, amelyet az emberek alábecsülnek, mivel a felismerő nem tudja, melyik hang tartozik az interjúhoz.
• A nyelv megadása az automatikus felismerés helyett: ha már tudja, hogy az interjú németül lesz, ennek megadásával elkerülhető a felismerés bizonytalansága a kezdő másodpercekben.
• Kevesebb párhuzamos hangforrás: a zene, az értesítési hangok és egy második hívás mind ugyanabba a rendszerhang-folyamba kerül.

Egy próbainterjú lefuttatása pontosan azon a hardveren, amelyet használni tervez, a leggyorsabb módja annak, hogy megismerje a valós hibaarányát, mielőtt az számítana.