Miten se toimii

Mekaniikka: kaksoisäänenotto, reaaliaikainen puheentunnistus, viive ja miten vastausehdotukset syntyvät.

Kirjoittaja Aaron Cao · Päivitetty

Tämä ryhmä on niille, jotka haluavat ymmärtää putkiston, ennen kuin luottavat siihen haastattelussaan. Aivan kohtuullista.

Päästä päähän vastausehdotus kulkee neljän vaiheen läpi: tallennus, litterointi, tuottaminen ja näyttäminen. Tallennus on käyttöjärjestelmän natiivi, ScreenCaptureKit (macOS) tai WASAPI (Windows), ja se vetää järjestelmän äänen käyttöjärjestelmätasolla, joten tekoäly kuulee haastattelijan samalla tavalla kuin kaiuttimesi. Mikrofoni tallennetaan erikseen, jotta tekoälyllä on myös sinun äänesi kontekstiksi ja haastattelun jälkeistä litterointia varten. Litterointi on reaaliaikaista puheesta tekstiksi -muunnosta. Tuottamisvaiheessa suurelle kielimallille välitetään kysymys sekä CV:si, työpaikkailmoitus ja keskusteluhistoria tähän asti, järjestelmäkehotteella, joka rajoittaa tuloksen haastatteluun sopivan pituiseksi. Näyttämisvaiheessa vastaus virtaa leijuvaan päällysikkunaan, joka on kokoussovelluksen ikkunan ulkopuolella: voit vetää sen minne tahansa, myös näytönjakoalueen ulkopuolelle.

Ensimmäisen tokenin viivebudjetti päästä päähän on alle 400 millisekuntia. Sen jälkeen silmäsi siirtyvät pois kamerasta lukiessasi vastausta, mikä rikkoo tarkoituksen. Alla olevat vastaukset käsittelevät jokaisen vaiheen yksityiskohtaisesti, mitä tapahtuu budjetin ylittyessä ja mitkä kompromissit valitsimme. (Syvemmän taustan siitä, miksi rakensimme tämän, löydät perustajan kirjeestä.)

← Kaikki vastausaiheet