Pozná HackerRank, že používáte ChatGPT?

Obava za touto otázkou bývá obvykle konkrétní: máte otevřený ChatGPT na druhé kartě a chcete vědět, jestli to okno testu pozná. Tato část vyjmenovává, co HackerRank zaznamenává. Krátce řečeno jde o hrstku signálů na úrovni prohlížeče plus volitelnou webkameru, a žádný z nich nečte obsah jiné karty.

Co zaznamenává hodnocení HackerRank:

• Změny fokusu a karty, tedy okamžik, kdy jste opustili okno testu, a okamžik, kdy jste se vrátili
• Události vložení do editoru kódu, včetně toho, kolik textu přišlo najednou
• Opuštění režimu celé obrazovky, pokud bylo hodnocení nastaveno tak, aby vyžadovalo celou obrazovku
• Snímky z webkamery, pouze pokud firma zapnula dohled (proctoring)

Karta prohlížeče nemůže číst karty vedle sebe. HackerRank ví, že fokus opustil hodnocení; neví, zda jste otevřeli ChatGPT, stránku s dokumentací nebo svůj e-mail. Přehled podle jednotlivých platforem najdete v detectability cluster.

Riziko nespočívá v otevření ChatGPT. Spočívá v tom, co s odpovědí uděláte.

HackerRank spouští hodnocení podobnosti kódu u odevzdaných řešení a porovnává vaše řešení s řešeními ostatních kandidátů a se známými veřejnými zdroji. Jazykové modely jsou svou podstatou konzistentní: požádejte několik lidí, aby nechali ChatGPT vyřešit stejný standardní problém s poli, a odevzdaná řešení se sblíží ke stejné struktuře, stejným názvům proměnných a stejnému stylu komentářů. Toto shlukování je přesně ten vzorec, který má hodnocení podobnosti odhalit.

Vkládání to jen zhoršuje. Jedno vložení, které naráz umístí kompletní řešení do prázdného editoru, je silnějším signálem než samotný kód, protože ukazuje, že odpověď se objevila celá, místo aby se postupně rozvíjela.

Všimněte si, co z toho nic neprokazuje. Příznak podobnosti říká, že dvě odevzdaná řešení vypadají podobně. Neříká, že ChatGPT napsal to či ono. Nástroje, které tvrdí, že identifikují text psaný AI, jsou nespolehlivé v obou směrech, a pečlivý posuzovatel je bere jako důvod ptát se, ne jako důkaz.

Druhé zařízení stojí zcela mimo systém. Pokud čtete ChatGPT na telefonu, není co zaznamenat jako signál prohlížeče, protože se nic nestalo v prohlížeči, který spouští test.

Tato mezera je užší, než se zdá, jakmile je zapnutý dohled. Snímky z webkamery telefon nezjistí, ale ukazují osobu, která se v intervalech dívá dolů a jinam, a lidský posuzovatel z toho vyvodí zjevný závěr. Na notebooku spravovaném firmou může vlastní software zaměstnavatelova zařízení vidět podstatně víc než HackerRank.

Představte si backend inženýra, který skládá časově omezený HackerRank screening pro tým platebních systémů. První dva problémy vyřeší v editoru a třetí zpracuje přes ChatGPT na telefonu. Log HackerRank ukazuje čistou relaci. Snímky z webkamery ukazují pozornost mimo obrazovku po většinu závěrečného úseku a třetí řešení vůbec nepřipomíná první dvě. Nic nebylo odhaleno, a přesto report vypadá podivně. Trénink dalších kol pomocí mock interview practice je částí, která se skutečně kumulativně vyplácí.

SubcueAI je postaven pro živé konverzační pohovory, tedy ty, kde vám někdo klade otázky přes Zoom, Google Meet nebo Microsoft Teams. Desktopová aplikace na macOS a Windows zachytává systémové audio a váš mikrofon a zobrazuje návrhy v lokálním překrytí (overlay); rozšíření prohlížeče Side Panel dělá totéž pro hovor probíhající na kartě Chromium, přičemž zachytává pouze audio té karty, tedy tazatele, ne vás. K hovoru se nepřipojuje žádný bot a do stránky schůzky se nic nevkládá.

HackerRank hodnocení kódování je jiná situace. Nikdo nemluví, takže živý asistent nemá co poslouchat, a přinesení pomoci zvenčí do hodnocení porušuje podmínky, které jste přijali při jeho zahájení. Netvrdíme, že je tam jakýkoli nástroj neodhalitelný. Sdílení obrazovky, nahrávání obrazovky, dohlížená prostředí a firmou spravovaná zařízení stojí zcela mimo to, co lokální překrytí kontroluje.

Příprava, která na coding screening funguje, je neokázalého druhu: procvičujte typy úloh, dokud je nezvládnete napsat bez pomoci. Podrobnosti o zachytávání a latenci jsou popsané v how it works cluster.