Felismeri a HackerRank a csalást?

Egy kódolási feladatot bámul, és azon tűnődik, pontosan mit lát a rendszer. Ez a rész felsorolja azokat a konkrét jeleket, amelyeket a HackerRank gyűjt, hogy ne kelljen tovább találgatnia. Röviden: három dolgot figyel: egy plágiumpontszámot, tevékenységi jelzéseket, és amikor a cég bekapcsolja, webkamerás pillanatképeket.

• Kódhasonlóság-alapú plágiumpontozás. Minden beküldést összehasonlítanak a korábbi beküldések és a nyilvános kód nagy korpuszával, majd hasonlósági pontszámot kap.
• Fókusz- és lapfelügyelet. A HackerRank megszámolja és időbélyeggel látja el minden alkalommal, amikor elhagyja a teszt lapját, vagy kilép a teljes képernyős módból.
• Másolás-beillesztés naplózása. A kódszerkesztőbe történő beillesztési eseményeket rögzítik, és megjelennek a toborzó jelentésében.
• Opcionális webkamerás felügyelet. Ha a cég bekapcsolja, a teszt időszakosan képi pillanatképeket készít a jelöltről.

A hasonlóságvizsgáló motor az a rész, amelyet a jelöltek alábecsülnek. Nem csupán a szomszédos jelölt kódjával hasonlítja össze a kódját; a korábbi beküldések és nyilvános források nagy adatbázisához viszonyítva pontoz. Egy olyan megoldás beillesztése, amelyet sok más jelölt is beillesztett, a leggyorsabb módja a pontszám növelésének.

Vegyünk egy konkrét esetet. Egy backend mérnök, aki egy közepes nehézségű HackerRank-feladatot old meg, beilleszt egy máshol generált, teljes megoldást. Mivel több ezer jelölt küldött be szinte azonos kimenetet ugyanarra a feladatra, a hasonlósági pontszám megugrik, és a toborzó egy egyébként erős eredmény mellett plágiumjelzést lát. A kód működött; a jelzés mindazonáltal kérdéseket vet fel.

Az interjúeszközök közötti adatvédelmi és észlelhetőségi kompromisszumokat az észlelhetőség témaközpontban gyűjtöttük össze.

A felügyeletnek van egy határa, és ennek ismerete ugyanolyan fontos, mint annak tudása, hogy mit jelez. A HackerRank standard felügyelete a böngésző teszkörnyezetén belül működik. Nem látja a számítógépén futó más alkalmazásokat, egy második monitort, egy asztalon lévő telefont, vagy egy kamerán kívüli személyt, hacsak a cég kifejezetten nem engedélyezi a képernyőrögzítést vagy az élő emberi felügyeletet.

Emellett csak jeleket jelez, nem bizonyosságokat. Egyetlen lapváltás a feladatleírás elolvasásához nem bizonyíték semmire; a jelentés számokat mutat, és egy ember dönti el, mit jelentenek. Pontosan ezért adnak gyakran a cégek élő interjút vagy webkamerát egy automatizált teszt fölé, ahelyett hogy csak a jelzésekre hagyatkoznának.

A hívás közben élőben zajló kódolási körök más szabályokat követnek; az interjútípusok központ formátum szerint bontja le ezeket.

Érdemes egyenesnek lenni a hatókörrel kapcsolatban. A SubcueAI egy natív asztali alkalmazás élő, szóbeli interjúkhoz: hallgatja az interjú hangját, és javaslatokat jelenít meg egy lebegő, helyi átfedésben, meeting-bot és az élő megbeszélésbe injektált böngészőbővítmény nélkül. Egy HackerRank-értékelés egy gépelt, böngészőben zajló kódolási teszt, így a SubcueAI nincs arra tervezve, hogy gépeljen vagy kódot illesszen be abba, és az AI által generált kód beillesztése pontosan a fent leírt plágium- és másolás-beillesztés jelzéseket váltaná ki.

Aaron Cao, a SubcueAI alapítója szándékosan a találkozó- és tesztszoftveren kívül tartotta az átfedést, ahelyett hogy beinjektálta volna, éppen azért, mert az injektált böngészőeszközök olyan nyomokat hagynak, amelyeket egy tesztkörnyezet rögzíteni tud. Az asszisztens ott segít, ahol az élő beszélgetés zajlik: egy szóbeli viselkedési kör, egy képernyőmegosztásos tervezési megbeszélés, vagy egy hangosan végiggondolt kódolási hívás, és még ott is érvényesek ugyanazok az őszinte korlátok, ha az interjúztató rögzíti vagy felügyeli a képernyőjét.

Ha biztonságosan szeretné gyakorolni ezeket az élő köröket, a próbainterjú gyakorlási mód pontosan erre lett kifejlesztve.