Kiderítheti a HackerRank, ha ChatGPT-t használsz?

A kérdés mögötti aggodalom általában konkrét: nyitva van a ChatGPT egy második lapon, és tudni szeretnéd, hogy a teszt ablaka észreveheti-e ezt. Ez a szakasz felsorolja, mit rögzít a HackerRank. Röviden: néhány böngészőszintű jelzésről van szó, plusz egy opcionális webkameráról, és ezek egyike sem olvassa egy másik lap tartalmát.

Mit naplóz egy HackerRank-értékelés:

• Fókusz- és lapváltások, vagyis az a pillanat, amikor elhagytad a teszt ablakát, és az a pillanat, amikor visszatértél
• Beillesztési események a kódszerkesztőben, beleértve azt is, mennyi szöveg érkezett egyszerre
• Teljes képernyős módból való kilépések, amikor az értékelés úgy volt beállítva, hogy megkövetelje a teljes képernyőt
• Webkamerás pillanatképek, csak akkor, ha a cég bekapcsolta a felügyeletet (proctoring)

Egy böngészőlap nem tudja elolvasni a mellette lévő lapokat. A HackerRank tudja, hogy a fókusz elhagyta az értékelést; azt nem tudja, hogy ChatGPT-t, egy dokumentációs oldalt vagy az e-mailjeidet nyitottad-e meg. A platformonkénti bontás a detectability cluster oldalon található.

A kockázat nem a ChatGPT megnyitásában rejlik. Abban rejlik, mit kezdesz a válasszal.

A HackerRank kódhasonlósági pontozást futtat a beadott megoldásokon, összevetve a megoldásodat más jelöltek beadott megoldásaival és ismert nyilvános forrásokkal. A nyelvi modellek tervezésüknél fogva konzisztensek: kérj meg több embert, hogy oldassák meg a ChatGPT-vel ugyanazt a szokásos tömb-feladatot, és a beadott megoldások ugyanarra a struktúrára, ugyanazokra a változónevekre és ugyanarra a kommentstílusra fognak konvergálni. Ez a csoportosulás pontosan az a minta, amelynek felszínre hozására a hasonlósági pontozás létezik.

A beillesztés csak súlyosbítja ezt. Egyetlen beillesztés, amely egy teljes megoldást egyszerre helyez el egy üres szerkesztőben, erősebb jelzés, mint maga a kód, mert azt mutatja, hogy a válasz egészben érkezett, ahelyett hogy fokozatosan alakult volna ki.

Figyeld meg, mit nem bizonyít mindez. Egy hasonlósági jelzés azt mondja, hogy két beadott megoldás hasonlít egymásra. Nem mondja azt, hogy a ChatGPT írta bármelyiket is. Az AI által írt szöveg felismerését állító eszközök mindkét irányban megbízhatatlanok, és egy alapos értékelő inkább kérdésfeltevési okként, nem pedig bizonyítékként kezeli őket.

Egy második eszköz teljesen kívül esik a rendszeren. Ha a telefonodon olvasod a ChatGPT-t, nincs olyan böngészőjelzés, amit rögzíteni lehetne, mert semmi sem történt a tesztet futtató böngészőben.

Ez a rés szűkebb, mint amilyennek hangzik, amint a felügyelet bekapcsol. A webkamerás pillanatképek nem érzékelik a telefont, de megmutatják, hogy valaki időnként lefelé és máshová néz, egy emberi bíráló pedig levonja a nyilvánvaló következtetést. Egy cég által kezelt laptopon a munkáltató saját eszközszoftvere jóval többet láthat, mint a HackerRank.

Képzelj el egy backend mérnököt, aki egy időzített HackerRank screeninget old meg egy fizetési csapat számára. Az első két feladatot a szerkesztőben oldja meg, a harmadikat pedig a telefonján lévő ChatGPT segítségével dolgozza ki. A HackerRank naplója tiszta munkamenetet mutat. A webkamerás pillanatképek a záró szakasz nagy részében a képernyőn kívülre irányuló figyelmet mutatnak, és a harmadik megoldás egyáltalán nem hasonlít az első kettőre. Semmit sem észleltek, a jelentés mégis furcsán néz ki. A következő körökre való felkészülés mock interview practice segítségével az a rész, ami valóban halmozottan megtérül.

A SubcueAI élő, párbeszédes interjúkhoz készült, azokhoz, ahol valaki Zoomon, Google Meeten vagy Microsoft Teamsen keresztül tesz fel kérdéseket. A macOS és Windows rendszerű asztali alkalmazás rögzíti a rendszerhangot és a mikrofonodat, és javaslatokat jelenít meg egy helyi overlayen; a Side Panel böngészőbővítmény ugyanezt teszi egy Chromium-lapon futó híváshoz, csak az adott lap hangját rögzítve, vagyis az interjúztatóét, nem a tiédet. Egyetlen bot sem csatlakozik a híváshoz, és semmi sem kerül beillesztésre a megbeszélés oldalára.

Egy HackerRank kódolási értékelés más helyzet. Senki sem beszél, így egy élő asszisztensnek nincs mit hallgatnia, és a külső segítség bevonása egy értékelésbe megsérti azokat a feltételeket, amelyeket az indításkor elfogadtál. Nem állítjuk, hogy bármelyik eszköz felismerhetetlen lenne ott. A képernyőmegosztás, a képernyőrögzítés, a felügyelt környezetek és a cég által kezelt eszközök mind kívül esnek azon, amit egy helyi overlay irányít.

A coding screeninghez működő felkészülés a nem túl látványos fajta: gyakorold a feladattípusokat, amíg segítség nélkül meg nem tudod írni őket. A rögzítés és a késleltetés részletei a how it works cluster oldalon szerepelnek.