Dokáže HackerRank odhalit kopírování a vkládání?

Systém dohledu HackerRank zaznamenává akce vkládání v editoru kódu. Zpráva o kandidátovi ukazuje, že k vložení došlo a ve které části relace se to stalo.

Co záznam neobsahuje, je původ. Editor je webová stránka; přijímá jakýkoli text, který mu předá operační systém, a nemá způsob, jak se zeptat, odkud byl daný text zkopírován. Váš vlastní pracovní soubor, příklad z dokumentace i odpověď chatbota přicházejí jako stejná událost.

Z toho plynou dva důsledky. Vložení úryvku, který jste sami napsali před pěti minutami v jiném okně, se zaznamená úplně stejně jako vložení hotového řešení. A čistý záznam vkládání nedokazuje, že jste pracovali bez pomoci, protože psaní není sledováno jako důkaz autorství.

Klastr o zjistitelnosti (detectability) se stejnou otázkou zabývá i u jiných hodnoticích platforem.

Většina lidí se k této otázce dostane až zpětně, poté co během testu něco vložili a přemýšlejí, jak zle to vypadá. Tato sekce popisuje, co vidí posuzovatel. Krátká odpověď zní, že podoba vložení nese mnohem více významu než pouhá jeho existence.

Několik drobných vložení rozprostřených v dlouhé relaci se čte jako běžné pracovní chování. Nikdo ručně nepřepisuje URL adresu nebo blok testovacích dat. Jediné vložení, které naplní prázdný editor kompletním, správným řešením, se čte jinak, protože ukazuje, že odpověď se objevila celá najednou, místo aby se postupně vyvíjela.

K tomu přispívá i časování. Vložení v první minutě úlohy, po němž ihned následuje odeslání, vypráví jiný příběh než vložení, které přijde po viditelné iteraci. Uvažujme kandidáta, který skládá screeningový test na data engineering a má otevřený osobní soubor s úryvky kódu: objeví se několik drobných vložení, kód se poté opakovaně mění a zpráva se čte jako běžná práce. V takovém záznamu není nic, co by bylo třeba obhajovat.

Jde o dva nezávislé systémy a jejich zaměňování způsobuje spoustu zbytečných obav.

• Zaznamenávání vkládání je behaviorální signál zachycovaný živě v editoru. Říká, že došlo k nějaké akci.
• Skórování podobnosti kódu běží nad odeslaným kódem a porovnává jej s odevzdáními jiných kandidátů a se známými zdroji. Říká, že výsledek se něčemu podobá.

Jedno můžete vyvolat bez druhého. Ruční přepsání zkopírovaného řešení nevytvoří žádnou událost vložení, a přesto se ohodnotí jako podobné. Vložení vlastní originální práce vytvoří událost vložení a vůbec se neohodnotí jako podobné.

Posuzovatel vidí obojí ve stejné zprávě a čte to dohromady. Proto také jediné označení málokdy něco ukončí: obvyklým dalším krokem je živé kolo, ve kterém vysvětlíte svůj postup, což vyřeší nejasnost rychleji než jakýkoli záznam.

SubcueAI pomáhá při živých mluvených pohovorech. Desktopová aplikace na macOS a Windows zachycuje systémový zvuk a váš mikrofon a zobrazuje návrhy na lokální překryvné vrstvě; rozšíření prohlížeče Side Panel dělá totéž pro hovor probíhající na kartě Chromium a zachycuje pouze zvuk dané karty, tedy hlas tazatele, nikoli váš. K schůzce se nepřipojuje žádný bot a na stránku schůzky se nic nevkládá.

Programátorské hodnocení HackerRank taková situace není. Nikdo nemluví, takže není co přepisovat, a přinesení vnější pomoci do hodnocení porušuje podmínky, které jste přijali při jeho zahájení. Netvrdíme, že by tam byl jakýkoli nástroj nezjistitelný. Sdílení obrazovky, nahrávání obrazovky, relace pod dohledem a firmou spravované notebooky – to vše stojí mimo dosah toho, co může ovlivnit lokální překryvná vrstva.

Tam, kde asistent u HackerRanku skutečně pomáhá, je před a po. Trénink pomocí nácviku pohovoru (mock interview) buduje návyk vysvětlovat kód nahlas, což je přesně to, co po vás žádá rozhovor po hodnocení. Podrobnosti o zachytávání a latenci najdete v klastru o tom, jak to funguje (how it works).