Czy HackerRank wykrywa kopiuj-wklej?

System proctoringu HackerRank rejestruje czynności wklejania w edytorze kodu. Raport kandydata pokazuje, że doszło do wklejenia i w którym momencie sesji to nastąpiło.

Czego zapis nie zawiera, to pochodzenia. Edytor to strona internetowa; otrzymuje dowolny tekst przekazany przez system operacyjny i nie ma sposobu, by zapytać, skąd ten tekst został skopiowany. Własny plik roboczy, przykład z dokumentacji i odpowiedź chatbota trafiają jako to samo zdarzenie.

Wynikają z tego dwie konsekwencje. Wklejenie fragmentu, który sam napisałeś pięć minut wcześniej w innym oknie, jest rejestrowane dokładnie tak samo jak wklejenie gotowego rozwiązania. A czysty dziennik wklejeń nie dowodzi, że pracowałeś bez pomocy, ponieważ pisanie nie jest śledzone jako dowód autorstwa.

Klaster wykrywalności (detectability) omawia to samo pytanie dla innych platform oceniających.

Większość osób trafia na to pytanie po fakcie, po tym jak coś wkleiły podczas testu i zastanawiają się, jak źle to wygląda. Ta sekcja opisuje, co widzi osoba przeglądająca raport. Krótka odpowiedź brzmi: forma wklejenia niesie znacznie więcej znaczenia niż sam fakt jego wystąpienia.

Kilka drobnych wklejeń rozłożonych na całą długą sesję czyta się jako zwykłe zachowanie robocze. Nikt nie przepisuje ręcznie adresu URL ani bloku danych testowych. Jedno wklejenie, które wypełnia pusty edytor kompletnym, poprawnym rozwiązaniem, czyta się inaczej, bo pokazuje, że odpowiedź pojawiła się w całości, zamiast się rozwijać.

Do tego dochodzi czas. Wklejenie w pierwszej minucie zadania, po którym od razu następuje wysłanie rozwiązania, opowiada inną historię niż wklejenie, które pojawia się po widocznej iteracji. Weźmy kandydata, który zdaje rozmowę kwalifikacyjną z zakresu data engineering i ma otwarty własny plik z fragmentami kodu: pojawia się kilka drobnych wklejeń, kod potem wielokrotnie się zmienia, a raport czyta się jak normalna praca. W takim dzienniku nie ma niczego, co trzeba by tłumaczyć.

To dwa niezależne systemy, a mylenie ich powoduje wiele niepotrzebnych obaw.

• Rejestrowanie wklejeń to sygnał behawioralny przechwytywany na żywo w edytorze. Mówi, że doszło do jakiejś czynności.
• Ocena podobieństwa kodu działa na przesłanym kodzie, porównując go ze zgłoszeniami innych kandydatów i znanymi źródłami. Mówi, że wynik przypomina coś innego.

Możesz wywołać jedno bez drugiego. Ręczne przepisanie skopiowanego rozwiązania nie tworzy żadnego zdarzenia wklejenia, a i tak zostanie ocenione jako podobne. Wklejenie własnej, oryginalnej pracy tworzy zdarzenie wklejenia i wcale nie zostaje ocenione jako podobne.

Osoba przeglądająca widzi oba te elementy w tym samym raporcie i odczytuje je razem. Dlatego też pojedyncze oznaczenie rzadko czemukolwiek kładzie kres: zwykle kolejnym krokiem jest rozmowa na żywo, podczas której wyjaśniasz swoje podejście, co rozwiązuje niejasność szybciej niż jakikolwiek dziennik.

SubcueAI wspiera rozmowy kwalifikacyjne prowadzone na żywo, głosowo. Aplikacja desktopowa na macOS i Windows przechwytuje dźwięk systemowy oraz Twój mikrofon i pokazuje podpowiedzi na lokalnej nakładce; rozszerzenie przeglądarki Side Panel robi to samo dla rozmowy prowadzonej na karcie Chromium, przechwytując wyłącznie dźwięk tej karty, czyli głos rozmówcy prowadzącego rozmowę, a nie Twój. Do spotkania nie dołącza żaden bot i nic nie jest wstrzykiwane na stronę spotkania.

Ocena z programowania w HackerRank to nie ta sytuacja. Nikt nie mówi, więc nie ma czego transkrybować, a wnoszenie zewnętrznej pomocy do oceny narusza warunki, które zaakceptowałeś, rozpoczynając ją. Nie twierdzimy, że jakiekolwiek narzędzie jest tam niewykrywalne. Udostępnianie ekranu, nagrywanie ekranu, sesje monitorowane oraz laptopy zarządzane przez firmę pozostają poza zasięgiem tego, na co może wpłynąć lokalna nakładka.

Tam, gdzie asystent rzeczywiście pomaga przy HackerRank, jest przed i po. Ćwiczenie z praktyką rozmów próbnych (mock interview) buduje nawyk wyjaśniania kodu na głos, czego dokładnie wymaga rozmowa po ocenie. Szczegóły dotyczące przechwytywania i opóźnień znajdują się w klastrze o działaniu (how it works).