Czy HackerRank wykryje, że używasz ChatGPT?

Obawa stojąca za tym pytaniem jest zwykle konkretna: masz otwarty ChatGPT w drugiej karcie i chcesz wiedzieć, czy okno testu może to wykryć. Ta sekcja wymienia, co rejestruje HackerRank. Krótko mówiąc, to garść sygnałów na poziomie przeglądarki plus opcjonalna kamera, i żaden z nich nie odczytuje zawartości innej karty.

Co rejestruje ocena HackerRank:

• Zmiany fokusu i kart, czyli moment, w którym opuściłeś okno testu, i moment, w którym wróciłeś
• Zdarzenia wklejania do edytora kodu, w tym ile tekstu pojawiło się naraz
• Wyjścia z trybu pełnoekranowego, gdy ocena była skonfigurowana tak, by wymagać pełnego ekranu
• Zrzuty z kamery, tylko jeśli firma włączyła nadzór (proctoring)

Karta przeglądarki nie może odczytać kart obok siebie. HackerRank wie, że fokus opuścił ocenę; nie wie, czy otworzyłeś ChatGPT, stronę dokumentacji czy swoją pocztę. Zestawienie dla poszczególnych platform znajdziesz w detectability cluster.

Ryzyko nie leży w otwarciu ChatGPT. Leży w tym, co robisz z odpowiedzią.

HackerRank uruchamia ocenę podobieństwa kodu dla zgłoszeń, porównując Twoje rozwiązanie z rozwiązaniami innych kandydatów i znanymi źródłami publicznymi. Modele językowe są z założenia spójne: poproś kilka osób, żeby kazały ChatGPT rozwiązać ten sam standardowy problem z tablicami, a zgłoszenia zbiegną się do tej samej struktury, tych samych nazw zmiennych i tego samego stylu komentarzy. Ta zbieżność to dokładnie ten wzorzec, który ocena podobieństwa ma wykrywać.

Wklejanie tylko to pogłębia. Pojedyncze wklejenie, które umieszcza całe rozwiązanie w pustym edytorze naraz, jest silniejszym sygnałem niż sam kod, ponieważ pokazuje, że odpowiedź pojawiła się w całości, zamiast się rozwijać.

Zwróć uwagę, czego to wszystko nie dowodzi. Sygnał podobieństwa mówi, że dwa zgłoszenia wyglądają podobnie. Nie mówi, że ChatGPT napisał którekolwiek z nich. Narzędzia twierdzące, że potrafią zidentyfikować tekst napisany przez AI, są niewiarygodne w obie strony, a uważny recenzent traktuje je jako powód do zadawania pytań, a nie jako dowód.

Drugie urządzenie znajduje się całkowicie poza systemem. Jeśli czytasz ChatGPT na telefonie, nie ma żadnego sygnału przeglądarki do zarejestrowania, ponieważ nic nie wydarzyło się w przeglądarce obsługującej test.

Ta luka jest węższa, niż się wydaje, gdy włączony jest nadzór. Zrzuty z kamery nie wykrywają telefonu, ale pokazują osobę, która co jakiś czas patrzy w dół i w bok, a ludzki recenzent wyciąga oczywisty wniosek. Na laptopie zarządzanym przez firmę oprogramowanie urządzenia pracodawcy może widzieć znacznie więcej niż HackerRank.

Wyobraź sobie backend engineera, który rozwiązuje ograniczony czasowo test HackerRank dla zespołu płatności. Rozwiązuje pierwsze dwa problemy w edytorze, a trzeci opracowuje przez ChatGPT na telefonie. Log HackerRank pokazuje czystą sesję. Zrzuty z kamery pokazują uwagę skierowaną poza ekran przez większość końcowego odcinka, a trzecie rozwiązanie w ogóle nie przypomina pierwszych dwóch. Nic nie zostało wykryte, a raport i tak wygląda dziwnie. Ćwiczenie kolejnych etapów za pomocą mock interview practice to część, która naprawdę procentuje.

SubcueAI został zbudowany do rozmów kwalifikacyjnych na żywo, tych, w których ktoś zadaje Ci pytania przez Zoom, Google Meet lub Microsoft Teams. Aplikacja desktopowa na macOS i Windows przechwytuje dźwięk systemowy i Twój mikrofon oraz pokazuje sugestie na lokalnym nakładce (overlay); rozszerzenie przeglądarki Side Panel robi to samo dla rozmowy odbywającej się w karcie Chromium, przechwytując dźwięk tylko z tej karty, czyli rozmówcy, a nie Twój. Żaden bot nie dołącza do rozmowy i nic nie jest wstrzykiwane do strony spotkania.

Ocena programistyczna HackerRank to inna sytuacja. Nikt nie mówi, więc asystent na żywo nie ma czego słuchać, a wnoszenie pomocy z zewnątrz do oceny łamie warunki, które zaakceptowałeś, rozpoczynając ją. Nie twierdzimy, że jakiekolwiek narzędzie jest tam niewykrywalne. Udostępnianie ekranu, nagrywanie ekranu, środowiska nadzorowane i urządzenia zarządzane przez firmę pozostają całkowicie poza tym, co kontroluje lokalna nakładka.

Przygotowanie, które działa przy teście programistycznym, jest niezbyt efektowne: ćwicz typy problemów, aż będziesz w stanie napisać je bez pomocy. Szczegóły dotyczące przechwytywania i opóźnień omówiono w how it works cluster.