Μπορεί το HackerRank να καταλάβει αν χρησιμοποιείς ChatGPT;

Η ανησυχία πίσω από αυτή την ερώτηση είναι συνήθως συγκεκριμένη: έχεις ανοιχτό το ChatGPT σε μια δεύτερη καρτέλα και θέλεις να μάθεις αν το παράθυρο του τεστ μπορεί να το καταλάβει. Αυτή η ενότητα παραθέτει τι καταγράφει το HackerRank. Με λίγα λόγια, πρόκειται για μερικές ενδείξεις σε επίπεδο browser συν μια προαιρετική webcam, και καμία τους δεν διαβάζει το περιεχόμενο άλλης καρτέλας.

Τι καταγράφει μια αξιολόγηση HackerRank:

• Αλλαγές εστίασης και καρτέλας, δηλαδή τη στιγμή που έφυγες από το παράθυρο του τεστ και τη στιγμή που επέστρεψες
• Συμβάντα επικόλλησης στον επεξεργαστή κώδικα, συμπεριλαμβανομένου του πόσο κείμενο έφτασε ταυτόχρονα
• Εξόδους από πλήρη οθόνη, όταν η αξιολόγηση ήταν ρυθμισμένη να απαιτεί πλήρη οθόνη
• Στιγμιότυπα webcam, μόνο όταν η εταιρεία είχε ενεργοποιήσει την επιτήρηση (proctoring)

Μια καρτέλα browser δεν μπορεί να διαβάσει τις καρτέλες δίπλα της. Το HackerRank γνωρίζει ότι η εστίαση έφυγε από την αξιολόγηση· δεν γνωρίζει αν άνοιξες το ChatGPT, μια σελίδα τεκμηρίωσης ή το email σου. Ανάλυση ανά πλατφόρμα υπάρχει στο detectability cluster.

Ο κίνδυνος δεν βρίσκεται στο να ανοίξεις το ChatGPT. Βρίσκεται σε αυτό που κάνεις με την απάντηση.

Το HackerRank εκτελεί βαθμολόγηση ομοιότητας κώδικα στις υποβολές, συγκρίνοντας τη λύση σου με τις υποβολές άλλων υποψηφίων και με γνωστές δημόσιες πηγές. Τα γλωσσικά μοντέλα είναι συνεπή εκ σχεδιασμού: ζήτησε από αρκετά άτομα να βάλουν το ChatGPT να λύσει το ίδιο τυπικό πρόβλημα με πίνακες, και οι υποβολές συγκλίνουν στην ίδια δομή, τα ίδια ονόματα μεταβλητών και το ίδιο στιλ σχολίων. Αυτή η συσσωμάτωση είναι ακριβώς το μοτίβο που η βαθμολόγηση ομοιότητας υπάρχει για να αναδείξει.

Η επικόλληση το επιτείνει. Μια μόνο επικόλληση που εναποθέτει μια πλήρη λύση σε έναν άδειο επεξεργαστή είναι ισχυρότερη ένδειξη από τον ίδιο τον κώδικα, γιατί δείχνει ότι η απάντηση εμφανίστηκε ολόκληρη αντί να αναπτυχθεί σταδιακά.

Πρόσεξε τι δεν αποδεικνύει τίποτα από αυτά. Μια σήμανση ομοιότητας λέει ότι δύο υποβολές μοιάζουν μεταξύ τους. Δεν λέει ότι το ChatGPT έγραψε τη μία ή την άλλη. Τα εργαλεία που ισχυρίζονται ότι αναγνωρίζουν κείμενο γραμμένο από AI είναι αναξιόπιστα και προς τις δύο κατευθύνσεις, και ένας προσεκτικός αξιολογητής τα αντιμετωπίζει ως λόγο να θέσει ερωτήσεις, όχι ως απόδειξη.

Μια δεύτερη συσκευή βρίσκεται εντελώς εκτός συστήματος. Αν διαβάζεις το ChatGPT στο τηλέφωνό σου, δεν υπάρχει καμία ένδειξη browser για καταγραφή, γιατί τίποτα δεν συνέβη στον browser που εκτελεί το τεστ.

Αυτό το κενό είναι στενότερο από όσο ακούγεται μόλις ενεργοποιηθεί η επιτήρηση. Τα στιγμιότυπα webcam δεν εντοπίζουν ένα τηλέφωνο, αλλά δείχνουν ένα άτομο να κοιτάζει κάτω και αλλού κατά διαστήματα, και ένας ανθρώπινος αξιολογητής βγάζει το προφανές συμπέρασμα. Σε έναν υπολογιστή διαχειριζόμενο από την εταιρεία, το ίδιο το λογισμικό συσκευής του εργοδότη μπορεί να βλέπει σημαντικά περισσότερα από όσα βλέπει το HackerRank.

Φαντάσου έναν backend engineer που δίνει χρονομετρημένο screening HackerRank για μια ομάδα πληρωμών. Λύνει τα δύο πρώτα προβλήματα στον επεξεργαστή και δουλεύει το τρίτο μέσω ChatGPT στο τηλέφωνό του. Το log του HackerRank δείχνει μια καθαρή συνεδρία. Τα στιγμιότυπα webcam δείχνουν την προσοχή εκτός οθόνης για το μεγαλύτερο μέρος του τελικού διαστήματος, και η τρίτη λύση δεν μοιάζει καθόλου με τις δύο πρώτες. Τίποτα δεν εντοπίστηκε, και η αναφορά και πάλι φαίνεται περίεργη. Η εξάσκηση για τους γύρους που ακολουθούν με mock interview practice είναι το κομμάτι που πραγματικά αποδίδει σωρευτικά.

Το SubcueAI είναι φτιαγμένο για ζωντανές συνομιλιακές συνεντεύξεις, εκείνες όπου κάποιος σου κάνει ερωτήσεις μέσω Zoom, Google Meet ή Microsoft Teams. Η desktop εφαρμογή σε macOS και Windows καταγράφει τον ήχο του συστήματος και το μικρόφωνό σου και εμφανίζει προτάσεις σε ένα τοπικό overlay· η επέκταση browser Side Panel κάνει το ίδιο για μια κλήση που εκτελείται σε μια καρτέλα Chromium, καταγράφοντας μόνο τον ήχο εκείνης της καρτέλας, δηλαδή του συνεντευκτή και όχι τον δικό σου. Κανένα bot δεν συμμετέχει στην κλήση και τίποτα δεν εγχέεται στη σελίδα της συνάντησης.

Μια αξιολόγηση κωδικοποίησης HackerRank είναι διαφορετική κατάσταση. Κανείς δεν μιλάει, οπότε ένας ζωντανός βοηθός δεν έχει τίποτα να ακούσει, και το να φέρεις εξωτερική βοήθεια σε μια αξιολόγηση παραβιάζει τους όρους που αποδέχτηκες όταν την ξεκίνησες. Δεν ισχυριζόμαστε ότι οποιοδήποτε εργαλείο είναι μη ανιχνεύσιμο εκεί. Κοινή χρήση οθόνης, εγγραφή οθόνης, επιτηρούμενα περιβάλλοντα και συσκευές διαχειριζόμενες από την εταιρεία βρίσκονται όλα εκτός του ελέγχου ενός τοπικού overlay.

Η προετοιμασία που αποδίδει για ένα coding screening είναι του μη εντυπωσιακού είδους: εξασκήσου στους τύπους προβλημάτων μέχρι να μπορείς να τα γράψεις χωρίς βοήθεια. Οι λεπτομέρειες καταγραφής και καθυστέρησης καλύπτονται στο how it works cluster.