HackerRankは不正を検知する?

コーディング課題を前にして、それが正確に何を見ているのか気になっているはずです。このセクションでは、HackerRankが収集する具体的なシグナルを挙げるので、もう推測する必要はありません。要するに、盗用スコア、活動フラグ、そして企業が有効にした場合のウェブカメラのスナップショットという3つを監視しています。

• コード類似度による盗用スコアリング。すべての提出は過去の提出や公開コードの大規模なコーパスと比較され、類似度スコアが付けられます。
• フォーカスとタブの監視。HackerRankはテストのタブから離れたりフルスクリーンを解除したりするたびに回数とタイムスタンプを記録します。
• コピー&ペーストの記録。コードエディタへの貼り付けイベントが記録され、採用担当者のレポートに表示されます。
• 任意設定のウェブカメラ監視。企業が有効にしている場合、テスト中は候補者の画像スナップショットが定期的に撮影されます。

類似度エンジンは候補者が過小評価しがちな部分です。単に隣の人のコードと比較しているのではなく、過去の提出や公開ソースの大規模なデータベースと照合してスコアを付けています。他の多くの候補者も貼り付けたような解答を貼り付けることが、スコアを跳ね上げる最も手っ取り早い方法です。

具体例を見てみましょう。あるバックエンドエンジニアが中程度の難易度のHackerRankの問題を解く際に、どこかで生成された完全な解答を貼り付けたとします。同じ問題に対して何千人もの候補者がほぼ同一の結果を提出しているため、類似度スコアが上昇し、採用担当者はそれ以外は優れた結果の横に盗用フラグを目にすることになります。コードは正しく動作していても、フラグは疑問を招きます。

面接ツール全般におけるプライバシーと検知のトレードオフは、検知可能性のトピックハブにまとめられています。

監視には境界があり、それが何をフラグするかを知ることと同じくらい、その境界を知ることも重要です。HackerRankの標準的な監視はブラウザのテスト環境内でのみ動作します。企業が特に画面録画やライブの人間による監視を有効にしていない限り、パソコン上の他のアプリケーション、2台目のモニター、机の上のスマートフォン、カメラの外にいる人物を見ることはできません。

また、それがフラグするのはシグナルであって確証ではありません。問題文を読むために一度タブを切り替えたからといって、それだけでは何の証明にもなりません。レポートには回数が表示されるだけで、それが何を意味するかは人が判断します。だからこそ多くの企業は、フラグだけを信頼するのではなく、自動テストの上にライブ面接やウェブカメラを重ねることが多いのです。

通話中にライブで行われるコーディングラウンドは異なるルールに従います。詳しくは面接タイプのハブで形式別に解説しています。

その適用範囲については率直に述べておく価値があります。SubcueAIはライブの口頭面接のためのネイティブデスクトップアプリです。面接の音声を聞き取り、ローカルのフローティングオーバーレイに提案を表示します。会議ボットは使わず、進行中の会議にブラウザプラグインを注入することもありません。HackerRankの課題はブラウザ上でタイピングして解答するコーディングテストであるため、SubcueAIはそこにコードをタイプしたり貼り付けたりするようには作られておらず、AI生成コードを貼り付ければ、上記で説明した盗用フラグとコピー&ペーストフラグがまさに発動してしまいます。

SubcueAIの創業者Aaron Caoは、会議や試験用ソフトウェアの中に注入するのではなく、あえてその外側にオーバーレイを置きました。注入型のブラウザツールは、テスト環境が記録できる痕跡を残してしまうからです。このアシスタントが役立つのはライブの会話の場面です。口頭での行動面接、画面共有を伴う設計ディスカッション、あるいは話しながら進めるコーディングコールなどですが、そこでも面接官が画面を録画または監視している場合は同じ正直な限界が当てはまります。

こうしたライブの面接ラウンドを安全に練習したいなら、模擬面接の練習モードはまさにそのために作られています。