データサイエンティスト面接、ラウンド別の質問

おそらくSQLと機械学習はある程度準備してきたはずですが、他に何が出るのか分からず不安なのではないでしょうか。このセクションでは、こうした面接で繰り返し使われる五つのラウンドを整理し、評価基準に合わせて対策できるようにします。各ラウンドは異なる能力を測るものであり、技術系の二つのラウンドだけを準備することが、優秀な候補者がオファーを逃す最も多い原因です。

• SQLとコーディング。クエリの作成とPythonによるデータ操作で、たいていはその場で行われます。
• 統計と確率。証明ではなく、解釈と推論が問われます。
• 実験計画。A/Bテスト：何を測定するか、どれくらいの期間実施するか、いつ結果を信頼できるかを問います。
• モデリングまたはケース問題。あなた自身が枠組みを定義し、高いレベルで解いていくオープンな問題です。
• 行動面接とステークホルダー対応。曖昧さや意見の対立、誰も望まなかった結果にどう対処したかが問われます。

肩書きはさまざまです。データサイエンティストという肩書きの会社がアナリストのラウンドを実施することもあれば、その逆もあります。このページのアナリスト版が見たい場合は、職種別の面接質問ハブにあります。

統計と確率

• p値は実際には何を意味し、何を意味しないのでしょうか？
• 信頼区間をプロダクトマネージャーに二文で説明してください。
• t検定ではなくz検定を使うのはどのような場合ですか？
• 中心極限定理とは何ですか、それがあなたの業務にとってなぜ重要なのですか？
• ある指標が変化し、結果は有意でした。それでも間違っている可能性があるのはなぜですか？
• あなたのチームが実際に下す意思決定を例に、第一種の過誤と第二種の過誤を説明してください。
• 選択バイアスとは何ですか、データの中でどのように検出しますか？
• 中央値が平均値より優れた要約になるのはどのような場合ですか？

実験計画とA/Bテスト

• 新しいオンボーディングフローをテストする実験をどのように設計しますか？
• サンプルサイズはどのように決めますか、到達できない場合はどうしますか？
• テストは三日で有意になりました。それをリリースしますか？
• 新奇性効果とは何ですか、それを本当のリフトからどう切り分けますか？
• 複数の指標が異なる方向に動いた場合、どう対処しますか？
• テストの途中でランダム化が壊れていたらどうしますか？
• 市場全体での価格変更のようにランダム化できないものを、どのように測定しますか？

注目すべきパターンがあります。これらの質問には、唯一の正解がほとんどありません。評価されるのは、前提を明示し、トレードオフを述べ、何を確認するかを説明できているかどうかです。

モデリング

• 顧客の解約を予測するモデルをどのように構築しますか？まず「解約」をどう定義するかから始めてください。
• あなたのモデルは不均衡なデータセットで95%の精度を達成しました。これは良いことですか？
• あなたが実際にリリースしたモデルを例に、バイアスとバリアンスのトレードオフを説明してください。
• この問題でシンプルなモデルと複雑なモデルのどちらを選ぶか、どう決めますか？
• デプロイ後にモデルが機能しなくなったことをどうやって知りますか？
• 正則化を使ったことがない人に、正則化とは何かを説明してください。

SQLとPython

• 各ユーザーの最初と最新の購入日を返すクエリを書いてください。
• デイリーアクティブユーザー数の七日間の移動平均を計算してください。
• 登録月別のコホートでコンバージョン率を求めてください。
• pandasで縦持ちのテーブルを横持ちに変換する方法と、そうしない方が良い場合を説明してください。
• 取引テーブルの重複行をどのように見つけて処理しますか？

プロダクトセンスと指標

• 新機能が成功しているかどうかをどのように測定しますか？
• デイリーアクティブユーザーは増えているのに、収益は横ばいです。原因を調査してください。
• 経営陣向けダッシュボードにどの指標を一つだけ載せますか、そして何を外しますか？
• 良い定着率カーブと悪い定着率カーブをどう見分けますか？

質問リストを読むことで身につくのは「見覚え」です。面接で試されるのは、時間的プレッシャーの中で誰かに割り込まれながら本番で発揮する力であり、それはまったく別のスキルです。このギャップが最も顕著に表れるのは実験計画とケースのラウンドで、そこでは答えは事実の列挙ではなく、構造化された論証だからです。

• タイマーを使い、声に出して答える。ケース問題一つにつき六分、メモなし、やり直しなしで行います。
• まず前提を口に出す。何を前提としているかを明示することは評価対象であり、考える時間を稼ぐことにもなります。
• 割り込まれる練習をする。実際の面接官は二分目で割り込んできます。中断されない独白を練習しても、そのための備えにはなりません。
• SQLを手で書く。実地のラウンドでは、自動補完もクエリの実行もできない、ただのエディタが使われることがよくあります。
• すべての結果を二回説明する。一度は技術的に、もう一度はあなたの手法に関心のないステークホルダーに向けて説明します。

四年の経験を持つあるデータサイエンティストは、マーケットプレイス企業の面接に向けて、文書にまとめられた百の質問に目を通して準備しましたが、「テストが三日で有意になった、それをリリースするか」という質問で固まってしまいました。声に出して答えたことが一度もなかったからです。内容は頭の中にあっても、それを伝える練習はできていなかったのです。追加の質問を重ねながらこうした問題を鍛えたいなら、模擬面接モードがこのラウンドを再現し、あなたの回答に食い下がります。