Data Scientist の面接質問
各社ガイドから集めた代表的な Data Scientist の面接質問を、評価される内容ごとに分類しています。準備用の例であり、特定企業の確定した質問集ではありません。
行動面接 (23)
分析アプローチについてチームメイトと意見が分かれた経験を教えてください。どのように結論を出しましたか？
根拠によって当初のアプローチを変更した経験について教えてください。
新しいプロダクト機能にはどの指標を選び、どのような失敗パターンを監視しますか？
複雑な分析を明確に伝えることで意思決定を変えた経験について教えてください。
自分の分析が誤っていると気づいた経験について教えてください。その後、何をしましたか？
技術的な結果を非技術部門のパートナーに説明した経験について教えてください。
意思決定を変えた分析と、その内容を専門知識のない関係者にどのように説明したかを教えてください。
あなたの分析によってチームの意思決定が変わった経験について教えてください。
矛盾する証拠を受け取った後に分析を変更した経験について教えてください。
新たな根拠を得たことで分析アプローチを変更した経験について教えてください。
あなたの分析によって意思決定が変わった実際の状況について教えてください。
曖昧な分析に当事者意識を持って取り組んだ経験について教えてください。
分析をめぐって意見が対立した経験と、共同作業者と協力してどのように解決したかを教えてください。
データサイエンティストとしてBoston Consulting Groupに入社したいのはなぜですか？
Boston Consulting Group ガイドより · 模擬面接でこの質問を練習する · 履歴書から回答を作成する
あなたの分析によって意思決定が変わったプロジェクトについて教えてください。
Boston Consulting Group ガイドより · 模擬面接でこの質問を練習する · 履歴書から回答を作成する
新しい根拠を得た後に分析を変更した経験について説明できますか？
モデルの性能が有用なビジネス上の意思決定につながらなかった経験について教えてください。
新たな根拠によって分析上の提言を見直した経験について教えてください。
故障がまれにしか発生せず、同じデバイスの観測値が互いに相関している場合、設備故障モデルをどのように検証しますか？
関係者があなたのデータ解釈に同意しなかったプロジェクトを、どのように対処しましたか？
自分の分析に欠陥を発見し、提言を変更した経験について話してもらえますか。
自分の分析がチームの望ましい結論に異議を唱えた経験について教えてください。その意見の相違にどう対応しましたか？
分析結果の解釈をめぐってステークホルダーと意見が対立したとき、どのように対処しましたか？
コーディング (26)
顧客グループ間のエンゲージメントを比較する SQL クエリを書き、その結果をどのように検証するか説明してください。
重複レコードを避けながら顧客コホート間の継続率を比較するSQLクエリを、どのように記述しますか？
アクティビティの欠損を処理しながら、ユーザーグループ間のエンゲージメントを比較するSQLクエリを書いてください。
ユーザーによる反復的なアクティビティを特定し、重複が結果を歪めていないことを確認するSQLクエリを、どのように記述しますか？
欠損レコードを処理しながら、コホート別の継続率を比較するSQLクエリを書いてください。
イベントテーブルとユーザーテーブルがある場合、コホート間のコンバージョンを比較するSQLをどのように記述しますか？
欠損イベントを処理しながらコホート間の継続率を比較する SQL クエリを、どのように記述しますか？
連続する期間にわたって利用状況が低下したユーザーを特定するSQLクエリを、どのように作成しますか？
遅れて到着するイベントを処理しながら実験グループ間の継続率を比較するSQLクエリを、どのように作成しますか？
ある期間から次の期間にかけてアクティビティが増加したメンバーを特定するSQLを書いてください。
欠損値を処理しながら顧客セグメント間のコンバージョン率を比較するSQLクエリを書いてください。
顧客セグメント間の継続率を比較するSQLクエリをどのように記述しますか？
顧客グループ間の継続率を比較するSQLクエリを、どのように記述しますか？
加盟店コホート間の継続率を比較するSQLクエリをどのように記述しますか？
未知のデータセットをクリーニング、検証、分析するコードをどのように構成しますか？
視聴行動の持続的な変化を特定するために、どのようなSQLクエリを作成しますか？
重複イベントを避けながら、コホート間のエンゲージメントを比較するSQLクエリを書いてください。
コホート間の継続率を比較するSQLクエリを書き、その結果をどのように検証するか説明してください。
連続する期間にわたって利用活動が減少したユーザーを特定するSQLクエリを書いてください。
時間の経過に伴う顧客行動の変化を特定するクエリをどのように作成しますか？
Boston Consulting Group ガイドより · 模擬面接でこの質問を練習する · 履歴書から回答を作成する
欠損データを確認しながら実験群間のコンバージョン率を比較するSQLクエリを、どのように作成しますか？
イベントテーブルと顧客テーブルがある場合、コホート間のリテンションを比較するクエリをどのように作成しますか？
取引活動の異常な変化を特定するSQLクエリを、どのように作成しますか？
イベントテーブルに重複レコードとタイムスタンプが含まれています。初回アクティブ日以降に戻ってきたユーザーを、二重にカウントせずに特定するSQLをどのように書きますか？
重複するタイムスタンプを扱いながら、各デバイスの最新の有効な測定値を見つけるための SQL クエリをどう書きますか？
決済ID、試行ID、タイムスタンプ、結果を使って加盟店別の決済成功率を計算するSQLを、どのように書きますか。
システム設計 (24)
プロダクトの変更がユーザーのリテンションを改善するかどうかを測定する実験を、どのように設計しますか？
レコメンデーションの変更が顧客の成果を改善するか検証するには、どのような実験を設計しますか？
プロダクトの変更がユーザー維持率を向上させるか測定するために、どのような実験を設計しますか？
無作為割り当てに制約がある場合、どのように実験を設計しますか？
新しいプロダクト機能がユーザー維持率を向上させるか測定する実験を、どのように設計しますか？
製品の変更がユーザーの成果を改善するかどうかを判断する実験を、どのように設計しますか？
プロダクトの変更によって乗客の継続利用率が向上するかを測定する実験を、どのように設計しますか？
レコメンデーションの変更によってメンバーのエンゲージメントが向上するかを検証する実験を、どのように設計しますか？
レコメンデーションの変更によって有意義なエンゲージメントが向上するかを測定するには、どのような実験を設計しますか？
製品の変更によって顧客維持率が向上するかどうかを判断するには、どのような実験を設計しますか？
製品の変更によってユーザーエンゲージメントが向上するかを測定するには、どのような実験を設計しますか？
製品の変更が改善をもたらしたかどうかを判断するために、どのような実験を設計しますか？
加盟店のチェックアウト行動を変更した場合、その効果を検証する実験をどのように設計しますか？
リスナーのエンゲージメントに関する変更を検証するには、どのような実験を設計しますか？
プロダクトの変更によってクリエイターの継続率が向上するかを検証する実験を、どのように設計しますか？
製品の変更によってユーザーの成果が改善したかを判断するため、どのような実験を設計しますか？
製品の変更によって顧客維持率が向上するかを検証する実験を、どのように設計しますか？
無作為割り当てができない場合、どのように実験を設計しますか？
Boston Consulting Group ガイドより · 模擬面接でこの質問を練習する · 履歴書から回答を作成する
製品の変更によって顧客維持率が向上するかを検証する実験を、どのように設計しますか？
新しい顧客向け機能がエンゲージメントを変化させるか測定するために、どのような実験を設計しますか？
製品の変更が顧客行動に影響したかを判断する実験を、どのように設計しますか？
製造プロセスの変更が歩留まりを改善するかどうかを検証する実験を、どのように設計しますか？
ゲスト向けの変更がホストにも影響しうる場合、どのように実験を設計しますか？
新しいオンボーディングフローをテストする実験をどのように設計しますか？
技術 (121)
リリース後に主要なプロダクト指標が低下しました。原因をどのように調査しますか？
解釈しやすいモデルと、予測性能は高いがより複雑なモデルの間で、どのように選択しますか？
不確実性を含むモデルの結果を、それに基づいて行動する必要がある非技術系のリーダーにどう説明しますか？
エンゲージメント指標とガードレール指標が相反する動きを示した場合、どのように調査しますか？
データが時間とともに変化する状況で需要を予測するには、モデルをどのように選択し、検証しますか？
統計を扱わないオペレーション責任者に、モデルの結果をどのように説明しますか？
プロダクトの変更が、観測された継続率の上昇を引き起こしたかどうかを、どのように判断しますか？
観察研究で選択バイアスをどのように検出し、対処しますか？
統計的に有意でも実務上の効果が小さい結果を、プロダクト責任者にどのように説明しますか？
リリース後に主要指標が上昇しました。その変更が改善の原因かどうかを、どのように判断しますか？
学習用データセットの選択バイアスを、どのように検出して対処しますか？
予測性能と解釈可能性が異なる方向を示す場合、2つのモデリング手法をどのように比較しますか？
モデルの提案とその不確実性を、技術知識のないステークホルダーにどのように説明しますか？
指標の変化が統計的に意味を持ち、実務的にも有用かどうかを、どのように判断しますか？
解釈しやすいベースラインと、より複雑なモデルのどちらを選ぶか、どのように判断しますか？
モデルはオフラインでは良好な性能を示しましたが、デプロイ後の性能は低調です。どのように調査しますか？
直感に反する結果を技術者ではない聞き手にどのように説明し、次の行動を提案しますか？
一つのユーザーセグメントだけに現れる指標の変動を、どのように調査しますか？
精度は高いものの解釈しにくいモデルより、単純なモデルを選ぶのはどのような場合ですか？
結論が出なかった実験を、プロダクト責任者にどのように説明しますか？
主要指標が改善した一方でガードレール指標が悪化した実験を、どのように調査しますか？
解釈可能なベースラインと、より複雑なモデルのどちらを選ぶか、どのように判断しますか？
明確な提案を求める非技術系の意思決定者に、小さく不確実な効果をどのように説明しますか？
新たな根拠を受けて分析上の提案を変更した経験には、どのような例がありますか？
無作為化実験の結果を信頼する前に、どのような確認を行いますか？
単純で解釈しやすいモデルと、より複雑なモデルのどちらを選ぶか、どのように判断しますか？
ある実験によってコンバージョン率は向上したものの、キャンセルも増加しました。このトレードオフをどのように調査し、説明しますか？
どのようなバイアスが実験結果の妥当性を損なう可能性があり、それらをどのように検出しますか？
視聴行動を予測する際に、単純なモデルとより複雑なモデルをどのように選び分けますか？
指標が全体では改善したものの、重要なセグメントでは低下しています。このトレードオフをどのように調査し、説明しますか？
施策によってクリック数は増えたものの、その後の継続率が低下しました。この結果をどう解釈しますか？
解釈可能なモデルと、より正確ではあるものの不透明なモデルのどちらを選ぶか、どのように判断しますか？
統計の知識がないプロダクト担当者に、信頼区間をどのように説明しますか？
重大な影響を伴う予測において、解釈可能なモデルとより複雑なモデルのどちらを選びますか？
モデルはオフラインでは良好な性能を示すものの、デプロイ後には性能が低下しています。どのように調査しますか？
統計を扱わないビジネス関係者に信頼区間を説明してください。
実験結果を信頼する前に、どのような確認を行いますか？
主要な製品指標の急激な変化をどのように調査しますか？
単純なベースラインと、より複雑な予測モデルのどちらを選ぶか、どのように判断しますか？
明確な結論が得られなかった分析を、技術者ではないステークホルダーにどのように説明しますか？
実験結果を信頼する前に、どのような確認を行いますか？
単純なモデルと、より複雑なモデルのどちらを選ぶか、どのように判断しますか？
検証時には良好でも、デプロイ後に性能が低下するモデルを、どのように診断しますか？
不確実な結果を、技術知識のないステークホルダーにどのように説明しますか？
実験結果を解釈する前に、どの前提条件を確認しますか？
事業上の意思決定に対して、単純なモデルとより複雑なモデルのどちらを選びますか？
重要な指標が予想外に変化しました。原因をどのように調査しますか？
統計的に不確実な結果を、技術知識のない関係者にどのように説明しますか？
より単純なモデルと、精度は高いものの解釈しにくいモデルのどちらを選びますか？
結論が出なかった実験について、技術的な知識を持たない関係者にどう説明しますか？
新たな証拠によって自分の提案が変わったとき、どのように適応したか説明してください。
リリース後に主要指標が上昇した一方で、ガードレール指標が低下しました。どのように調査し、次のステップを提案しますか？
解釈可能なモデルと、精度は高いものの透明性が低いモデルのどちらを選ぶか、どのように判断しますか？
信頼区間と意思決定におけるその価値を、プロダクトマネージャーにどのように説明しますか？
解釈しやすいベースラインと、より複雑なモデルのどちらを選ぶか、どのように判断しますか？
主要な指標が予想外に変化しました。その原因をどのように診断しますか？
あなたの提案に反対する非技術系の意思決定者に、分析結果をどのように説明しますか？
自由回答形式のデータ問題について、検討した代替案と最終的なアプローチを選んだ理由を説明してください。
観察データセットの選択バイアスを、どのように検出して対処しますか？
まれな事象を予測する問題にはどのモデルを選び、どのように検証しますか？
モデルの偽陽性に関するトレードオフを、技術知識のない経営幹部にどう説明しますか？
困難だったプロジェクトについて、自分が行った選択と学んだことを説明してください。
解釈しやすいモデルと、より精度の高い複雑なモデルから、どのように選択しますか？
Boston Consulting Group ガイドより · 模擬面接でこの質問を練習する · 履歴書から回答を作成する
モデルの性能を信頼する前に、どのような確認を行いますか？
Boston Consulting Group ガイドより · 模擬面接でこの質問を練習する · 履歴書から回答を作成する
統計の専門知識がない関係者に、統計的な結果を説明してください。
Boston Consulting Group ガイドより · 模擬面接でこの質問を練習する · 履歴書から回答を作成する
分析手法について意見が対立した経験と、それにどう対処したかを説明してください。
Boston Consulting Group ガイドより · 模擬面接でこの質問を練習する · 履歴書から回答を作成する
本番環境で予測モデルを信頼する前に、どのような確認を行いますか？
より単純なモデルと、精度は高いものの解釈しにくいモデルのどちらを選ぶか、どのように判断しますか？
クライアントが顧客離れを減らしたいと考えています。問題をどのように構造化し、要求するデータをどのように決めますか？
信頼区間とそのビジネス上の意味を、技術に詳しくないステークホルダーへどのように説明しますか？
予測モデルを学習する前に、データリーケージをどのように検出しますか？
不均衡な分類問題にはどの指標を選びますか？また、その理由は何ですか？
統計の知識がないステークホルダーに、信頼区間をどのように説明しますか？
時間依存データでモデルを学習する前に、どのような確認を行いますか？
精度の高いモデルと解釈しやすいモデルのどちらを選ぶか、どのように判断しますか？
モデルの限界を非技術系のリスク管理担当者に、どのように説明しますか？
ある施策がエンゲージメントを高める一方でリテンションを下げています。この変更をローンチするよう提言すべきかどうかをどのように判断しますか？
ある効果がプロダクトの変更によるものなのか、季節性や測定対象ユーザーの変化によるものなのかをどのように見分けますか？
あるモデルが検証時にはうまく機能するものの、デプロイ後に性能が悪化しています。置き換えるかどうかを判断する前に何を調査しますか？
ローンチの意思決定をしなければならない非技術系のステークホルダーに、不確実な結果をどのように説明しますか？
なぜこのデータサイエンティストの職に興味を持ちましたか。そして、自分がやりたい仕事を最もよく示すプロジェクトはどれですか？
設備のアラート機能に関する実験で、ランダム化の単位と成功指標をどのように選びますか？
より正確だが説明しにくいモデルよりも、シンプルなベースラインを選ぶのはどのような場合ですか？
統計的に有意ではあるものの、業務上の意思決定を変えるには小さすぎる結果を、どのように説明しますか？
加盟店の規模が異なり、顧客が決済を複数回試行できる場合、チェックアウトの変更をどのようにテストしますか。
加盟店を規模別にグループ化すると消えてしまう、決済成功率の見かけ上の上昇は、何が原因として考えられますか。
ラベルが遅れて届き、正当な決済を誤って拒否することにビジネス上のコストが伴う場合、不正検知モデルをどのように評価しますか。
ローンチの意思決定を迫られているステークホルダーに、結論の出ない実験結果をどのように説明しますか。
設備の測定値と生産記録の結合が結果を過大に見せてしまう原因として何が考えられ、それをどのように検出しますか？
まれにしか発生しない製造上の不良を検知するモデルを、どのように評価しますか？
検証時には良好だったモデルが、後の生産バッチではうまく機能しなかった場合、何を調査しますか？
意思決定が必要なステークホルダーに対して、不確実な結果をどのように説明しますか？
予約系マーケットプレイスにおける検索ランキングの変更について、成功をどのように定義しますか？
ユーザー、予約、キャンセルの各テーブルが与えられたとき、二重計上をせずにアクティブユーザーごとの完了予約数をどう計算しますか？
ある実験で主要指標は改善したもののキャンセルが増加した場合、何を調査しますか？
情報リークを避けながら、予約キャンセルを予測するモデルをどのように検証しますか？
ローンチするかどうかを判断しようとしているプロダクトマネージャーに対して、結論が出ていない実験結果をどう説明しますか？
p値は実際には何を意味し、何を意味しないのでしょうか？
信頼区間をプロダクトマネージャーに二文で説明してください。
t検定ではなくz検定を使うのはどのような場合ですか？
中心極限定理とは何ですか、それがあなたの業務にとってなぜ重要なのですか？
ある指標が変化し、結果は有意でした。それでも間違っている可能性があるのはなぜですか？
あなたのチームが実際に下す意思決定を例に、第一種の過誤と第二種の過誤を説明してください。
選択バイアスとは何ですか、データの中でどのように検出しますか？
中央値が平均値より優れた要約になるのはどのような場合ですか？
サンプルサイズはどのように決めますか、到達できない場合はどうしますか？
テストは三日で有意になりました。それをリリースしますか？
新奇性効果とは何ですか、それを本当のリフトからどう切り分けますか？
複数の指標が異なる方向に動いた場合、どう対処しますか？
テストの途中でランダム化が壊れていたらどうしますか？
市場全体での価格変更のようにランダム化できないものを、どのように測定しますか？
顧客の解約を予測するモデルをどのように構築しますか？まず「解約」をどう定義するかから始めてください。
あなたのモデルは不均衡なデータセットで95%の精度を達成しました。これは良いことですか？
あなたが実際にリリースしたモデルを例に、バイアスとバリアンスのトレードオフを説明してください。
この問題でシンプルなモデルと複雑なモデルのどちらを選ぶか、どう決めますか？
デプロイ後にモデルが機能しなくなったことをどうやって知りますか？
正則化を使ったことがない人に、正則化とは何かを説明してください。
取引テーブルの重複行をどのように見つけて処理しますか？
新機能が成功しているかどうかをどのように測定しますか？
経営陣向けダッシュボードにどの指標を一つだけ載せますか、そして何を外しますか？
良い定着率カーブと悪い定着率カーブをどう見分けますか？