Pertanyaan Wawancara Data Scientist, per Tahap

Anda mungkin sudah mempersiapkan SQL dan sedikit machine learning, namun belum yakin apa lagi yang akan muncul. Bagian ini memetakan lima tahap yang biasa dipakai ulang dalam wawancara ini agar persiapan Anda sesuai dengan cara penilaiannya. Setiap tahap menguji hal yang berbeda, dan hanya mempersiapkan dua tahap teknis adalah cara paling umum kandidat kuat kehilangan tawaran kerja.

• SQL dan coding. Penulisan query ditambah manipulasi data Python, biasanya secara langsung.
• Statistik dan probabilitas. Interpretasi dan penalaran, bukan pembuktian.
• Desain eksperimen. A/B test: apa yang diukur, berapa lama dijalankan, kapan hasil bisa dipercaya.
• Pemodelan atau studi kasus. Masalah terbuka yang Anda rumuskan sendiri, lalu diselesaikan secara garis besar.
• Perilaku dan pemangku kepentingan. Bagaimana Anda menangani ketidakpastian, perbedaan pendapat, dan hasil yang tidak diinginkan siapa pun.

Judul posisi bervariasi. Perusahaan yang menyebut posisi ini data scientist bisa saja menjalankan wawancara ala analis, begitu pula sebaliknya. Jika Anda ingin versi analis dari halaman ini, lihat pertanyaan wawancara berdasarkan peran.

Statistik dan probabilitas

• Apa sebenarnya arti p value, dan apa yang bukan artinya?
• Jelaskan confidence interval kepada seorang product manager dalam dua kalimat.
• Kapan Anda akan menggunakan t test alih-alih z test?
• Apa itu central limit theorem dan mengapa penting untuk pekerjaan Anda?
• Sebuah metrik bergerak dan hasilnya signifikan. Mengapa bisa saja tetap salah?
• Jelaskan error Tipe I dan Tipe II menggunakan sebuah keputusan yang benar-benar dibuat tim Anda.
• Apa itu selection bias dan bagaimana Anda mendeteksinya dalam data Anda?
• Kapan median menjadi ringkasan yang lebih baik daripada mean?

Desain eksperimen dan A/B testing

• Bagaimana Anda merancang eksperimen untuk menguji alur onboarding baru?
• Bagaimana Anda memilih ukuran sampel, dan apa yang terjadi jika tidak bisa mencapainya?
• Uji Anda signifikan setelah tiga hari. Apakah Anda meluncurkannya?
• Apa itu novelty effect, dan bagaimana Anda memisahkannya dari kenaikan yang nyata?
• Bagaimana Anda menangani beberapa metrik yang bergerak ke arah berbeda?
• Apa yang akan Anda lakukan jika randomisasi rusak di tengah pengujian?
• Bagaimana Anda mengukur sesuatu yang tidak bisa dirandomisasi, seperti perubahan harga di seluruh pasar?

Pola yang perlu diperhatikan: hampir tidak ada satu pun dari pertanyaan ini yang punya satu jawaban benar. Penilaiannya ada pada apakah Anda menyebutkan asumsi, menyatakan trade-off, dan mengatakan apa yang akan Anda periksa.

Pemodelan

• Bagaimana Anda akan membangun model untuk memprediksi churn pelanggan? Mulai dengan bagaimana Anda mendefinisikan churn.
• Model Anda punya akurasi 95 persen pada dataset yang tidak seimbang. Apakah itu bagus?
• Jelaskan bias variance tradeoff menggunakan model yang pernah Anda rilis.
• Bagaimana Anda memutuskan antara model sederhana dan model kompleks untuk masalah ini?
• Bagaimana Anda tahu sebuah model berhenti bekerja setelah deployment?
• Jelaskan regularisasi kepada seseorang yang belum pernah menggunakannya.

SQL dan Python

• Tulis query yang mengembalikan tanggal pembelian pertama dan terbaru tiap pengguna.
• Hitung rata-rata bergulir tujuh hari dari daily active users.
• Temukan conversion rate berdasarkan bulan kohort.
• Di pandas, ubah bentuk tabel panjang menjadi lebar dan jelaskan kapan Anda tidak akan melakukannya.
• Bagaimana Anda menemukan dan menangani baris duplikat dalam tabel transaksi?

Product sense dan metrik

• Bagaimana Anda mengukur apakah sebuah fitur baru berhasil?
• Daily active users naik tapi revenue datar. Selidiki.
• Metrik tunggal apa yang akan Anda tampilkan di dashboard leadership, dan apa yang akan Anda tinggalkan?
• Bagaimana Anda membedakan retention curve yang baik dari yang buruk?

Membaca daftar pertanyaan membangun pengenalan. Wawancara menguji performa di bawah tekanan waktu dengan seseorang yang menyela Anda, dan itu adalah keterampilan yang berbeda. Kesenjangan ini paling terlihat pada tahap eksperimen dan studi kasus, di mana jawabannya adalah argumen terstruktur, bukan sekadar fakta.

• Jawab dengan suara keras, pakai timer. Enam menit per pertanyaan studi kasus, tanpa catatan, tanpa mengulang dari awal.
• Sebutkan asumsi Anda dulu. Menyebutkan apa yang Anda asumsikan dinilai, dan juga memberi Anda waktu berpikir.
• Latih diri untuk disela. Pewawancara sungguhan menyela di menit kedua. Berlatih monolog tanpa gangguan tidak mempersiapkan Anda untuk itu.
• Tulis SQL dengan tangan. Tahap langsung sering memakai editor polos tanpa autocomplete dan tanpa cara menjalankan query.
• Jelaskan setiap hasil dua kali. Sekali secara teknis, sekali kepada pemangku kepentingan yang tidak peduli metode Anda.

Seorang data scientist dengan empat tahun pengalaman mempersiapkan diri untuk wawancara marketplace dengan meninjau seratus pertanyaan dalam sebuah dokumen, lalu membeku pada "uji Anda signifikan setelah tiga hari, apakah Anda meluncurkannya" karena dia belum pernah mengucapkan jawabannya dengan suara keras. Kontennya ada di kepalanya; penyampaiannya tidak. Jika Anda ingin melatih ini dengan follow-up, mode mock interview menjalankan tahap tersebut dan menantang balik jawaban Anda.