Câu hỏi phỏng vấn Data Scientist, theo vòng

Bạn có lẽ đã chuẩn bị SQL và một ít machine learning, và không chắc còn gì sắp tới. Phần này liệt kê năm vòng mà các quy trình này thường dùng đi dùng lại, để việc ôn tập của bạn khớp với cách chấm điểm. Mỗi vòng kiểm tra một thứ khác nhau, và chỉ chuẩn bị hai vòng kỹ thuật là cách phổ biến nhất khiến ứng viên giỏi mất offer.

• SQL và coding. Viết query cộng với xử lý dữ liệu bằng Python, thường là trực tiếp.
• Thống kê và xác suất. Diễn giải và lập luận, không phải chứng minh.
• Thiết kế thử nghiệm. A/B test: đo gì, chạy bao lâu, khi nào tin vào kết quả.
• Mô hình hóa hoặc case. Một vấn đề mở mà bạn định hình rồi giải quyết ở mức tổng quan.
• Hành vi và stakeholder. Cách bạn xử lý sự mơ hồ, bất đồng và kết quả không ai muốn.

Tên gọi khác nhau tùy công ty. Một công ty gọi vị trí này là data scientist có thể thực chất chạy quy trình analyst, và ngược lại. Nếu bạn muốn phiên bản analyst của trang này, nó nằm trong hub câu hỏi phỏng vấn theo vai trò.

Thống kê và xác suất

• Giá trị p thực sự có nghĩa là gì, và nó không có nghĩa là gì?
• Giải thích khoảng tin cậy cho một product manager trong hai câu.
• Khi nào bạn dùng t test thay vì z test?
• Định lý giới hạn trung tâm là gì, và tại sao nó quan trọng với công việc của bạn?
• Một chỉ số thay đổi và kết quả có ý nghĩa thống kê. Vì sao nó vẫn có thể sai?
• Giải thích lỗi Type I và Type II bằng một quyết định thực tế mà team bạn đưa ra.
• Selection bias là gì, và bạn sẽ phát hiện nó trong dữ liệu như thế nào?
• Khi nào median là một cách tóm tắt tốt hơn mean?

Thiết kế thử nghiệm và A/B testing

• Bạn sẽ thiết kế thử nghiệm thế nào để kiểm tra một luồng onboarding mới?
• Bạn chọn cỡ mẫu ra sao, và điều gì xảy ra nếu không đạt được nó?
• Thử nghiệm của bạn có ý nghĩa sau ba ngày. Bạn có ship nó không?
• Hiệu ứng mới lạ là gì, và bạn tách nó khỏi mức tăng thực sự như thế nào?
• Bạn xử lý thế nào khi nhiều chỉ số di chuyển theo hướng khác nhau?
• Bạn sẽ làm gì nếu việc ngẫu nhiên hóa bị hỏng giữa chừng thử nghiệm?
• Bạn sẽ đo lường thế nào một thứ không thể ngẫu nhiên hóa, như thay đổi giá trên toàn bộ thị trường?

Điểm cần chú ý: gần như không câu nào trong số này có một đáp án đúng duy nhất. Chúng được chấm dựa trên việc bạn có nêu giả định, trình bày sự đánh đổi, và nói rõ bạn sẽ kiểm tra gì hay không.

Mô hình hóa

• Bạn sẽ xây dựng mô hình nào để dự đoán customer churn? Bắt đầu bằng cách bạn định nghĩa churn.
• Mô hình của bạn đạt 95 phần trăm accuracy trên một dataset mất cân bằng. Vậy có tốt không?
• Giải thích đánh đổi bias-variance bằng một mô hình bạn đã đưa vào sản xuất.
• Bạn sẽ quyết định thế nào giữa một mô hình đơn giản và một mô hình phức tạp cho vấn đề này?
• Làm sao bạn biết một mô hình đã ngừng hoạt động sau khi triển khai?
• Giải thích regularisation cho người chưa từng dùng nó.

SQL và Python

• Viết một query trả về ngày mua đầu tiên và gần nhất của mỗi người dùng.
• Tính trung bình trượt bảy ngày của số người dùng hoạt động hằng ngày.
• Tìm tỷ lệ chuyển đổi theo tháng cohort.
• Trong pandas, chuyển một bảng dài thành bảng rộng và giải thích khi nào bạn sẽ không làm vậy.
• Bạn sẽ tìm và xử lý các hàng trùng lặp trong bảng giao dịch như thế nào?

Product sense và chỉ số

• Bạn sẽ đo lường thế nào việc một tính năng mới có thành công hay không?
• Người dùng hoạt động hằng ngày tăng nhưng doanh thu không đổi. Hãy điều tra.
• Bạn sẽ đặt chỉ số duy nhất nào lên dashboard cho ban lãnh đạo, và bỏ chỉ số nào?
• Bạn phân biệt một đường cong retention tốt với một đường xấu như thế nào?

Đọc danh sách câu hỏi tạo ra sự quen thuộc. Phỏng vấn kiểm tra khả năng thể hiện dưới áp lực thời gian trong khi có người ngắt lời bạn, và đó là những kỹ năng khác nhau. Khoảng cách này thể hiện rõ nhất ở vòng thử nghiệm và case, nơi câu trả lời là một lập luận có cấu trúc chứ không phải một sự thật đơn thuần.

• Trả lời thành tiếng, có bấm giờ. Sáu phút cho mỗi câu hỏi case, không ghi chú, không bắt đầu lại.
• Nêu giả định trước. Việc nêu rõ điều bạn đang giả định được chấm điểm, và cũng cho bạn thêm thời gian suy nghĩ.
• Luyện tập bị ngắt lời. Người phỏng vấn thật sự thường ngắt lời ở phút thứ hai. Luyện một bài độc thoại không bị ngắt quãng không giúp bạn chuẩn bị cho điều đó.
• Viết SQL bằng tay. Các vòng trực tiếp thường dùng một trình soạn thảo đơn giản, không có autocomplete và không có cách chạy query.
• Giải thích mỗi kết quả hai lần. Một lần theo hướng kỹ thuật, một lần cho một stakeholder không quan tâm đến phương pháp của bạn.

Một data scientist với bốn năm kinh nghiệm đã chuẩn bị cho vòng phỏng vấn marketplace bằng cách xem lại một trăm câu hỏi trong một tài liệu, rồi bị khựng lại ở câu "thử nghiệm của bạn có ý nghĩa sau ba ngày, bạn có ship nó không" vì cô chưa bao giờ nói to câu trả lời cho câu đó. Nội dung nằm trong đầu cô; phần trình bày thì không. Nếu bạn muốn luyện những câu này kèm câu hỏi tiếp nối, chế độ phỏng vấn thử sẽ chạy vòng này và phản biện câu trả lời của bạn.