Pytania na Rozmowie Data Scientist, wg Etapów

Prawdopodobnie przygotowałeś SQL i trochę machine learningu, ale nie wiesz, co jeszcze cię czeka. Ta sekcja mapuje pięć etapów, które te rozmowy powtarzają, aby twoja nauka odpowiadała sposobowi oceniania. Każdy etap testuje coś innego, a przygotowanie tylko dwóch etapów technicznych to najczęstszy sposób, w jaki mocni kandydaci tracą oferty.

• SQL i kodowanie. Pisanie zapytań plus manipulacja danymi w Pythonie, zwykle na żywo.
• Statystyka i prawdopodobieństwo. Interpretacja i rozumowanie, nie dowody.
• Projektowanie eksperymentów. Testy A/B: co mierzyć, jak długo je prowadzić, kiedy ufać wynikowi.
• Modelowanie lub case. Otwarty problem, który sam ujmujesz, a następnie rozwiązujesz na wysokim poziomie ogólności.
• Behawioralny i interesariusze. Jak radziłeś sobie z niejednoznacznością, niezgodą i wynikami, których nikt nie chciał.

Nazwy stanowisk się różnią. Firma, która nazywa stanowisko data scientist, może prowadzić rozmowę w stylu analityka, i odwrotnie. Jeśli szukasz wersji analitycznej tej strony, znajdziesz ją w centrum pytań rekrutacyjnych wg roli.

Statystyka i prawdopodobieństwo

• Co tak naprawdę oznacza wartość p, a czego nie oznacza?
• Wyjaśnij przedział ufności menedżerowi produktu w dwóch zdaniach.
• Kiedy użyłbyś testu t zamiast testu z?
• Czym jest centralne twierdzenie graniczne i dlaczego ma znaczenie dla twojej pracy?
• Metryka się poruszyła, a wynik jest istotny statystycznie. Dlaczego mimo to może być błędny?
• Wyjaśnij błąd typu I i typu II na przykładzie decyzji, którą naprawdę podejmuje twój zespół.
• Czym jest bias selekcji i jak wykryłbyś go w swoich danych?
• Kiedy mediana jest lepszym podsumowaniem niż średnia?

Projektowanie eksperymentów i testy A/B

• Jak zaprojektowałbyś eksperyment, aby przetestować nowy proces onboardingu?
• Jak wybierasz wielkość próby i co się dzieje, jeśli nie da się jej osiągnąć?
• Twój test jest istotny statystycznie po trzech dniach. Wdrażasz go?
• Czym jest efekt nowości i jak odróżniłbyś go od prawdziwego wzrostu?
• Jak radzisz sobie z wieloma metrykami poruszającymi się w różnych kierunkach?
• Co byś zrobił, gdyby randomizacja zepsuła się w połowie testu?
• Jak zmierzyłbyś coś, czego nie możesz zrandomizować, na przykład zmianę ceny w całym rynku?

Wzorzec, który warto zauważyć: prawie żadne z tych pytań nie ma jednej poprawnej odpowiedzi. Są oceniane na podstawie tego, czy nazwiesz założenie, wskażesz kompromis i powiesz, co byś sprawdził.

Modelowanie

• Jak zbudowałbyś model do przewidywania churnu klientów? Zacznij od zdefiniowania churnu.
• Twój model ma 95 procent dokładności na niezbalansowanym zbiorze danych. Czy to dobrze?
• Wyjaśnij kompromis bias-wariancja na przykładzie modelu, który wdrożyłeś.
• Jak decydujesz między prostym a złożonym modelem dla tego problemu?
• Skąd wiesz, że model przestał działać po wdrożeniu?
• Wyjaśnij regularyzację komuś, kto nigdy jej nie używał.

SQL i Python

• Napisz zapytanie zwracające pierwszą i najnowszą datę zakupu każdego użytkownika.
• Oblicz siedmiodniową średnią kroczącą dziennych aktywnych użytkowników.
• Znajdź współczynnik konwersji według miesiąca kohorty.
• W pandas przekształć długą tabelę w szeroką i wyjaśnij, kiedy byś tego nie zrobił.
• Jak znalazłbyś i obsłużył zduplikowane wiersze w tabeli transakcji?

Product sense i metryki

• Jak zmierzyłbyś, czy nowa funkcja odniosła sukces?
• Dzienni aktywni użytkownicy rosną, ale przychód jest płaski. Zbadaj to.
• Którą jedną metrykę umieściłbyś na dashboardzie dla kierownictwa, a co byś pominął?
• Jak odróżniłbyś dobrą krzywą retencji od złej?

Czytanie listy pytań buduje rozpoznawanie. Rozmowy kwalifikacyjne testują wykonanie pod presją czasu, gdy ktoś ci przerywa, a to inne umiejętności. Ta luka ujawnia się najbardziej w etapach eksperymentu i case'u, gdzie odpowiedzią jest ustrukturyzowany argument, a nie fakt.

• Odpowiadaj na głos, z zegarem. Sześć minut na pytanie case'owe, bez notatek, bez zaczynania od nowa.
• Najpierw nazwij swoje założenia. Nazwanie tego, co zakładasz, jest oceniane, a dodatkowo daje ci czas na myślenie.
• Ćwicz bycie przerywanym. Prawdziwi rekruterzy wtrącają się w drugiej minucie. Ćwiczenie nieprzerywanego monologu cię do tego nie przygotuje.
• Pisz SQL ręcznie. Etapy na żywo często wykorzystują zwykły edytor bez autouzupełniania i bez możliwości uruchomienia zapytania.
• Wyjaśnij każdy wynik dwukrotnie. Raz technicznie, raz interesariuszowi, którego nie obchodzi twoja metoda.

Data scientistka z czteroletnim doświadczeniem przygotowywała się do rozmowy w marketplace, przeglądając sto pytań w dokumencie, po czym zamarła na pytaniu "twój test jest istotny statystycznie po trzech dniach, wdrażasz go", bo nigdy nie powiedziała na nie odpowiedzi na głos. Treść była w jej głowie; przekaz nie. Jeśli chcesz przećwiczyć to z pytaniami dodatkowymi, tryb mock interview prowadzi ten etap i podważa twoje odpowiedzi.