Jakich pytań z uczenia maszynowego mogę się spodziewać na rozmowie?

Proces rekrutacyjny z uczenia maszynowego zwykle obejmuje więcej etapów niż ogólny proces rekrutacyjny w branży oprogramowania, a każdy etap sprawdza inną warstwę wiedzy. Rozpoznanie tej warstwy podpowiada, jakiej odpowiedzi oczekuje osoba prowadząca rozmowę.

• Podstawy. Pytania teoretyczne o uczenie, generalizację i optymalizację. Osoba prowadząca rozmowę chce usłyszeć, że rozumiesz, dlaczego dana technika działa, a nie wyuczoną definicję.
• Ocena i eksperymentowanie. Wybór metryk, strategia walidacji, wyniki offline i online oraz sposób zaprojektowania eksperymentu, który wykaże, że model przyniósł korzyści.
• Modelowanie stosowane. Inżynieria cech, wyciek danych, niezrównoważenie klas i nieuporządkowane aspekty rzeczywistego zbioru danych. Pytania te często dotyczą jednego z Twoich projektów.
• Projektowanie systemów ML. Skąd model pobiera dane, jak jest trenowany i ponownie trenowany, jak udostępnia się predykcje oraz jak wykryć pogorszenie jego działania w środowisku produkcyjnym.
• Programowanie. Zadanie w pandas lub czystym Python, czasem polegające na zaimplementowaniu od podstaw niewielkiego algorytmu, takiego jak k-means lub regresja logistyczna.

Pojawiają się również pytania behawioralne, które podlegają tym samym zasadom co w każdej innej roli; omówiono je osobno w sekcji banków pytań.

Sformułowania różnią się w zależności od firmy, ale zasadnicze pytania się powtarzają. Ćwicz je, aż potrafisz wyjaśniać odpowiedzi prostym językiem.

• Obciążenie i wariancja: Jak rozpoznać, czy model jest nadmiernie, czy niedostatecznie dopasowany, i co należy zmienić w pierwszej kolejności? Jak regularyzacja wpływa na model i kiedy lepiej wybrać L1 zamiast L2?
• Walidacja: Dlaczego losowy podział na zbiór treningowy i testowy może dać mylący wynik w przypadku danych szeregów czasowych? Kiedy potrzebna jest warstwowa lub grupowa walidacja krzyżowa?
• Metryki: Kiedy trafność jest niewłaściwą metryką? Jak wyjaśnić menedżerowi produktu precyzję, czułość i krzywą ROC? Którą metrykę należy optymalizować przy wykrywaniu oszustw i co warto monitorować równolegle?
• Problemy z danymi: Czym jest wyciek zmiennej docelowej i jak udało Ci się go wykryć? Jak radzić sobie z dużym niezrównoważeniem klas bez tworzenia sztucznych danych? Jak obsługiwać brakujące wartości, aby model przypadkowo nie nauczył się samego faktu ich braku?
• Modele: Kiedy drzewo ze wzmocnieniem gradientowym przewyższa sieć neuronową na danych tabelarycznych? Co właściwie oblicza mechanizm uwagi w transformatorze? Dlaczego osadzenia pomagają przy cechach kategorycznych o dużej liczbie możliwych wartości?
• Optymalizacja: Co się dzieje, gdy współczynnik uczenia jest zbyt wysoki lub zbyt niski? Dlaczego normalizacja wsadowa ułatwia trenowanie?
• Projektowanie systemów: Zaprojektuj system rekomendacji dla platformy handlowej. Jak wykrywać dryf danych po wdrożeniu? Jak ponownie trenować model bez udostępniania nieaktualnych predykcji?
• Eksperymentowanie: Metryka offline się poprawiła, ale test A/B nie wykazał zmiany; co należy sprawdzić?

Jeżeli potrafisz odpowiedzieć na każde z tych pytań, podając jeden konkretny przykład z własnej pracy, masz opanowaną większość zagadnień, które mogą pojawić się podczas etapu sprawdzającego podstawy.

Można dobrze znać materiał, a mimo to zacinać się podczas wyjaśniania go w trakcie wideorozmowy. Ta sekcja przedstawia sposób konstruowania ustnych odpowiedzi, którego skrócona wersja brzmi: definicja, decyzja, przykład, ograniczenie.

• Definicja w jednym zdaniu i prostymi słowami, przed przedstawieniem jakiegokolwiek wzoru.
• Decyzja: kiedy zastosujesz daną metodę i co wybierzesz zamiast niej, ponieważ osoby prowadzące rozmowy sprawdzają osąd, a nie znajomość słownictwa.
• Przykład z rzeczywistego projektu: zbiór danych, co poszło nie tak, co zostało zmienione i jaki był rezultat.
• Ograniczenie: kiedy technika zawodzi, co pokazuje, że masz na tyle duże doświadczenie w jej stosowaniu, by znać jej słabe strony.

Badaczka danych ubiegająca się o stanowisko ML w firmie prowadzącej platformę handlową zostaje zapytana, dlaczego jej model rankingowy wyglądał znakomicie offline, ale nie przyniósł żadnego efektu w teście A/B. Odpowiada w czterech krokach: wyjaśnia, czym są rozbieżności między wynikami offline i online, jak obciążenie wynikające z pozycji w zarejestrowanych danych wywołało ten problem, jaką ocenę kontrfaktyczną dodała oraz zastrzega, że działa ona tylko wtedy, gdy rejestrowanie jest wystarczająco losowe. Taka odpowiedź jest warta więcej niż bezbłędne wyprowadzenie wzoru. Narzędzie próbnej rozmowy rekrutacyjnej służy właśnie do ćwiczenia odpowiedzi ustnych; zadaje pytania uzupełniające tak jak prawdziwa osoba prowadząca rozmowę.

Podczas etapów opartych na rozmowie — tak, ale w określonych granicach. Natywna aplikacja komputerowa SubcueAI dla macOS i Windows przechwytuje dźwięk systemowy połączenia oraz dźwięk z mikrofonu, słyszy pytanie osoby prowadzącej rozmowę w Zoom, Google Meet lub Microsoft Teams i wyświetla krótką sugerowaną strukturę odpowiedzi w pływającej nakładce widocznej wyłącznie na Twoim ekranie. W przypadku połączeń prowadzonych na karcie przeglądarki Chrome lub Edge panel boczny rozszerzenia przechwytuje tylko dźwięk z karty spotkania, więc słyszy osobę prowadzącą rozmowę, ale nigdy nie transkrybuje Twojej wypowiedzi. Żadne z tych rozwiązań nie dołącza do rozmowy jako bot ani nie wprowadza niczego na stronie spotkania. Jeżeli prześlesz swoje CV, sugestie mogą odwoływać się do Twoich projektów, a to właśnie za nie wysoko ocenia się odpowiedzi dotyczące ML.

Ograniczenia są takie same jak podczas każdej technicznej rozmowy rekrutacyjnej. Nadzorowany test programistyczny, zadanie domowe lub sesja na urządzeniu zarządzanym przez firmę wykraczają poza przeznaczenie SubcueAI, a wyprowadzenie wzoru na wirtualnej tablicy udostępnianej na ekranie musi być Twoje, ponieważ udostępnienie całego ekranu pokazałoby nakładkę wszystkim uczestnikom. Aaron Cao, założyciel SubcueAI, stworzył nakładkę, aby podpowiadała strukturę i słownictwo, a nie dyktowała odpowiedzi, ponieważ osoba prowadząca rozmowę z ML dopytuje o każde stwierdzenie, a zapożyczona odpowiedź rozpada się już przy drugim pytaniu. Konfigurację obu rozwiązań opisano na stronie samouczka, a praktyczne różnice między aplikacją komputerową i rozszerzeniem przedstawiono na stronie porównawczej.