Rozmowa kwalifikacyjna AI Engineer System Design: praktyczny przewodnik

Za pierwszym razem to polecenie brzmi niemożliwie szeroko: zaprojektuj system rekomendacji albo zaprojektuj chatbota działającego na wewnętrznych dokumentach firmy. Ta sekcja wyjaśnia, co ocenia rozmówca, dzięki czemu ta szerokość przestaje być problemem. Krótko mówiąc, oceniają, czy potrafisz zamienić niejasne żądanie produktowe w system z konkretnymi liczbami.

Cztery rzeczy decydują o większości oceny:

• Zakres (scoping). Czy pytasz, kim są użytkownicy, ile zapytań na sekundę, i jaki próg jakości liczy się jako sukces, zanim jeszcze cokolwiek narysujesz?
• Ocena danych. Skąd pochodzą dane treningowe, jak są etykietowane i co przecieka między trenowaniem a serwowaniem?
• Ewaluacja. Metryki offline plus zabezpieczenie online. Odpowiedź bez planu ewaluacji brzmi jak odpowiedź juniora, bez względu na to, jak dobra jest architektura.
• Wyczucie produkcyjne. Budżet opóźnień, koszt na zapytanie, częstotliwość ponownego trenowania i to, co się dzieje, gdy model się myli.

Pięć zadań pokrywa większość rund system design dla inżyniera AI:

• Retrieval augmented generation na prywatnych dokumentach. Strategia dzielenia na fragmenty (chunking), wybór modelu embeddingów, indeks wektorowy, reranking oraz to, co robisz, gdy wyszukiwanie nie zwraca niczego trafnego.
• Serwowanie modeli na dużą skalę. Batching, kwantyzacja, utrzymywanie GPU w ciągłym obciążeniu, cache'owanie oraz cel opóźnienia p99, do którego zobowiązałeś się na etapie zakresu.
• Rekomendacje lub ranking. Generowanie kandydatów, a potem ranking, feature store, rozbieżność między trenowaniem a serwowaniem, cold start.
• Pipeline cech. Streaming kontra batch, poprawność point-in-time, backfille.
• Workflow agentowy. Wywoływanie narzędzi, limity kroków, pułapy kosztów oraz sposób, w jaki interweniuje człowiek. Pełniejsza baza pytań znajduje się w sekcji rodzaje rozmów kwalifikacyjnych.

Każde z tych zadań ma jeden trudny element, na który czeka rozmówca. Dla retrieval jest to ewaluacja, ponieważ każdy potrafi wymienić bazę wektorową, a niewielu potrafi powiedzieć, jak zmierzyliby, czy wyszukiwanie się poprawiło. Dla serwowania jest to kompromis między kosztem, opóźnieniem a rozmiarem modelu.

Pierwsze pięć minut poświęć na wymagania i liczby, i zapisz je tam, gdzie rozmówca może je widzieć: liczba zapytań na sekundę, akceptowalne opóźnienie, próg jakości, budżet. Wszystko, co następuje potem, odwołuje się do tych czterech liczb, co sprawia, że odpowiedź brzmi jak inżynieria, a nie przegląd narzędzi.

Następnie idź wszerz: diagram ze źródłami danych, trenowaniem offline, magazynem artefaktów, ścieżką serwowania i pętlą sprzężenia zwrotnego. Dopiero gdy cały obraz istnieje, przechodzisz do szczegółów — i pozwól rozmówcy wybrać komponent. Zakończ, wymieniając dwa tryby awarii oraz to, co monitorowałbyś, żeby wychwycić każdy z nich.

Inżynierka ML rekrutująca się na stanowisko senior w firmie zajmującej się wyszukiwaniem została poproszona o zaprojektowanie wyszukiwania semantycznego po zgłoszeniach wsparcia. Poświęciła cztery minuty na określenie zakresu, zobowiązała się do 200 milisekund przy p95 oraz stałego miesięcznego budżetu na inferencję, a następnie użyła obu liczb, by odrzucić duży reranker na rzecz małego cross-encodera działającego na 50 najlepszych kandydatach. Oceniany był kompromis, a nie wybór modelu.

System design to rozmowa i wizualizacja, więc asystent pomaga tu mniej niż w innych rundach. To, co może zrobić, to trzymać listę kontrolną przed twoimi oczami. SubcueAI słucha dźwięku ze spotkania i wyświetla strukturę na lokalnej nakładce: pytania o zakres, których jeszcze nie zadałeś, sekcję ewaluacji, którą pominąłeś, tryby awarii warte wymienienia. Aplikacja desktopowa na macOS i Windows przechwytuje dźwięk systemowy plus twój mikrofon; panel boczny rozszerzenia przeglądarki przechwytuje wyłącznie dźwięk karty ze spotkaniem, więc słyszy rozmówcę bez transkrybowania ciebie. Żaden bot nie dołącza do rozmowy.

Ograniczenia mają w tej rundzie większe znaczenie niż w większości innych. Jeśli udostępniasz ekran, żeby narysować diagram, nakładka znajduje się w tym, co udostępniasz. Egzaminy pod nadzorem i komputery zarządzane przez firmę są poza zakresem, a żadne narzędzie nie jest uniwersalnie niewykrywalne. Asystent też nie potrafi wymyślić za ciebie oceny architektonicznej, która jest oceniana. Ćwiczenie tych zadań z AI-rozmówcą na stronie mock interview buduje tę umiejętność; nakładka tylko chroni cię przed zapomnieniem o ewaluacji w 30. minucie.