AI Mühendisi Sistem Tasarımı Mülakatı: Pratik Bir Rehber

İlk duyduğunuzda soru inanılmaz derecede geniş görünür: bir öneri sistemi tasarlayın, ya da şirket içi belgeler üzerinde çalışan bir sohbet botu tasarlayın. Bu bölüm, mülakatçının neyi puanladığını açıklıyor, böylece genişlik bir sorun olmaktan çıkıyor. Kısacası, belirsiz bir ürün talebini sayılarla desteklenmiş bir sisteme dönüştürüp dönüştüremediğinizi değerlendiriyorlar.

Puanın büyük kısmını dört şey oluşturur:

• Kapsam belirleme. Herhangi bir şey çizmeden önce kullanıcıların kim olduğunu, saniyede kaç sorgu geldiğini ve neyin başarı sayılacağı kalite eşiğini soruyor musunuz?
• Veri yargısı. Eğitim verisi nereden geliyor, nasıl etiketleniyor ve eğitim ile sunum arasında ne sızıyor?
• Değerlendirme. Çevrimdışı metrikler artı bir çevrimiçi koruma mekanizması. Değerlendirme planı olmayan bir cevap, mimari ne kadar iyi olursa olsun junior gibi okunur.
• Üretim sezgisi. Gecikme bütçesi, istek başına maliyet, yeniden eğitim sıklığı ve model yanıldığında ne olacağı.

AI mühendisi sistem tasarımı turlarının çoğunu beş soru kapsar:

• Özel belgeler üzerinde retrieval augmented generation. Chunking stratejisi, embedding modeli seçimi, vektör indeksi, reranking ve retrieval hiçbir ilgili sonuç döndürmediğinde ne yapacağınız.
• Ölçekte model sunumu. Batching, quantization, GPU'ları meşgul tutmak, caching ve kapsam belirleme sırasında taahhüt ettiğiniz p99 gecikme hedefi.
• Öneri veya sıralama. Önce aday üretimi sonra sıralama, bir feature store, eğitim ve sunum arasındaki skew, cold start.
• Bir feature pipeline. Streaming'e karşı batch, point in time doğruluk, backfill'ler.
• Bir agentic iş akışı. Tool calling, adım sınırları, maliyet tavanları ve bir insanın nasıl müdahale ettiği. Daha kapsamlı bir soru bankası mülakat türleri bölümünde yer alıyor.

Bunların her birinin mülakatçının beklediği bir zor kısmı vardır. Retrieval için bu değerlendirmedir, çünkü herkes bir vektör veritabanının adını söyleyebilir ama çok az kişi retrieval'ın iyileşip iyileşmediğini nasıl ölçeceğini söyleyebilir. Sunum için bu, model boyutuna karşı maliyet ve gecikme ödünleşimidir.

İlk beş dakikayı gereksinimler ve sayılara ayırın ve bunları mülakatçının görebileceği bir yere yazın: saniyede sorgu sayısı, kabul edilebilir gecikme, kalite eşiği, bütçe. Bundan sonraki her şey bu dört sayıya geri döner, ve bir cevabı bir araç turu yerine mühendislik gibi gösteren de budur.

Ardından önce genişlik: veri kaynaklarını, çevrimdışı eğitimi, bir artifact store'u, bir sunum yolunu ve bir geri bildirim döngüsünü gösteren bir diyagram. Bütün resim ortaya çıktıktan sonra ancak derinlemesine inin ve bileşeni mülakatçının seçmesine izin verin. İki hata modunu ve her birini yakalamak için neyi izleyeceğinizi belirterek kapatın.

Bir arama şirketinde kıdemli bir rol için mülakata giren bir ML mühendisinden destek talepleri üzerinde semantik arama tasarlaması istendi. Kapsam belirlemeye dört dakika ayırdı, p95'te 200 milisaniyeye ve sabit bir aylık çıkarım bütçesine taahhüt verdi, ardından her iki sayıyı da büyük bir reranker'ı reddedip yerine ilk 50 aday üzerinde küçük bir cross-encoder kullanmak için kullandı. Puanlanan şey model seçimi değil, ödünleşimdi.

Sistem tasarımı sözlü ve görseldir, bu yüzden bir asistan burada diğer turlara göre daha az yardımcı olur. Yapabileceği şey kontrol listesini önünüzde tutmaktır. SubcueAI, toplantı sesini dinler ve yerel bir overlay üzerinde bir yapı sunar: henüz sormadığınız kapsam belirleme soruları, atladığınız değerlendirme bölümü, adı konması gereken hata modları. macOS ve Windows üzerindeki masaüstü uygulaması sistem sesini artı mikrofonunuzu yakalar; tarayıcı uzantısı yan paneli ise yalnızca toplantı sekmesinin sesini yakalar, böylece sizi transkribe etmeden mülakatçıyı duyar. Görüşmeye hiçbir bot katılmaz.

Bu turda sınırlar çoğu turdan daha fazla önem taşır. Bir diyagram çizmek için ekranınızı paylaşıyorsanız, bir overlay paylaştığınız şeyin içindedir. Gözetimli değerlendirmeler ve şirket tarafından yönetilen makineler kapsam dışıdır ve hiçbir araç evrensel olarak tespit edilemez değildir. Bir asistan ayrıca değerlendirilen mimari yargısını icat edemez. Bu soruları deneme mülakatı sayfasında bir AI mülakatçıya karşı pratik yapmak bunu geliştirir; overlay yalnızca 30. dakikada değerlendirmeyi unutmanızı engeller.