AI इंजीनियर सिस्टम डिज़ाइन इंटरव्यू: एक व्यावहारिक गाइड

यह सवाल पहली बार सुनने पर असंभव रूप से व्यापक लगता है: एक रिकमेंडेशन सिस्टम डिज़ाइन करें, या कंपनी के इंटरनल डॉक्यूमेंट्स पर एक चैटबॉट डिज़ाइन करें। यह सेक्शन बताता है कि इंटरव्यूअर असल में क्या स्कोर करता है, ताकि यह व्यापकता ही समस्या न बने। संक्षेप में, वे यह देखते हैं कि क्या आप एक अस्पष्ट प्रोडक्ट रिक्वेस्ट को नंबरों वाले सिस्टम में बदल सकते हैं।

चार चीज़ें ज़्यादातर स्कोर तय करती हैं:

• स्कोपिंग।क्या आप कुछ भी बनाने से पहले पूछते हैं कि यूज़र्स कौन हैं, प्रति सेकंड कितने क्वेरीज़ आते हैं, और सफलता के लिए कौन-सा क्वालिटी बार तय है?
• डेटा जजमेंट।ट्रेनिंग डेटा कहाँ से आता है, इसे कैसे लेबल किया जाता है, और ट्रेनिंग व सर्विंग के बीच क्या लीक होता है?
• इवैल्यूएशन।ऑफलाइन मेट्रिक्स के साथ एक ऑनलाइन गार्डरेल। बिना इवैल्यूएशन प्लान वाला जवाब, आर्किटेक्चर चाहे जितना अच्छा हो, जूनियर जैसा लगता है।
• प्रोडक्शन सेंस।लेटेंसी बजट, प्रति रिक्वेस्ट कॉस्ट, रीट्रेनिंग की फ्रीक्वेंसी, और मॉडल के गलत होने पर क्या होता है।

पाँच तरह के सवाल ज़्यादातर AI इंजीनियर सिस्टम डिज़ाइन राउंड्स को कवर करते हैं:

• प्राइवेट डॉक्यूमेंट्स पर रिट्रीवल ऑगमेंटेड जनरेशन।चंकिंग स्ट्रैटेजी, embedding मॉडल का चुनाव, वेक्टर इंडेक्स, रीरैंकिंग, और जब रिट्रीवल कुछ भी रिलेवेंट न लौटाए तो आप क्या करते हैं।
• बड़े पैमाने पर मॉडल सर्विंग।बैचिंग, क्वांटाइज़ेशन, GPU को बिज़ी रखना, कैशिंग, और वह p99 लेटेंसी टारगेट जिसका वादा आपने स्कोपिंग के दौरान किया था।
• रिकमेंडेशन या रैंकिंग।कैंडिडेट जनरेशन फिर रैंकिंग, एक feature store, ट्रेनिंग और सर्विंग के बीच स्क्यू, कोल्ड स्टार्ट।
• एक फीचर पाइपलाइन।स्ट्रीमिंग बनाम बैच, पॉइंट-इन-टाइम करेक्टनेस, बैकफिल्स।
• एक एजेंटिक वर्कफ़्लो।टूल कॉलिंग, स्टेप लिमिट्स, कॉस्ट सीलिंग्स, और एक इंसान कैसे दखल देता है। एक बड़ा प्रश्न बैंक इंटरव्यू के प्रकार सेक्शन में है।

इनमें से हर एक में एक मुश्किल हिस्सा है जिसका इंटरव्यूअर इंतज़ार कर रहा होता है। रिट्रीवल के लिए यह इवैल्यूएशन है, क्योंकि कोई भी एक वेक्टर डेटाबेस का नाम बता सकता है, लेकिन बहुत कम लोग बता पाते हैं कि वे यह कैसे मापेंगे कि रिट्रीवल बेहतर हुआ है या नहीं। सर्विंग के लिए यह मॉडल साइज़ के मुकाबले कॉस्ट और लेटेंसी का ट्रेड-ऑफ है।

शुरुआती पाँच मिनट रिक्वायरमेंट्स और नंबरों पर बिताएँ, और उन्हें वहाँ लिखें जहाँ इंटरव्यूअर देख सके: प्रति सेकंड क्वेरीज़, स्वीकार्य लेटेंसी, क्वालिटी बार, बजट। इसके बाद जो कुछ भी आता है वह इन चार नंबरों की ओर वापस इशारा करता है, और यही चीज़ जवाब को टूल्स के टूर की बजाय इंजीनियरिंग जैसा बनाती है।

फिर ब्रेडथ फर्स्ट जाएँ: डेटा सोर्सेज़, ऑफलाइन ट्रेनिंग, एक artifact store, एक सर्विंग पाथ, और एक फीडबैक लूप वाला डायग्राम बनाएँ। पूरी तस्वीर बनने के बाद ही डीप डाइव करें, और यह इंटरव्यूअर को चुनने दें कि कौन-सा कंपोनेंट। दो फेलियर मोड्स बताकर और आप हर एक को पकड़ने के लिए क्या मॉनिटर करेंगे, यह बताकर खत्म करें।

एक सर्च कंपनी में सीनियर रोल के लिए इंटरव्यू दे रही एक ML इंजीनियर से सपोर्ट टिकट्स पर सिमेंटिक सर्च डिज़ाइन करने को कहा गया। उसने स्कोपिंग में चार मिनट बिताए, 200 मिलीसेकंड की p95 लेटेंसी और एक तय मासिक इंफरेंस बजट के लिए कमिट किया, फिर दोनों नंबरों का इस्तेमाल कर एक बड़े रीरैंकर को रिजेक्ट किया और टॉप 50 कैंडिडेट्स पर एक छोटे cross-encoder को चुना। जो स्कोर हुआ वह यह ट्रेड-ऑफ था, न कि मॉडल का चुनाव।

सिस्टम डिज़ाइन बोलकर और विज़ुअली किया जाता है, इसलिए यहाँ एक असिस्टेंट दूसरे राउंड्स के मुकाबले कम मदद करता है। यह जो कर सकता है वह है चेकलिस्ट को आपके सामने बनाए रखना। SubcueAI मीटिंग का ऑडियो सुनता है और एक लोकल ओवरले पर स्ट्रक्चर दिखाता है: स्कोपिंग के वे सवाल जो आपने अभी तक नहीं पूछे, वह इवैल्यूएशन सेक्शन जो आपने छोड़ दिया, और वे फेलियर मोड्स जिनका ज़िक्र करना ज़रूरी है। macOS और Windows पर डेस्कटॉप ऐप सिस्टम ऑडियो के साथ आपका माइक्रोफ़ोन भी कैप्चर करता है; ब्राउज़र एक्सटेंशन का साइड पैनल सिर्फ़ मीटिंग टैब का ऑडियो कैप्चर करता है, इसलिए यह इंटरव्यूअर को सुनता है बिना आपको ट्रांसक्राइब किए। कोई बॉट कॉल में शामिल नहीं होता।

इस राउंड में लिमिट्स ज़्यादातर राउंड्स से ज़्यादा मायने रखती हैं। अगर आप डायग्राम बनाने के लिए अपनी स्क्रीन शेयर कर रहे हैं, तो ओवरले भी उसी में शामिल है जो आप शेयर कर रहे हैं। प्रॉक्टर्ड असेसमेंट्स और कंपनी-मैनेज्ड मशीनें दायरे से बाहर हैं, और कोई भी टूल यूनिवर्सली अनडिटेक्टेबल नहीं है। एक असिस्टेंट उस आर्किटेक्चर जजमेंट को भी नहीं गढ़ सकता जिसे स्कोर किया जा रहा है। मॉक इंटरव्यू पेज पर एक AI इंटरव्यूअर के सामने इन सवालों का अभ्यास करना यह क्षमता बनाता है; ओवरले सिर्फ़ इतना करता है कि आप मिनट 30 पर इवैल्यूएशन भूलें नहीं।