मुझे Databricks इंटरव्यू में किन प्रश्नों की अपेक्षा करनी चाहिए?

Databricks इंटरव्यू अक्सर Delta Lake से शुरू होते हैं, क्योंकि यह प्लेटफ़ॉर्म उसी पर बना है। यह समझाने के लिए तैयार रहें कि सामान्य Parquet फ़ाइलों की तुलना में Delta टेबल क्या जोड़ती है: हर कमिट को दर्ज करने वाला ट्रांजैक्शन लॉग, जो एटॉमिक राइट, सुसंगत रीड और टेबल के किसी पुराने वर्ज़न की स्थिति को क्वेरी करने की क्षमता देता है। आगे के प्रश्नों का क्रम अनुमानित होता है: टाइम ट्रैवल कैसे काम करता है (लॉग का पुराना स्नैपशॉट पढ़ना), VACUUM क्या हटाता है और वह कितनी पुरानी स्थिति तक लौटने की सीमा क्यों तय करता है, तथा MERGE अपसर्ट और चेंज-डेटा-कैप्चर पैटर्न कैसे लागू करता है।

• स्कीमा प्रवर्तन और विकास। स्कीमा से मेल न खाने वाले राइट अस्वीकार होते हैं, जब तक स्कीमा विकास सक्षम न हो; बताएँ कि आप इसे कब अनुमति देंगे।
• OPTIMIZE और फ़ाइल लेआउट। छोटी फ़ाइलें रीड प्रदर्शन घटाती हैं; कॉम्पैक्शन उन्हें दोबारा लिखता है, और क्लस्टरिंग या Z-ordering उन मानों को पास रखती है जिन पर क्वेरी फ़िल्टर करती हैं।
• एक टेबल पर स्ट्रीमिंग और बैच। वही Delta टेबल स्ट्रीमिंग सिंक और बैच स्रोत हो सकती है; बताएँ कि Delta में लिखने वाले Structured Streaming जॉब के लिए exactly-once का सटीक अर्थ क्या है।
• Delta Live Tables और पाइपलाइन। डेटा गुणवत्ता अपेक्षाओं वाली डिक्लेरेटिव पाइपलाइन; यह बताने के लिए तैयार रहें कि किसी पंक्ति के अपेक्षा पूरी न करने पर क्या होता है।

उत्तर में कार्यविधि बताएँ। Delta को ACID कहना नारा है; यह कहना कि ट्रांजैक्शन लॉग आंशिक रूप से विफल राइट को पाठकों से अदृश्य रखता है, वास्तविक उत्तर है।

आपने ब्रॉन्ज़, सिल्वर और गोल्ड लेयर बनाए हैं और आपको लगता है कि इंटरव्यूअर केवल उनके नामों से अधिक जानना चाहता है। यह सही है, इसलिए यह खंड हर लेयर के पीछे का डिज़ाइन तर्क और उसे परखने वाले प्रश्न बताता है।

• ब्रॉन्ज़। रॉ इंजेशन, केवल जोड़ना, स्कीमा जैसा प्राप्त हुआ। अगला प्रश्न: सिल्वर अधिक साफ़ है तो रॉ डेटा क्यों रखें? पुनः प्रोसेसिंग और ऑडिट के लिए।
• सिल्वर। साफ़ किए गए, डीडुप्लिकेटेड और अनुरूप रिकॉर्ड। अगला प्रश्न: देर से या दो बार आ सकने वाली इवेंट स्ट्रीम को आप कैसे डीडुप्लिकेट करेंगे, और वॉटरमार्किंग कहाँ काम आती है?
• गोल्ड। विश्लेषकों और डैशबोर्ड के लिए एग्रीगेट और व्यवसाय-स्तरीय टेबल। अगला प्रश्न: परिभाषाओं का स्वामी कौन है, और दो गोल्ड टेबल में आय के अलग आँकड़े आने से आप कैसे रोकते हैं?
• ऑर्केस्ट्रेशन। जॉब, टास्क निर्भरताएँ, पुनः प्रयास और अलर्ट। अगला प्रश्न: किसी जॉब को आइडेम्पोटेंट कैसे बनाएँगे ताकि दोबारा चलाने पर दोहरी गणना न हो?
• इंजेशन। क्रमिक फ़ाइल खोज के लिए Auto Loader, और सामान्य डायरेक्टरी लिस्टिंग बड़े पैमाने पर कारगर क्यों नहीं होती।

इंटरव्यूअर लागत के बारे में भी पूछते हैं: शेड्यूल किए गए जॉब के लिए ऑल-पर्पज़ क्लस्टर सही जगह क्यों नहीं है, जॉब क्लस्टर या सर्वरलेस कंप्यूट कब उपयुक्त है, और ऑटोस्केलिंग तथा स्पॉट इंस्टेंस बिल को कैसे बदलते हैं। बाधा बताएँ, कार्यविधि चुनें और लागत स्पष्ट करें।

वरिष्ठ स्तर के इंटरव्यू में आपको कोई लक्षण दिया जाता है। एक सामान्य उदाहरण: किसी रिटेल कंपनी में प्लेटफ़ॉर्म भूमिका के लिए इंटरव्यू दे रहे डेटा इंजीनियर को बताया जाता है कि ऑर्डर को ग्राहक डायमेंशन से जोड़ने वाला रात का जॉब, डेटा तेज़ी से बढ़ने के बाद मिनटों की जगह घंटों लेने लगा है। मजबूत उत्तर बड़े क्लस्टर से नहीं, बल्कि क्वेरी प्लान और Spark UI से शुरू होता है: वह जाँचता है कि जॉइन ब्रॉडकास्ट के बजाय शफल जॉइन तो नहीं बन गया, कुछ कुंजियाँ स्क्यूड तो नहीं हैं, शफल पार्टिशन की संख्या अभी भी डेटा के अनुरूप है या नहीं, और स्रोत टेबल में छोटी फ़ाइलों की ऐसी समस्या तो नहीं जिसे OPTIMIZE ठीक कर सके। इंटरव्यूअर आपकी जाँच के क्रम का मूल्यांकन कर रहा होता है।

अन्य बार-बार आने वाले परिदृश्य: लगातार बढ़ते लैग वाला स्ट्रीमिंग जॉब और ट्रिगर अंतराल, स्टेट साइज़ तथा वॉटरमार्क का परस्पर प्रभाव; ऐसी नोटबुक जो एक उपयोगकर्ता के लिए चलती है और दूसरे के लिए विफल होती है, जो आम तौर पर अनुमतियों का प्रश्न है और Unity Catalog, वर्कस्पेस तथा सर्विस प्रिंसिपल तक जाता है; ऐसी टेबल जिसे विश्लेषक पुराना बताते हैं, जो डेटा की ताज़गी और ऑर्केस्ट्रेशन का प्रश्न है; और किसी दूसरी टीम को सुरक्षित रूप से डेटा उपलब्ध कराने का अनुरोध, जहाँ Delta Sharing और कैटलॉग-स्तरीय ग्रांट काम आते हैं।

वास्तविक कॉल से पहले आगे के प्रश्नों सहित इनका ज़ोर से अभ्यास करें; मॉक इंटरव्यू मोड परिदृश्य प्रश्नों के लिए बनाया गया है, और डेटा तथा इंजीनियरिंग के प्रश्नों का विस्तृत संग्रह भूमिका और विषय के अनुसार इंटरव्यू प्रश्न के अंतर्गत उपलब्ध है।

बातचीत वाले राउंड में, हाँ, लेकिन स्पष्ट सीमाओं के साथ। SubcueAI का नेटिव macOS और Windows डेस्कटॉप ऐप सिस्टम ऑडियो और आपका माइक्रोफ़ोन कैप्चर करके स्थानीय ओवरले में छोटे उत्तर-सुझाव दिखाता है, इसलिए जब इंटरव्यूअर पूछता है कि स्ट्रीमिंग डीडुप्लिकेशन में वॉटरमार्क क्या करता है, तो कार्यविधि आपकी स्क्रीन पर होती है और आप उसे अपने शब्दों में समझाते हैं। ब्राउज़र एक्सटेंशन केवल मीटिंग टैब का ऑडियो कैप्चर करके Chrome और Edge पर ब्राउज़र-टैब कॉल को कवर करता है। कोई बॉट कॉल में शामिल नहीं होता और मीटिंग पेज में कुछ भी इंजेक्ट नहीं किया जाता; सेटअप का चरण-दर-चरण विवरण ट्यूटोरियल पेज पर है।

सीमाएँ: प्रॉक्टर्ड मूल्यांकन, रिकॉर्ड की जा रही स्क्रीन, कंपनी-प्रबंधित लैपटॉप या ऐसा लाइव नोटबुक अभ्यास जिसमें आप निगरानी में PySpark लिखते हैं, दायरे से बाहर हैं—और Databricks इंटरव्यू अक्सर अपना सबसे कठिन हिस्सा यहीं रखते हैं। असिस्टेंट आर्किटेक्चर और समझौते से जुड़े प्रश्नों के लिए सबसे प्रभावी है। पहले अपना रिज़्यूमे लोड करें ताकि सुझाव आपकी वास्तव में बनाई गई पाइपलाइन को दर्शाएँ; रिज़्यूमे बिल्डर उस प्रोफ़ाइल को संग्रहीत करता है।