مجھے Databricks انٹرویو میں کن سوالات کی توقع رکھنی چاہیے؟

Databricks انٹرویوز Delta Lake سے شروع ہوتے ہیں کیونکہ پلیٹ فارم اسی پر بنایا گیا ہے۔ یہ سمجھانے کے لیے تیار رہیں کہ سادہ Parquet فائلوں کے مقابلے میں Delta ٹیبل کیا اضافہ کرتا ہے: ایک ٹرانزیکشن لاگ جو ہر کمٹ ریکارڈ کرتا ہے، جس سے ایٹامک رائٹس، یکساں ریڈز، اور ٹیبل کے کسی سابقہ ورژن کو کوئری کرنے کی صلاحیت ملتی ہے۔ اگلے سوالات کا سلسلہ قابل پیش گوئی ہے: ٹائم ٹریول کیسے کام کرتا ہے (لاگ کا سابقہ اسنیپ شاٹ پڑھنا)، VACUUM کیا ہٹاتا ہے اور یہ ماضی میں جانے کی حد کیوں مقرر کرتا ہے، اور MERGE اپ سرٹس اور چینج ڈیٹا کیپچر پیٹرنز کیسے نافذ کرتا ہے۔

• اسکیما انفورسمنٹ اور ارتقا۔ اسکیما سے مطابقت نہ رکھنے والی رائٹس مسترد ہو جاتی ہیں، جب تک ارتقا فعال نہ ہو؛ بتائیں کہ آپ اسے کب اجازت دیں گے۔
• OPTIMIZE اور فائل لے آؤٹ۔ چھوٹی فائلیں ریڈ کارکردگی کو نقصان پہنچاتی ہیں؛ کمپیکشن انہیں دوبارہ لکھتی ہے، جبکہ کلسٹرنگ یا Z-ordering ان اقدار کو قریب رکھتی ہے جن پر کوئریز فلٹر لگاتی ہیں۔
• ایک ٹیبل پر اسٹریمنگ اور بیچ۔ وہی Delta ٹیبل اسٹریمنگ سنک اور بیچ سورس ہو سکتا ہے؛ وضاحت کریں کہ Delta میں لکھنے والی Structured Streaming جاب کے لیے exactly-once کا کیا مطلب ہے۔
• Delta Live Tables اور پائپ لائنز۔ ڈیٹا معیار کی توقعات والی اعلانیہ پائپ لائنز؛ یہ بتانے کے لیے تیار رہیں کہ جب کوئی رو توقع پر پوری نہ اترے تو کیا ہوتا ہے۔

طریقۂ کار بیان کریں۔ یہ کہنا کہ Delta، ACID ہے محض نعرہ ہے؛ یہ کہنا کہ ٹرانزیکشن لاگ جزوی طور پر ناکام رائٹ کو قارئین سے پوشیدہ رکھتا ہے، اصل جواب ہے۔

آپ نے برونز، سلور اور گولڈ تہیں بنائی ہیں اور آپ کو شبہ ہے کہ انٹرویو لینے والا محض ناموں سے زیادہ جاننا چاہتا ہے۔ یہ درست ہے، اس لیے یہ حصہ ہر تہہ کے پیچھے ڈیزائن کی منطق اور اسے جانچنے والے سوالات بیان کرتا ہے۔

• برونز۔ خام انجیسچن، صرف اضافہ، اسکیما اسی طرح جیسے موصول ہوا۔ اگلا سوال: اگر سلور زیادہ صاف ہے تو خام ڈیٹا کیوں رکھیں؟ دوبارہ پروسیسنگ اور آڈٹ کے لیے۔
• سلور۔ صاف، نقل سے پاک اور ہم آہنگ ریکارڈز۔ اگلا سوال: آپ ایسے ایونٹس کی اسٹریم سے نقلیں کیسے ہٹائیں گے جو دیر سے یا دو بار آ سکتے ہیں، اور واٹر مارکنگ کہاں کام آتی ہے؟
• گولڈ۔ تجزیہ کاروں اور ڈیش بورڈز کے لیے مجموعے اور کاروباری سطح کی ٹیبلز۔ اگلا سوال: تعریفوں کا مالک کون ہے، اور آپ دو گولڈ ٹیبلز کو آمدنی پر اختلاف سے کیسے روکتے ہیں؟
• آرکسٹریشن۔ جابز، ٹاسک انحصارات، دوبارہ کوششیں اور الرٹس۔ اگلا سوال: آپ جاب کو idempotent کیسے بناتے ہیں تاکہ دوبارہ چلانے سے دوہری گنتی نہ ہو؟
• انجیسچن۔ بتدریج فائل دریافت کے لیے Auto Loader، اور سادہ ڈائریکٹری لسٹنگ بڑے پیمانے پر کیوں مؤثر نہیں رہتی۔

انٹرویو لینے والے لاگت کے بارے میں بھی پوچھتے ہیں: شیڈول شدہ جاب کے لیے آل پرپز کلسٹر غلط جگہ کیوں ہے، جاب کلسٹر یا سرور لیس کمپیوٹ کب موزوں ہے، اور آٹو اسکیلنگ اور اسپاٹ انسٹینسز بل کو کیسے بدلتے ہیں۔ پابندی بیان کریں، طریقۂ کار منتخب کریں، لاگت واضح کریں۔

سینئر راؤنڈز میں آپ کو ایک علامت دی جاتی ہے۔ ایک نمائندہ مثال: ریٹیل کمپنی میں پلیٹ فارم کردار کے لیے انٹرویو دینے والے ڈیٹا انجینئر کو بتایا جاتا ہے کہ آرڈرز کو کسٹمر ڈائمینشن سے جوڑنے والی رات کی جاب، ڈیٹا میں اچانک اضافے کے بعد منٹوں سے بڑھ کر گھنٹوں کی ہو گئی ہے۔ مضبوط جواب بڑے کلسٹر کے بجائے کوئری پلان اور Spark UI سے شروع ہوتا ہے: یہ جانچتا ہے کہ آیا جوائن براڈکاسٹ کے بجائے شفل جوائن بن گیا، آیا چند کیز اسکیوڈ ہیں، آیا شفل پارٹیشنز کی تعداد اب بھی ڈیٹا کے مطابق ہے، اور آیا سورس ٹیبلز میں چھوٹی فائلوں کے مسائل ہیں جنہیں OPTIMIZE درست کر سکتا ہے۔ انٹرویو لینے والا تفتیش کی ترتیب کا جائزہ لے رہا ہوتا ہے۔

دیگر بار بار آنے والے منظرنامے: ایک اسٹریمنگ جاب جس کا لیگ بڑھتا رہتا ہے، اور ٹرگر وقفے، اسٹیٹ سائز اور واٹر مارکس باہم کیسے اثر انداز ہوتے ہیں؛ ایک نوٹ بک جو ایک صارف کے لیے چلتی اور دوسرے کے لیے ناکام ہوتی ہے، جو عموماً اجازتوں کا سوال ہوتا ہے اور Unity Catalog، ورک اسپیسز اور سروس پرنسپلز تک لے جاتا ہے؛ ایک ٹیبل جسے تجزیہ کار فرسودہ کہتے ہیں، جو تازگی اور آرکسٹریشن کا سوال ہے؛ اور دوسری ٹیم کو محفوظ طریقے سے ڈیٹا فراہم کرنے کی درخواست، جہاں Delta Sharing اور کیٹلاگ سطح کی گرانٹس کام آتی ہیں۔

اصل کال سے پہلے اگلے سوالات سمیت انہیں بلند آواز میں دہرائیں؛ فرضی انٹرویو موڈ منظرنامہ جاتی سوالات کے لیے بنایا گیا ہے، اور ڈیٹا و انجینئرنگ کے سوالاتی مجموعوں کا وسیع ذخیرہ کردار اور موضوع کے لحاظ سے انٹرویو سوالات کے تحت موجود ہے۔

گفتگو والے راؤنڈز میں، ہاں، مگر واضح حدود کے ساتھ۔ SubcueAI کی مقامی macOS اور Windows ڈیسک ٹاپ ایپ سسٹم آڈیو اور آپ کا مائیکروفون کیپچر کرکے مقامی اوورلے میں مختصر جوابی تجاویز دکھاتی ہے، لہٰذا جب انٹرویو لینے والا پوچھے کہ اسٹریمنگ ڈی ڈپلیکیشن میں واٹر مارک کیا کرتا ہے تو طریقۂ کار آپ کی اسکرین پر موجود ہوتا ہے اور آپ اسے اپنے الفاظ میں سمجھا سکتے ہیں۔ براؤزر ایکسٹینشن Chrome اور Edge پر براؤزر ٹیب کالز کو صرف میٹنگ ٹیب کی آڈیو کیپچر کرکے سنبھالتی ہے۔ کوئی بوٹ کال میں شامل نہیں ہوتا اور میٹنگ پیج میں کچھ داخل نہیں کیا جاتا؛ سیٹ اپ کی رہنمائی ٹیوٹوریل صفحے پر ہے۔

حدود یہ ہیں: نگرانی والا جائزہ، ریکارڈ کی جانے والی اسکرین، کمپنی کے زیر انتظام لیپ ٹاپ، یا لائیو نوٹ بک مشق جس میں آپ نگرانی کے دوران PySpark لکھتے ہیں، دائرۂ کار سے باہر ہیں، اور Databricks انٹرویوز اکثر اپنا مشکل ترین حصہ یہیں رکھتے ہیں۔ اسسٹنٹ آرکیٹیکچر اور موازناتی سوالات کے لیے سب سے مؤثر ہے۔ پہلے اپنا ریزیومے لوڈ کریں تاکہ تجاویز ان پائپ لائنز کی عکاسی کریں جو آپ نے حقیقتاً بنائی ہیں؛ ریزیومے بلڈر یہ پروفائل محفوظ رکھتا ہے۔