Databricks 面試會問哪些問題?
作者 Aaron Cao · 更新於

預期有四大類:Delta Lake(交易記錄、ACID 保證、時間旅行、MERGE)、獎牌式架構(青銅、白銀、黃金層)、Databricks 上的 Spark(分割區、洗牌、快取、叢集規模),以及治理(Unity Catalog、工作區、作業)。情境題會給你一條緩慢或失敗的管線,並根據你的調查方式評分。
最先會問哪些 Delta Lake 問題?
Databricks 面試通常從 Delta Lake 開始,因為這個平台以它為基礎。你要能說明 Delta 資料表比普通 Parquet 檔案多了什麼:記錄每次提交的交易記錄,因而提供不可分割寫入、一致性讀取,以及查詢資料表較早版本的能力。接下來的追問相當固定:時間旅行如何運作(讀取記錄的較早快照)、VACUUM 會移除什麼及其為何限制可回溯的範圍,以及 MERGE 如何實作更新插入與異動資料擷取模式。
- 結構描述強制與演進。不符合結構描述的寫入會遭拒,除非已啟用演進;請說明你會在何時允許演進。
- OPTIMIZE 與檔案配置。小檔案會拖慢讀取效能;壓縮整理會重寫這些檔案,而叢集化或 Z 排序會將查詢篩選的值放置在一起。
- 在同一資料表上進行串流與批次處理。同一個 Delta 資料表可作為串流接收端與批次來源;請說明 Structured Streaming 作業寫入 Delta 時,「恰好一次」究竟代表什麼。
- Delta Live Tables 與管線。這是具備資料品質期望條件的宣告式管線;你要能說明某筆資料未符合期望條件時會發生什麼事。
回答時要解釋機制。說 Delta 符合 ACID 只是口號;說明交易記錄如何讓讀取者看不見部分失敗的寫入,才是真正的答案。
獎牌式架構與管線設計問題會怎麼問?
你已建立青銅、白銀與黃金層,而且懷疑面試官想聽的不只是這些名稱。你的猜測沒錯,因此本節會說明各層背後的設計理由,以及用來測試這些觀念的問題。
- 青銅層。原始擷取、僅限附加,保留資料抵達時的結構描述。追問:如果白銀層更乾淨,為什麼還要保留原始資料?為了重新處理與稽核。
- 白銀層。經過清理、去除重複且標準化的記錄。追問:如何替可能延遲或重複抵達的事件串流去除重複資料?浮水印在其中扮演什麼角色?
- 黃金層。供分析師與儀表板使用的彙總資料及業務層級資料表。追問:誰負責定義?如何避免兩個黃金層資料表對營收得出不一致的結果?
- 協調流程。作業、工作相依性、重試與警示。追問:如何讓作業具備等冪性,使重新執行不會重複計算?
- 資料擷取。使用 Auto Loader 進行增量檔案探索,以及為什麼單純列出目錄內容無法隨規模擴展。
面試官也會問成本:為什麼多用途叢集不適合執行排程作業、何時適合使用作業叢集或無伺服器運算,以及自動擴縮和競價型執行個體會如何改變帳單。請先陳述限制,再選擇機制,最後說明成本。
該準備哪些 Spark 調校與情境題?
資深職位的多輪面試會先給你一項症狀。典型例子是:一位應徵零售公司平台職位的資料工程師得知,在資料量激增後,每晚將訂單與客戶維度連接的作業,執行時間已從數分鐘增加到數小時。出色的回答會先查看查詢計畫與 Spark UI,而不是直接擴大叢集:檢查連接是否從廣播連接變成洗牌連接、少數索引鍵是否造成資料傾斜、洗牌分割區數量是否仍符合資料規模,以及來源資料表是否有可由 OPTIMIZE 修正的小檔案問題。面試官評量的是你的調查順序。
其他常見情境包括:串流作業的延遲持續增加,以及觸發間隔、狀態大小與浮水印如何交互影響;某位使用者能執行、另一位卻失敗的筆記本,這通常是權限問題,並會延伸至 Unity Catalog、工作區與服務主體;分析師抱怨資料表過時,這屬於資料新鮮度與協調流程問題;以及要求安全地向另一個團隊開放資料,此時就會涉及 Delta Sharing 與目錄層級權限授予。
在真正的通話前,請大聲練習這些題目及其追問;模擬面試模式是為情境題而設計,而更完整的資料與工程題庫則位於依職位與主題分類的面試問題。
AI 面試助手能協助回答 Databricks 問題嗎?
在對話式面試階段可以,但有明確限制。SubcueAI 的原生 macOS 與 Windows 桌面應用程式會擷取系統音訊和你的麥克風,並在本機浮動視窗中顯示簡短的回答建議。因此,面試官詢問浮水印在串流去重中的作用時,相關機制會顯示在螢幕上,讓你用自己的話加以解釋。瀏覽器擴充功能支援 Chrome 與 Edge 中的瀏覽器分頁通話,且只會擷取會議分頁的音訊。不會有機器人加入通話,也不會向會議頁面注入任何內容;設定步驟請參閱教學頁面。
限制包括:受監考的測驗、螢幕錄影、公司管理的筆記型電腦,或是在監看下撰寫 PySpark 的即時筆記本練習,均不適用;而 Databricks 面試往往會將最困難的部分安排在這裡。此助手最適合協助架構與取捨問題。請先載入你的履歷,讓建議能反映你實際建立的管線;履歷建立工具會保存這份個人資料。