Tôi nên chuẩn bị những câu hỏi phỏng vấn Databricks nào?

Các buổi phỏng vấn Databricks thường bắt đầu bằng Delta Lake vì nền tảng này được xây dựng trên đó. Hãy sẵn sàng giải thích bảng Delta bổ sung gì so với các tệp Parquet thông thường: một nhật ký giao dịch ghi lại mọi lần commit, nhờ đó bảo đảm thao tác ghi nguyên tử, thao tác đọc nhất quán và khả năng truy vấn bảng ở một phiên bản trước đó. Chuỗi câu hỏi tiếp theo khá dễ đoán: du hành thời gian hoạt động thế nào (đọc một snapshot trước đó của nhật ký), VACUUM xóa gì và tại sao nó giới hạn khoảng thời gian có thể quay lại, cũng như cách MERGE triển khai các mẫu upsert và thu thập dữ liệu thay đổi.

• Thực thi và tiến hóa schema. Các thao tác ghi không khớp với schema sẽ bị từ chối trừ khi tính năng tiến hóa được bật; hãy nêu khi nào bạn sẽ cho phép điều đó.
• OPTIMIZE và cách bố trí tệp. Các tệp nhỏ làm giảm hiệu năng đọc; quá trình nén sẽ ghi lại chúng, còn phân cụm hoặc sắp xếp Z sẽ đặt gần nhau các giá trị mà truy vấn dùng để lọc.
• Streaming và batch trên cùng một bảng. Cùng một bảng Delta có thể là đích streaming và nguồn batch; hãy giải thích chính xác cơ chế xử lý một lần có ý nghĩa gì đối với tác vụ Structured Streaming ghi vào Delta.
• Delta Live Tables và pipeline. Các pipeline khai báo có điều kiện kỳ vọng về chất lượng dữ liệu; hãy sẵn sàng nói rõ điều gì xảy ra khi một hàng không đáp ứng điều kiện.

Hãy trả lời bằng cơ chế. Nói Delta là ACID chỉ là khẩu hiệu; giải thích rằng nhật ký giao dịch khiến thao tác ghi bị lỗi một phần trở nên vô hình với người đọc mới là câu trả lời.

Bạn đã xây dựng các tầng bronze, silver và gold, đồng thời nghi ngờ rằng người phỏng vấn muốn nghe nhiều hơn tên gọi của chúng. Điều đó đúng, vì vậy phần này trình bày lý do thiết kế đằng sau từng tầng và những câu hỏi dùng để kiểm tra kiến thức ấy.

• Bronze. Dữ liệu thô được nạp vào, chỉ nối thêm, giữ nguyên schema khi nhận được. Câu hỏi tiếp theo: tại sao vẫn giữ dữ liệu thô nếu silver sạch hơn? Để xử lý lại và kiểm toán.
• Silver. Các bản ghi đã được làm sạch, loại bỏ trùng lặp và chuẩn hóa. Câu hỏi tiếp theo: làm thế nào loại bỏ trùng lặp trong một luồng sự kiện có thể đến muộn hoặc đến hai lần, và watermarking đóng vai trò gì?
• Gold. Các bảng tổng hợp và bảng cấp nghiệp vụ dành cho nhà phân tích cùng dashboard. Câu hỏi tiếp theo: ai sở hữu các định nghĩa và làm thế nào ngăn hai bảng gold đưa ra số liệu doanh thu khác nhau?
• Điều phối. Tác vụ, quan hệ phụ thuộc giữa các tác vụ, thử lại và cảnh báo. Câu hỏi tiếp theo: làm thế nào để tác vụ có tính lũy đẳng, nhằm tránh tính trùng khi chạy lại?
• Nạp dữ liệu. Auto Loader dùng để phát hiện tệp mới theo cách tăng dần, cùng lý do thao tác liệt kê thư mục đơn giản không thể mở rộng hiệu quả.

Người phỏng vấn cũng hỏi về chi phí: tại sao cụm đa mục đích không phù hợp cho một tác vụ theo lịch, khi nào nên dùng cụm tác vụ hoặc tài nguyên tính toán serverless, và cách tự động điều chỉnh quy mô cùng các phiên bản spot thay đổi hóa đơn. Hãy nêu ràng buộc, chọn cơ chế và chỉ rõ chi phí.

Ở các vòng phỏng vấn cấp cao, bạn sẽ được đưa cho một triệu chứng. Một ví dụ tiêu biểu: kỹ sư dữ liệu phỏng vấn cho vị trí nền tảng tại một công ty bán lẻ được thông báo rằng tác vụ chạy hằng đêm, dùng để nối đơn hàng với bảng chiều khách hàng, đã tăng từ vài phút lên vài giờ sau khi dữ liệu tăng mạnh. Câu trả lời tốt bắt đầu bằng kế hoạch truy vấn và giao diện Spark thay vì một cụm lớn hơn: kiểm tra xem phép nối có chuyển thành shuffle join thay vì broadcast hay không, một vài khóa có bị lệch dữ liệu hay không, số lượng phân vùng shuffle còn phù hợp với dữ liệu hay không và các bảng nguồn có gặp vấn đề về tệp nhỏ mà OPTIMIZE có thể khắc phục hay không. Người phỏng vấn đang đánh giá thứ tự điều tra của bạn.

Các tình huống thường gặp khác gồm: một tác vụ streaming có độ trễ liên tục tăng và sự tương tác giữa khoảng kích hoạt, kích thước trạng thái cùng watermark; một notebook hoạt động với người dùng này nhưng lỗi với người khác, thường là vấn đề về quyền dẫn đến Unity Catalog, workspace và service principal; một bảng bị các nhà phân tích phàn nàn là lỗi thời, tức vấn đề về độ mới và điều phối; cùng yêu cầu cung cấp dữ liệu an toàn cho nhóm khác, lúc này Delta Sharing và quyền cấp ở cấp catalog phát huy tác dụng.

Hãy luyện nói thành tiếng các tình huống này cùng câu hỏi tiếp nối trước cuộc gọi thật; chế độ phỏng vấn thử được thiết kế cho câu hỏi tình huống, còn bộ câu hỏi rộng hơn về dữ liệu và kỹ thuật nằm tại câu hỏi phỏng vấn theo vai trò và chủ đề.

Trong các vòng trò chuyện thì có, nhưng với những giới hạn rõ ràng. Ứng dụng máy tính gốc dành cho macOS và Windows của SubcueAI thu âm thanh hệ thống cùng micrô của bạn rồi hiển thị gợi ý trả lời ngắn trong một lớp phủ cục bộ. Vì vậy, khi người phỏng vấn hỏi watermark có tác dụng gì trong việc loại bỏ trùng lặp khi streaming, cơ chế sẽ hiện trên màn hình để bạn giải thích bằng lời của mình. Tiện ích trình duyệt hỗ trợ các cuộc gọi trong tab trên Chrome và Edge bằng cách chỉ thu âm thanh của tab cuộc họp. Không có bot nào tham gia cuộc gọi và không nội dung nào được chèn vào trang họp; hướng dẫn thiết lập nằm trên trang hướng dẫn.

Các giới hạn gồm: bài đánh giá có giám sát, màn hình bị ghi lại, máy tính xách tay do công ty quản lý hoặc bài tập notebook trực tiếp mà bạn viết PySpark dưới sự quan sát đều nằm ngoài phạm vi hỗ trợ, và đây thường là phần khó nhất trong các buổi phỏng vấn Databricks. Trợ lý phù hợp nhất với câu hỏi về kiến trúc và sự đánh đổi. Hãy tải sơ yếu lý lịch của bạn lên trước để các gợi ý phản ánh đúng những pipeline bạn thực sự đã xây dựng; công cụ tạo sơ yếu lý lịch lưu hồ sơ đó.