어떤 Databricks 면접 질문을 예상해야 하나요?

Databricks 플랫폼은 Delta Lake를 기반으로 하므로 면접도 Delta Lake 질문으로 시작됩니다. 일반 Parquet 파일과 비교해 Delta 테이블이 무엇을 추가하는지 설명할 준비를 하세요. 모든 커밋을 기록하는 트랜잭션 로그가 원자적 쓰기, 일관된 읽기, 이전 버전 시점의 테이블 조회를 가능하게 합니다. 이어지는 질문도 예측할 수 있습니다. 시간 여행이 작동하는 방식(로그의 이전 스냅샷 읽기), VACUUM이 제거하는 항목과 그 때문에 되돌아갈 수 있는 범위가 제한되는 이유, 그리고 MERGE가 업서트와 변경 데이터 캡처 패턴을 구현하는 방식입니다.

• 스키마 적용과 진화. 스키마와 일치하지 않는 쓰기는 진화가 활성화되지 않으면 거부됩니다. 언제 이를 허용할지 설명하세요.
• OPTIMIZE와 파일 배치. 작은 파일은 읽기 성능을 떨어뜨립니다. 압축은 이를 다시 작성하며, 클러스터링이나 Z-ordering은 쿼리가 필터링하는 값을 함께 배치합니다.
• 하나의 테이블에서 스트리밍과 배치 처리. 같은 Delta 테이블을 스트리밍 싱크와 배치 소스로 사용할 수 있습니다. Delta에 쓰는 Structured Streaming 작업에서 정확히 한 번 처리가 무엇을 의미하는지 설명하세요.
• Delta Live Tables와 파이프라인. 데이터 품질 기대 조건이 포함된 선언형 파이프라인입니다. 행이 기대 조건을 충족하지 못할 때 어떤 일이 발생하는지 말할 준비를 하세요.

메커니즘으로 답하세요. Delta가 ACID를 지원한다고 말하는 것은 표어에 불과합니다. 트랜잭션 로그가 부분적으로 실패한 쓰기를 독자에게 보이지 않게 만든다고 설명하는 것이 답입니다.

브론즈, 실버, 골드 계층을 구축해 봤다면 면접관이 그 이름 이상의 답을 원한다고 느낄 것입니다. 맞습니다. 여기서는 각 계층의 설계 근거와 이를 평가하는 질문을 살펴봅니다.

• 브론즈. 원시 데이터 수집, 추가 전용, 수집 당시의 스키마입니다. 후속 질문: 실버가 더 깨끗한데도 원시 데이터를 보관하는 이유는 무엇인가요? 재처리와 감사 때문입니다.
• 실버. 정제되고 중복이 제거되며 표준화된 레코드입니다. 후속 질문: 늦게 도착하거나 두 번 도착할 수 있는 이벤트 스트림의 중복을 어떻게 제거하며, 워터마킹은 어디에 사용하나요?
• 골드. 분석가와 대시보드를 위한 집계 및 비즈니스 수준 테이블입니다. 후속 질문: 정의는 누가 소유하며, 두 골드 테이블의 매출 수치가 서로 달라지는 일을 어떻게 막나요?
• 오케스트레이션. 작업, 태스크 종속성, 재시도, 알림입니다. 후속 질문: 재실행해도 이중 집계되지 않도록 작업을 어떻게 멱등성 있게 만드나요?
• 수집. 증분 파일 탐색을 위한 Auto Loader와 단순한 디렉터리 목록 조회가 확장되지 않는 이유를 설명합니다.

면접관은 비용도 질문합니다. 예약 작업에 다목적 클러스터가 적합하지 않은 이유, 작업 클러스터나 서버리스 컴퓨팅이 적합한 시점, 자동 확장과 스팟 인스턴스가 비용에 미치는 영향을 설명해야 합니다. 제약 조건을 밝히고, 메커니즘을 선택하고, 비용을 명시하세요.

시니어 면접에서는 증상을 제시합니다. 대표적인 예로, 소매 기업의 플랫폼 직무에 지원한 데이터 엔지니어가 주문과 고객 차원을 조인하는 야간 작업이 데이터 급증 후 몇 분에서 몇 시간으로 느려졌다는 상황을 받습니다. 좋은 답변은 더 큰 클러스터가 아니라 쿼리 실행 계획과 Spark UI부터 살펴봅니다. 조인이 브로드캐스트 조인에서 셔플 조인으로 바뀌었는지, 일부 키에 데이터가 쏠렸는지, 셔플 파티션 수가 여전히 데이터 규모에 맞는지, 소스 테이블에 OPTIMIZE로 해결할 수 있는 작은 파일 문제가 있는지 확인합니다. 면접관은 조사 순서를 평가합니다.

그 밖의 반복되는 시나리오도 있습니다. 지연이 계속 증가하는 스트리밍 작업에서 트리거 간격, 상태 크기, 워터마크가 상호 작용하는 방식, 한 사용자에게는 작동하지만 다른 사용자에게는 실패하는 노트북에서 흔히 권한 문제로 이어지는 Unity Catalog, 워크스페이스, 서비스 주체 관련 질문, 분석가가 오래된 데이터라고 불평하는 테이블에서 데이터 최신성과 오케스트레이션에 관한 질문, 다른 팀에 데이터를 안전하게 공개해 달라는 요청에서 Delta Sharing과 카탈로그 수준 권한 부여에 관한 질문이 나옵니다.

실제 통화 전에 후속 질문을 곁들여 소리 내어 연습하세요. 모의 면접 모드는 시나리오 질문에 맞게 설계되었으며, 더 폭넓은 데이터 및 엔지니어링 문제 모음은 직무 및 주제별 면접 질문에서 확인할 수 있습니다.

대화형 면접에서는 정직한 한계 내에서 가능합니다. SubcueAI의 네이티브 macOS 및 Windows 데스크톱 앱은 시스템 오디오와 마이크 음성을 캡처하고 로컬 오버레이에 짧은 답변 제안을 표시합니다. 면접관이 스트리밍 중복 제거에서 워터마크의 역할을 물으면, 화면에 표시된 메커니즘을 보면서 자신의 말로 설명할 수 있습니다. 브라우저 확장 프로그램은 회의 탭의 오디오만 캡처하여 Chrome과 Edge의 브라우저 탭 통화를 지원합니다. 봇이 통화에 참여하지 않으며 회의 페이지에 아무것도 삽입되지 않습니다. 설정 방법은 튜토리얼 페이지에서 확인할 수 있습니다.

한계도 있습니다. 감독하에 진행되는 평가, 화면이 녹화되는 평가, 회사 관리 노트북, 관찰받으며 PySpark를 작성하는 실시간 노트북 실습은 지원 범위 밖이며, Databricks 면접에서는 흔히 이런 방식으로 가장 어려운 부분을 평가합니다. 이 도우미는 아키텍처와 장단점 비교 질문에 가장 유용합니다. 먼저 이력서를 불러오면 제안 내용에 실제로 구축한 파이프라인이 반영됩니다. 해당 프로필은 이력서 작성 도구에 저장됩니다.