Data Engineer 면접 질문
각 회사 가이드에서 뽑은 대표적인 Data Engineer 면접 질문을 평가 항목별로 묶었습니다. 준비용 예시이며 특정 회사의 확정된 문제 은행이 아닙니다.
행동 면접 (18)
다른 팀이 의존하는 데이터 품질 문제를 책임지고 해결했던 경험을 말씀해 주세요.
프로덕션 환경에서 실패한 데이터 파이프라인을 직접 책임지고 해결했던 경험을 말씀해 주세요. 무엇을 했으며 그 후 무엇이 달라졌나요?
데이터 모델을 두고 이해관계자와 의견이 달랐던 경험과 이를 어떻게 해결했는지 설명해 주세요.
부분 실패 후 일일 작업을 안전하게 재실행할 수 있도록 어떻게 설계하겠습니까?
출시 후 변경해야 했던 데이터 모델을 설계한 경험을 이야기해 주세요.
출시 후 변경해야 했던 데이터 모델을 설계한 경험을 말해 주세요. 무엇을 잘못 판단했습니까?
롤링 윈도우 내에서 각 기기의 첫 번째 장애 이벤트를 찾는 쿼리를 작성하고, 이를 어떻게 테스트할지 설명하세요.
출시 후 변경해야 했던 데이터 모델과 다시 설계한다면 무엇을 다르게 할지 설명해 주세요.
부분 장애가 발생한 후에도 야간 작업을 안전하게 재실행할 수 있도록 어떻게 설계하겠습니까?
출시 후 변경해야 했던 데이터 모델을 설계한 경험에 관해 이야기해 주세요.
특정 기간 내 각 기기에서 처음 발생한 장애를 찾는 쿼리를 작성하고 이를 어떻게 테스트할지 설명해 보세요.
특히 이 팀의 데이터 문제를 다루고 싶은 이유는 무엇인가요?
출시 후 변경해야 했던 데이터 모델과 다시 설계한다면 무엇을 다르게 할지 이야기해 주세요.
출시 후 변경해야 했던 데이터 모델과, 다시 설계한다면 무엇을 다르게 할지 이야기해 주세요.
이 팀의 데이터 문제를 다루는 일을 원하는 이유는 무엇인가요?
정산 총액과 거래 총액이 일치하지 않는 계정을 찾는 쿼리를 작성하고, 이를 어떻게 테스트할지 설명하세요.
다른 팀들이 의존했던 데이터 품질 문제를 직접 책임지고 해결한 경험을 이야기해 주세요.
출시 후 변경해야 했던 데이터 모델과 다시 설계한다면 무엇을 다르게 할지 설명해 주세요.
코딩 (8)
연속된 월에 주문 배송이 지연된 고객을 식별하는 쿼리를 작성하고, 이를 어떻게 검증할지 설명해 주세요.
연속된 날짜에 활동한 사용자를 찾는 쿼리를 작성하고 테스트 방법을 설명하세요.
월별 지출이 전월보다 증가한 고객을 찾는 쿼리를 작성하고, 결과를 어떻게 검증할지 설명하세요.
연속된 날짜에 활동한 회원을 찾는 쿼리를 작성하고, 이를 어떻게 테스트할지 설명하세요.
이동 구간 내에서 차량별 최초 결함 이벤트를 찾는 쿼리를 작성하고, 이를 어떻게 테스트할지 설명하세요.
각 장치에서 일정 구간 내 처음 실패한 측정값을 찾는 쿼리를 작성하고 테스트 방법을 설명하세요.
QUALIFY는 무엇을 하는가, 그것 없이는 어떻게 작성하겠는가?
천천히 변하는 차원이란 무엇인가, 그 두 번째 유형을 어떻게 구현하는가?
시스템 설계 (24)
클릭스트림 이벤트를 수집해 몇 분 안에 쿼리할 수 있게 만드는 파이프라인을 어떻게 설계하시겠습니까?
여러 리전의 주문 이벤트를 수집해 일일 보고와 준실시간 알림에 사용할 수 있도록 하는 시스템을 설계해 보세요.
원시 앱 이벤트를 일일 참여 지표로 변환하는 파이프라인을 설계하고 하루 늦게 도착하는 이벤트를 어떻게 처리할지 설명하세요.
업스트림 스키마 변경 후 지표가 하락했습니다. 이 하락이 실제 현상인지 어떻게 확인하겠습니까?
여러 지역의 일일 판매 파일을 하나의 보고 테이블로 불러오면서, 늦게 도착한 지역의 파일이 다른 지역의 처리를 막지 않도록 하는 파이프라인을 설계하세요.
다운스트림 대시보드의 수치가 소스 시스템과 일치하지 않습니다. 차이가 어느 단계에서 발생했는지 어떻게 찾겠습니까?
예약된 배치 대신 스트리밍 설계를 선택하는 경우는 언제이며, 그 선택으로 어떤 비용이 발생합니까?
수천 대의 기기에서 원격 측정 데이터를 수집하여 일일 보고서와 임시 분석 모두에서 조회할 수 있게 하는 파이프라인을 설계하세요.
다운스트림 팀에서 어제의 합계가 잘못되었다고 합니다. 파이프라인의 어느 지점에서 오류가 발생했는지 어떻게 찾겠습니까?
어떤 경우에 예약된 배치보다 스트리밍 설계를 선택하며, 그로 인해 어떤 복잡성 비용이 발생합니까?
회원 활동 이벤트를 일일 참여 지표로 변환하고 하루 늦게 도착하는 이벤트도 처리하는 파이프라인을 설계하세요.
대시보드에는 감소가 표시되지만 원천 시스템에는 표시되지 않습니다. 차이가 어디에서 발생했는지 어떻게 찾겠습니까?
수백만 대의 기기에서 진단 데이터를 수집하고 일일 보고서 작성과 개인정보를 보호하는 분석을 위해 조회할 수 있게 만드는 파이프라인을 설계해 보세요.
업스트림 스키마 변경 후 일일 지표가 하락했습니다. 실제 하락인지 어떻게 확인하시겠어요?
대규모 차량의 텔레메트리를 수집하여 일일 보고서와 준실시간 알림에 사용할 수 있도록 조회 가능한 형태로 만드는 파이프라인을 설계하세요.
공장 대시보드의 합계가 소스 시스템과 일치하지 않습니다. 차이가 발생한 지점을 어떻게 찾겠습니까?
여러 원천의 결제 이벤트를 절대 중복 집계하지 않아야 하는 일일 원장으로 대사하는 파이프라인을 설계하세요.
처음 보는 파이프라인에서 작업 하나가 실패했습니다. 원인을 찾으세요.
여러 제조 라인에서 테스트 데이터를 수집해 일일 수율 보고서와 비정형 분석에 활용할 수 있도록 조회 가능한 파이프라인을 설계하세요.
일일 집계 결과가 소스 시스템과 일치하지 않습니다. 파이프라인의 어느 지점에서 차이가 발생했는지 어떻게 찾겠습니까?
온라인 마켓플레이스의 주문 이력을 위한 테이블을 설계한다. 팩트 테이블의 그레인은 무엇인가?
스타 스키마를 설명하고, 언제 의도적으로 더 비정규화할지 말한다.
파이프라인을 멱등하게 만드는 방법은 무엇이며, 그것이 재실행에 왜 중요한가?
파이프라인이 성공했지만 잘못된 데이터를 만들어냈다는 것을 어떻게 탐지하겠는가?
기술 (31)
구독 비즈니스의 데이터 모델을 단계별로 설명하고, 시간에 따른 요금제 변경을 어떻게 처리할지 말씀해 주세요.
야간 작업에서 중복 행이 생성되기 시작했습니다. 원인을 어떻게 찾고 재발을 어떻게 방지하시겠습니까?
보고 사용 사례에서 배치와 스트리밍 중 무엇을 사용할지 어떻게 결정하시겠습니까?
대규모 분석 테이블에서 파티셔닝, 클러스터링 또는 인덱싱 대상을 어떻게 결정하시겠습니까?
중복 집계 없이 백필을 안전하게 재실행할 수 있도록 하려면 어떻게 하시겠습니까?
어떤 경우에 행 기반 저장 방식보다 열 기반 형식을 선택하며, 그로 인해 어떤 비용이 발생하나요?
제품 지표에 배치 대신 스트리밍을 선택하는 경우는 언제이며, 그 비용은 무엇인가요?
야간 배치 작업을 안전하게 재실행할 수 있도록 하려면 어떻게 하겠습니까?
대규모 백필을 중복 집계 없이 안전하게 재실행할 수 있도록 어떻게 설계하겠습니까?
제품 지표에 배치 대신 스트리밍을 선택하는 경우는 언제이며, 그 비용은 무엇인가요?
중복 집계 없이 백필을 안전하게 재실행할 수 있도록 어떻게 설계하시겠어요?
대규모 백필을 중복 집계 없이 안전하게 재실행할 수 있도록 어떻게 설계하겠습니까?
익숙하지 않은 API의 문서만 주어졌을 때, 한 시간 안에 작동하는 수집 작업을 어떻게 구축하겠습니까?
재무 보고서에 배치 대신 스트리밍을 선택하는 경우는 언제이며, 정확성 측면에서 어떤 비용이 따르나요?
대규모 백필을 중복 집계 없이 안전하게 재실행할 수 있도록 어떻게 설계하겠습니까?
모니터링 사용 사례에서 배치 대신 스트리밍을 선택하는 경우는 언제이며, 어떤 비용이 발생하나요?
이 쿼리는 십억 행을 스캔하고 이십 분이 걸린다. 어떻게 진단하겠는가?
파티셔닝과 클러스터링의 차이를 설명하고, 각각 언제 도움이 되는지 말한다.
한 이해관계자가 과거 리포트에도 고객의 현재 지역이 반영되기를 원한다. 무엇이 깨지는가?
순서가 뒤바뀌어 도착하는 이벤트 스트림을 어떻게 모델링하겠는가?
정규화된 모델보다 넓은 테이블을 선택하는 것은 언제인가?
업스트림 소스가 어제 데이터를 다시 보냈다. 당신의 작업에는 무슨 일이 일어나는가?
일별 적재를 방해하지 않으면서 두 해치 이력을 어떻게 백필하겠는가?
파티션이 닫힌 지 사흘 뒤에 지연 도착 데이터가 나타난다. 어떻게 하겠는가?
무엇을 모니터링하며, 새벽 세 시에 누군가를 호출하는 것은 무엇인가?
셔플을 일으키는 원인은 무엇이며, 왜 비용이 큰가?
작업이 느리고 하나의 태스크만 나머지보다 훨씬 오래 걸린다. 무슨 일이 벌어지고 있는가?
데이터 스큐를 설명하고, 이를 다루는 두 가지 방법을 말한다.
예약된 배치 작업 대신 스트리밍을 선택하는 것은 언제인가?
정확히 한 번 처리는 실제로 무엇을 보장하며, 어디에서 성립하지 않는가?
윈도우 집계에서 워터마크는 순서가 뒤바뀐 이벤트를 어떻게 처리하는가?