Data Engineer 面试题
来自各公司指南的代表性 Data Engineer 面试题,按考察点分组。它们是备考示例,不是任何公司经确认的题库。
行为面 (23)
请讲述一次你负责解决其他团队所依赖的数据质量问题的经历。
请讲述一次你负责的数据管道在生产环境中发生故障的经历。你采取了什么行动,之后又发生了哪些变化?
请描述一次你与利益相关者在数据模型上意见不一致的经历,以及问题最终如何解决。
每日任务部分失败后,你会如何确保任务能够安全重跑?
请介绍一个由你设计、但在上线后需要调整的数据模型。
请介绍一个由你设计、但上线后不得不修改的数据模型。你当时哪里判断错了?
请编写一个查询,找出滚动窗口内每台设备的首次故障事件,并说明你会如何测试该查询。
请介绍一个上线后不得不修改的数据模型,并说明如果重新设计,你会做出哪些不同选择。
设计一条把原始请求日志转换为用于计费的小时级用量表的管道。如何让它在部分失败后可以安全重跑?又如何回填?
讲讲你负责处理的一次影响了其他团队的数据质量问题。你是如何发现的?之后发生了什么改变?
讲讲你负责处理过的一次数据质量问题,其他团队依赖于此。之后你做了哪些改变?
设计一条每日运行的数据管道,把播放事件汇总到报表中。如何让它在部分失败后可以安全重跑,又如何做回填?
讲讲你负责的一个数据质量问题影响到其他团队的经历。你是如何发现的,之后有什么改变?
夜间作业部分失败后,你会如何确保其可以安全地重新运行?
请介绍一个由你设计、但在上线后不得不修改的数据模型。
编写一个查询,找出每台设备在某个时间窗口内的首次故障,并说明你会如何测试它。
你为什么特别想从事这个团队的数据问题相关工作?
请讲述一个上线后不得不修改的数据模型,以及你会采用哪些不同的设计。
请讲述一个上线后不得不更改的数据模型,以及你会采取哪些不同的设计方式。
你为什么想解决这个团队的数据问题?
编写一个查询,找出结算总额与交易总额不一致的账户,并说明你会如何测试。
请讲述一个由你负责、且其他团队依赖的数据质量问题。
讲述一个上线后必须修改的数据模型,以及你会采用哪些不同的设计。
编程 (14)
请编写一个查询,找出订单连续数月延迟发货的客户,并说明你会如何验证该查询。
编写一个查询,找出连续多日活跃的用户,并说明你会如何测试该查询。
编写一条查询,找出消费额逐月增长的客户,并说明你会如何验证结果。
编写一个 SQL 查询,返回每个账户的首次和最近一次 API 请求日期,并标记在某个截止日期之后没有任何请求的账户。
编写一个 Python 函数,解析嵌套的 JSON 记录,跳过格式错误的记录并记录原因,然后输出扁平的行。你会如何测试它?
给你一份原始的 API 使用日志。请设计一个报表层的表结构,用来回答每个客户每天的使用量,然后写出填充这些表的查询。
写一条 SQL 查询,找出每个客户最长的连续活跃天数,并说明你如何处理有重复事件的日期。
只用标准库写一个 Python 函数,读取按行分隔的 JSON 事件,跳过格式错误的行并统计原因,最后返回每种事件类型的总数。
编写一个 SQL 查询,返回每位会员的首次和最近一次观看日期,然后标记自某个截止日期以来没有任何活动的会员。
编写一个查询,找出连续多天活跃的会员,并说明你会如何测试该查询。
编写一条查询,找出滚动窗口内每辆车的首个故障事件,并说明你会如何测试该查询。
编写一个查询,找出每个单元在一个窗口内首次失败的测量结果,并说明你将如何测试该查询。
QUALIFY是做什么用的?如果不用它,你会怎么写?
什么是缓变维度?你会如何实现二型?
系统设计 (27)
你会如何设计一条数据管道,用于摄取点击流事件,并在几分钟内让这些数据可供查询?
请设计一个系统:从多个区域摄取订单事件,并使这些数据可用于每日报告和近实时警报。
设计一条将原始应用事件转换为每日参与度指标的数据管道,并说明如何处理晚到一天的事件。
上游模式变更后,某项指标下降了。你如何判断这次下降是否真实?
设计一条数据管道,将多个地区的每日销售文件载入同一张报表表格,并在某个地区的数据延迟时避免阻塞其他地区。
下游仪表板显示的数据与源系统不一致。你会如何查明差异是在哪里产生的?
你会在什么情况下选择流处理设计而非计划批处理?这会带来哪些成本?
请设计一条数据管道,用于收集数千台设备的遥测数据,并让这些数据既可用于每日报告,也可用于临时分析。
下游团队表示昨天的汇总结果有误。你会如何找出数据管道在哪个环节引入了错误?
你会在什么情况下选择流处理设计而不是定时批处理?这种选择会带来哪些复杂度成本?
设计一条数据管道,把多个服务的使用事件写入用于计费的数仓表。你如何保证幂等?如何回填漏掉的一天?
仪表盘上的某个指标一夜之间大幅下降。请说明你如何判断这是真实变化还是数据管道的问题。
离线设备上的事件可能迟到数小时。在一条发布每小时指标的数据管道中,你如何处理迟到的数据?
设计一条数据管道,将会员活动事件转换为每日互动指标,并妥善处理晚到一天的事件。
仪表板显示指标下降,但源系统没有出现下降。你会如何查明差异是在哪里引入的?
设计一条数据管道,从数百万台设备摄取设备诊断数据,并使其可供每日报告查询和隐私安全分析使用。
上游架构变更后,一项每日指标下降了。你如何查明这次下降是否真实?
设计一条管道,摄取大型车队的遥测数据,并使其可供每日报告查询和近实时警报使用。
某工厂仪表板显示的总数与源系统不一致。你会如何找出差异是在哪里引入的?
设计一条管道,将来自多个来源的支付事件核对后写入每日账本,并确保绝不重复计数。
这里有一条你从未见过的管道和一个失败的作业。请找出原因。
设计一条管道,从多条制造产线收集测试数据,并让这些数据可用于每日良率报告查询和临时分析。
每日汇总结果与源系统不一致。你会如何找出管道在哪个环节引入了差异?
为一个在线交易市场的订单历史设计表结构。你的事实表粒度是什么?
解释星型模式,以及你什么时候会主动进一步反规范化。
你会如何让一个管道具备幂等性?这对重跑为什么重要?
你会如何检测出一个管道运行成功了,但产出的数据是错误的?
技术 (38)
请逐步介绍你为订阅制业务设计的数据模型,并说明如何处理套餐随时间发生的变更。
某个夜间作业开始生成重复行。你会如何找出原因,并防止问题再次发生?
对于报表使用场景,你会如何在批处理与流处理之间作出选择?
你如何决定大型分析表中哪些内容应进行分区、聚类或建立索引?
你会如何确保回填可以安全重跑而不会重复计数?
你会在什么情况下选择列式格式而非行式存储,这会带来哪些代价?
对于产品指标,你会在什么情况下选择流处理而非批处理,其成本是什么?
你会如何确保夜间批处理作业能够安全重跑?
如何确保大规模回填能够安全地重新运行,而不会重复计数?
给定一张可能包含重复记录的用量事件表,计算每个账户的每日用量,并解释你如何选择去重键。
为追踪哪些数据集供给哪些下游表的需求建模。每张表的粒度是什么?你如何检测依赖关系被破坏?
上游数据源在一夜之间重命名了一列,导致一个仪表盘变成空白。请说明你会如何找出原因、修复并防止再次发生。
你会如何为缓慢变化的客户属性(例如套餐等级)建模,使历史报表保持正确?
给定一张订阅开始与取消事件表,找出取消后又重新订阅的账户,并说明你如何处理重复事件。
为跟踪会员开始、暂停和看完了哪些节目建立数据模型。事实表的粒度是什么,哪些属性应放在维度表中?
哪类数据工作最让你兴奋,哪个近期项目能体现这一点?
对于产品指标,你会在什么情况下选择流处理而非批处理?这样做有何成本?
你会如何确保回填可以安全地重新运行,同时避免重复计数?
你会如何确保大规模回填可以安全重跑且不会重复计数?
如果只有一个陌生 API 的文档,你会如何在一小时内构建可运行的数据摄取作业?
针对财务报告,你会在什么情况下选择流处理而非批处理?这会付出怎样的正确性成本?
如何确保大规模历史数据回填能够安全重跑且不会重复计数?
在监控用例中,你何时会选择流处理而非批处理,其成本是什么?
这个查询扫描了十亿行数据,耗时二十分钟。你会如何诊断?
解释分区(partitioning)和聚簇(clustering)的区别,以及各自适用的场景。
某相关方希望历史报表反映客户当前所在的地区。这会导致什么问题?
你会如何为一个乱序到达的事件流建模?
什么时候你会选择宽表而不是规范化模型?
上游数据源把昨天的数据又发了一遍。你的任务会发生什么?
你会如何在不打断每日加载的情况下回填两年的历史数据?
某个分区已经关闭三天后,延迟到达的数据才出现。你会怎么做?
你会监控什么指标?凌晨三点会因为什么而呼叫你?
什么会导致shuffle?为什么它的代价很高?
你的任务运行很慢,其中一个task耗时远超其他task。发生了什么?
解释数据倾斜(data skew),以及两种应对方法。
什么时候你会选择流处理而不是定时批处理任务?
「恰好一次」处理到底保证了什么?在哪些情况下它并不成立?
在窗口聚合中,水位线(watermark)是如何处理乱序事件的?