สัมภาษณ์ Data Engineer ที่ Netflix: กระบวนการและการเตรียมตัว

คุณได้รับข้อความจากผู้สรรหาของ Netflix และอยากรู้ว่าขั้นตอนถัดไปมีอะไรบ้าง ส่วนนี้แยกสิ่งที่ Netflix ระบุเองออกจากแนวปฏิบัติทั่วไปสำหรับตำแหน่งวิศวกรข้อมูล โดยเริ่มจากข้อเท็จจริงที่เผยแพร่ก่อน แล้วตามด้วยขั้นตอนที่ควรเตรียมตัว

Netflix เผยแพร่บันทึกกระบวนการสำหรับการจ้างงานระดับเริ่มต้นอาชีพ ไม่ใช่รายละเอียดของแต่ละตำแหน่งสำหรับผู้มีประสบการณ์ สำหรับผู้สมัครจบใหม่ บริษัทระบุว่าการสัมภาษณ์มักเริ่มด้วยการประเมินแบบ take-home ตามด้วยการสัมภาษณ์สองรอบ และการเลื่อนขั้นขึ้นอยู่กับผลตอบรับในแต่ละขั้น ผู้สมัครฝึกงานมักได้รับการประเมินแบบ take-home ตามด้วยประมาณสองถึงสามรอบ ในทุกตำแหน่ง Netflix ระบุว่าผู้สัมภาษณ์ประเมินทักษะด้านเทคนิคเมื่อเกี่ยวข้อง ทักษะเฉพาะตำแหน่ง และทักษะด้านพฤติกรรม และต้องการเรียนรู้เกี่ยวกับชุดทักษะของคุณและงานประเภทที่ทำให้คุณตื่นเต้น

Netflix ไม่ได้เผยแพร่ลูปแยกสำหรับ data engineer ที่มีประสบการณ์: ไม่มีชื่อรอบ ไม่มีจำนวนการสัมภาษณ์ ไม่มีลำดับตายตัว ผู้สรรหาของคุณเป็นแหล่งข้อมูลเดียวที่เชื่อถือได้สำหรับตารางเวลาของคุณเอง จึงควรถามตรงๆ ว่าแต่ละการสนทนาครอบคลุมด้านใด และมี take-home ด้วยหรือไม่

เพื่อการวางแผน การคิดตามขั้นตอนที่ลูปวิศวกรรมข้อมูลมักมีในบริษัทเทคโนโลยีขนาดใหญ่จะเป็นประโยชน์ นี่เป็นหมวดการเตรียมตัวที่มาจากแนวปฏิบัติทั่วไปของตำแหน่งนี้ ไม่ใช่ชื่อรอบของ Netflix:

• การสนทนากับผู้สรรหา ภูมิหลังของคุณ ทีม เรื่องการจัดการ และสิ่งที่ดึงดูดคุณเข้าสู่งานนี้
• การคัดกรองด้านเทคนิค มักเป็น SQL และการเขียนโปรแกรมเล็กน้อย และมักมีการพูดคุยถึง pipeline ที่คุณเคยสร้าง
• การประเมินแบบ take-home เป็นส่วนหนึ่งของกระบวนการที่ Netflix ระบุสำหรับจบใหม่และฝึกงาน ควรถามว่าใช้กับระดับของคุณหรือไม่
• การสัมภาษณ์เทคนิคเชิงลึก data modeling การออกแบบ pipeline และระบบ และ SQL ที่ยากขึ้น
• การสนทนาด้านพฤติกรรมและแรงจูงใจ คุณทำงานกับผู้อื่นอย่างไร และอยากรับผิดชอบปัญหาแบบใด

กระทู้ใน Reddit และ Blind อธิบายลูปแต่ละรายอย่างละเอียด ให้ถือว่าแต่ละกระทู้เป็นประสบการณ์ของผู้สมัครหนึ่งคนในหนึ่งทีม ไม่ใช่คำอธิบายว่า Netflix สัมภาษณ์ data engineer ทุกคนอย่างไร

Netflix ระบุสามสิ่งที่ผู้สัมภาษณ์ประเมิน ได้แก่ ทักษะด้านเทคนิค ทักษะเฉพาะตำแหน่ง และทักษะด้านพฤติกรรม สำหรับ data engineer เส้นแบ่งระหว่างเทคนิคกับเฉพาะตำแหน่งบางมาก จึงมีประโยชน์กว่าที่จะจับคู่กับด้านต่างๆ ด้านล่าง คำถามตัวอย่างในหน้านี้เป็นโจทย์ฝึกที่เป็นตัวแทน ไม่ใช่คำถามที่ Netflix ยืนยันว่าถาม

• ความคล่อง SQL join ที่ไม่ทำให้แถวคูณกัน window function สำหรับการจัดอันดับและยอดรวมสะสม การกำจัดข้อมูลซ้ำ gaps and islands และการทำ sessionize สตรีมเหตุการณ์ ผู้สัมภาษณ์มักสนใจว่าคุณอธิบายได้หรือไม่ว่าทำไมคิวรีถูกต้อง ไม่ใช่แค่ว่าให้ผลลัพธ์
• การเขียนโปรแกรมสำหรับข้อมูล การ parse แปลง และรวมข้อมูลเรคคอร์ดด้วย Python หรือภาษาตระกูล JVM โดยใส่ใจหน่วยความจำ กรณีขอบ และโค้ดที่อ่านง่าย คำถามอัลกอริทึมแนวปริศนาเป็นไปได้ จึงยังควรทบทวนโครงสร้างข้อมูลพื้นฐาน
• Data modeling การเลือก grain ของ fact table การแยก fact ออกจาก dimension การจัดการแอตทริบิวต์ที่เปลี่ยนตามเวลา และการออกแบบตารางที่นักวิเคราะห์คิวรีได้โดยไม่ติดกับดัก
• การออกแบบ pipeline และระบบ batch เทียบกับ streaming การทำ partition การเขียนแบบ idempotent backfill เหตุการณ์ที่มาล่าช้า การเปลี่ยน schema และการตรวจสอบคุณภาพข้อมูล คาดว่าจะมีคำถามต่อเนื่องที่เปลี่ยนข้อกำหนดกลางคัน
• วิจารณญาณด้านพฤติกรรม การรับผิดชอบต่อความล้มเหลว ความเห็นไม่ตรงกับผู้มีส่วนได้ส่วนเสียเรื่องนิยามตัวชี้วัด และการแลกเปลี่ยนระหว่างความเร็วกับความถูกต้อง
• แรงจูงใจ Netflix ระบุว่าผู้สัมภาษณ์อยากรู้ว่างานประเภทใดทำให้คุณตื่นเต้น คำตอบที่คลุมเครือทำให้เสียคำถามที่บริษัทบอกว่าสำคัญ

ในทั้งหมดนี้ เส้นด้ายร่วมคือการคิดออกเสียง ผู้สมัครที่เขียนคิวรีถูกต้องอย่างเงียบๆ กับผู้สมัครที่อธิบาย grain คีย์ join และกรณีขอบก่อนพิมพ์ มักได้ผลตอบรับต่างกัน แม้โค้ดเหมือนกัน โจทย์ฝึกเพิ่มเติมที่จัดกลุ่มตามทักษะอยู่ในคลังคำถาม

ในบริษัทเทคโนโลยีขนาดใหญ่ส่วนใหญ่ ลูปของ data engineer ทับซ้อนกับสองตำแหน่งข้างเคียง แต่ให้น้ำหนักทักษะต่างกัน Netflix ไม่ได้เผยแพร่ความแตกต่างรายตำแหน่งสำหรับผู้มีประสบการณ์ ดังนั้นการเปรียบเทียบด้านล่างเป็นแนวปฏิบัติทั่วไป ไม่ใช่ข้อความเกี่ยวกับลูปอื่นของ Netflix

• เทียบกับวิศวกรรมซอฟต์แวร์ เน้นปริศนาอัลกอริทึมน้อยลง และเน้น SQL data modeling และความน่าเชื่อถือของ pipeline มากขึ้น คำถามการออกแบบระบบมักเน้นที่ข้อมูลเคลื่อนที่ ลงจอด และถูกแก้ไขอย่างไร มากกว่าบริการที่ตอบสนองคำขอ
• เทียบกับวิทยาศาสตร์ข้อมูล สถิติ การทดลอง และการสร้างแบบจำลองผลลัพธ์น้อยลง เน้นการสร้างและดูแลตารางที่นักวิเคราะห์และนักวิทยาศาสตร์พึ่งพามากขึ้น คุณยังอาจถูกถามว่าตัวชี้วัดนิยามอย่างไร เพราะ data engineer มักเป็นเจ้าของตารางที่อยู่เบื้องหลัง
• เทียบกับ analytics engineering เส้นแบ่งไม่ชัด ตำแหน่ง analytics engineer มักเอนไปทาง modeling และ SQL สำหรับรายงานมากกว่า ส่วนตำแหน่ง data engineer ลงลึกในการนำเข้าข้อมูล การประมวลผลแบบกระจาย และโครงสร้างพื้นฐาน

ระหว่างบริษัท ความต่างที่ใหญ่กว่ามักเป็นว่าลูปพึ่งงาน take-home เทียบกับการแก้ปัญหาสดมากเพียงใด กระบวนการที่ Netflix ระบุสำหรับจบใหม่และฝึกงานเริ่มด้วยการประเมินแบบ take-home ซึ่งให้รางวัลงานที่สะอาดและมีเอกสารมากกว่าความเร็ว คู่มือเกี่ยวกับการจัดโครงสร้างลูปของบริษัทอื่นรวบรวมไว้ในสัมภาษณ์งานตามบริษัท

Netflix ไม่ได้เผยแพร่ไทม์ไลน์การจ้าง data engineer การจัดตารางขึ้นอยู่กับทีม ระดับของคุณ และความว่างของผู้สัมภาษณ์ ดังนั้นควรถามผู้สรรหาเมื่อคุณอยู่ในกระบวนการแล้ว

ความยากอธิบายเชิงคุณภาพได้ง่ายกว่า Netflix ระบุว่าการเลื่อนขั้นอิงผลตอบรับในแต่ละขั้น หมายความว่าทุกขั้นเป็นด่าน ไม่ใช่คะแนนที่เฉลี่ยตอนท้าย take-home ที่อ่อนหรือการคัดกรอง SQL ที่ไม่มั่นคงอาจจบกระบวนการก่อนถึงการสนทนาเรื่องการออกแบบ ไม่ว่าภายหลังคุณจะเก่งเพียงใด

ส่วนที่ยากสำหรับผู้สมัครส่วนใหญ่ไม่ใช่ไวยากรณ์ที่คลุมเครือ แต่เป็นความลึกเมื่อถูกถามต่อ: คุณออกแบบ pipeline ผู้สัมภาษณ์เพิ่มข้อมูลที่มาล่าช้า แล้วเปลี่ยน schema แล้วถามว่าคุณจะรู้ได้อย่างไรว่าผลลัพธ์ผิด ผู้สมัครที่เคยดูแล pipeline ใน production มักรับมือกับการเปลี่ยนแปลงนี้ได้ดีกว่าผู้ที่สร้างมาเท่านั้น

ผู้สมัครระดับอาวุโสควรคาดหวังน้ำหนักด้านวิจารณญาณที่มากขึ้นด้วย การเลือกว่าไม่ควรสร้างอะไร การอธิบายข้อแลกเปลี่ยนให้ผู้มีส่วนได้ส่วนเสียที่ไม่ใช่สายเทคนิค และการรับผิดชอบต่อความผิดพลาดในอดีต ล้วนนับเป็นทักษะเฉพาะตำแหน่งในระดับนั้น

สร้างการเตรียมตัวรอบสามด้านที่ Netflix ระบุ แล้วเพิ่ม take-home หากผู้สรรหายืนยันว่ามี

• เทคนิค: SQL ก่อน ฝึก window function การกำจัดข้อมูลซ้ำ และการทำ sessionize เหตุการณ์ จนเขียนได้โดยไม่ต้องเปิดอ้างอิง สำหรับทุกคิวรี ให้พูดออกเสียงถึง grain ของผลลัพธ์ก่อนรัน
• เทคนิค: โค้ด ฝึกแปลงเรคคอร์ดที่ซ้อนกันหรือรกในภาษาหลักของคุณ และทบทวนโครงสร้างข้อมูลหลัก เผื่อการคัดกรองมีโจทย์อัลกอริทึมแบบคลาสสิก
• เฉพาะตำแหน่ง: modeling และ pipeline เลือกโดเมนที่คุณรู้จัก เช่น การสมัครสมาชิกหรือบันทึกเหตุการณ์ แล้วร่างตาราง grain และ pipeline ที่เติมข้อมูล จากนั้นทดสอบการออกแบบ: การรันซ้ำหลังล้มเหลวบางส่วน backfill แบตช์ที่มาช้า คอลัมน์ที่เปลี่ยนชื่อ
• พฤติกรรม: เรื่องราวที่มีผลลัพธ์ เตรียมความล้มเหลวของ pipeline ที่คุณเป็นเจ้าของ ความเห็นไม่ตรงกันเรื่องนิยามตัวชี้วัด และข้อแลกเปลี่ยนที่ตอนนี้คุณจะทำต่างออกไป โครงสร้าง STAR ช่วยได้หากคุณมักพูดวน แต่ให้ผลลัพธ์เจาะจง
• แรงจูงใจ: งานที่ทำให้คุณตื่นเต้น Netflix ระบุว่าผู้สัมภาษณ์ต้องการรู้เรื่องนี้ ระบุประเภทปัญหาข้อมูลและชี้ไปที่โปรเจกต์ที่แสดงมัน แทนการชมบริษัท
• Take-home หากได้รับมอบหมาย ปฏิบัติต่องานนี้เหมือนงาน production: มีการทดสอบ README สั้นๆ อธิบายสมมติฐาน และการจัดการอินพุตที่ไม่ดีอย่างชัดเจน

ลองนึกถึง data engineer ที่ประสบการณ์ส่วนใหญ่เป็น ETL แบบแบตช์รายคืนที่ร้านค้าปลีก เขาใช้การฝึกช่วงแรกกับ SQL แบบ window function แล้วซ้อมอธิบายว่าจะทำให้ backfill รันซ้ำได้อย่างปลอดภัยอย่างไร เพราะนั่นคือที่ที่เรื่องราวจริงของเขาอยู่ เมื่อคำถามด้านพฤติกรรมมาถึง เขาตอบด้วยความล้มเหลวของ pipeline ที่เขาเป็นเจ้าของ แทนตัวอย่างการทำงานเป็นทีมทั่วไป

ขั้นสุดท้ายคือพูดทั้งหมดนี้ออกเสียง เพราะทุกขั้นคือการสนทนา หน้าสัมภาษณ์จำลองของ SubcueAI ให้คุณฝึกตอบคำถามวิศวกรรมข้อมูลออกเสียงก่อนการคัดกรองจริง