สัมภาษณ์ Data Engineer ที่ OpenAI: ขั้นตอนและการเตรียมตัว

คุณได้รับอีเมลจากผู้สรรหาของ OpenAI และอยากรู้ว่าขั้นต่อไปคืออะไรก่อนจะตกลงนัดหมาย ส่วนนี้สรุปสิ่งที่ OpenAI ระบุเองเกี่ยวกับกระบวนการของตน แล้วตามด้วยขั้นตอนที่รอบสัมภาษณ์ด้าน data engineering มักมี ให้ถือข้อเท็จจริงที่เผยแพร่เป็นจุดตายตัว และที่เหลือเป็นเรื่องของการเตรียมตัว

OpenAI เผยแพร่คู่มือสัมภาษณ์ทั่วไปแทนการแจกแจงเป็นรายตำแหน่ง และไม่ได้เผยแพร่รอบสัมภาษณ์แยกสำหรับ data engineer สิ่งที่ระบุไว้ใช้กับการจ้างงานทั้งหมด:

• การตรวจเรซูเม่ ทีมสรรหามักใช้เวลาหนึ่งสัปดาห์ในการตรวจเรซูเม่และตอบกลับ
• การตัดสินใจหลังแต่ละขั้น ผู้สมัครจะทราบภายในหนึ่งสัปดาห์หลังแต่ละขั้นว่าได้ไปต่อหรือไม่
• การสัมภาษณ์รอบสุดท้าย ผู้สมัครมักใช้เวลา 4-6 ชั่วโมงในการสัมภาษณ์รอบสุดท้ายกับ 4-6 คนในช่วง 1-2 วัน
• รูปแบบ การสัมภาษณ์เป็นแบบออนไลน์โดยค่าเริ่มต้น และผู้สมัครเลือกสัมภาษณ์แบบพบหน้าที่สำนักงานซานฟรานซิสโกได้
• การตัดสินใจขั้นสุดท้าย ผู้สมัครควรคาดว่าจะได้รับคำตอบภายในหนึ่งสัปดาห์หลังการสัมภาษณ์รอบสุดท้าย

OpenAI ไม่ได้เผยแพร่ว่ามีการสัมภาษณ์กี่ครั้งก่อนรอบสุดท้ายสำหรับ data engineer เรียกว่าอะไร หรือเรียงลำดับอย่างไร ผู้สรรหาของคุณเป็นแหล่งข้อมูลที่เชื่อถือได้ ดังนั้นควรถามว่าแต่ละการสนทนาครอบคลุมด้านใด และส่วนใดอนุญาตให้ใช้เครื่องมือ AI หรือไม่

เพื่อการวางแผน ขั้นตอนด้านล่างเป็นหมวดหมู่การเตรียมตัวทั่วไปสำหรับตำแหน่ง data engineering ในบริษัทเทคโนโลยีขนาดใหญ่ ไม่ใช่ชื่อรอบของ OpenAI:

• การคุยกับผู้สรรหา ประวัติ แรงจูงใจ ทีม และเรื่องจัดการ เช่น รอบสุดท้ายแบบออนไลน์หรือพบหน้า
• การคัดกรองทางเทคนิค มักเป็น SQL และโค้ดบางส่วน โดยมักมีคำถามเกี่ยวกับ pipeline ที่คุณเคยดูแลใน production
• การคุยกับ hiring manager ระบบที่คุณสร้าง ขนาดและความยุ่งเหยิงของข้อมูลที่คุณจัดการ และข้อแลกเปลี่ยนที่คุณเลือก
• การสัมภาษณ์รอบสุดท้าย การเขียนโค้ดเชิงลึกขึ้น data modeling การออกแบบ pipeline หรือระบบ และการสนทนาด้านพฤติกรรม กระจายไปยัง 4-6 คนที่ OpenAI อธิบายไว้

โพสต์บน Reddit, Glassdoor และเว็บบอร์ดทำนองเดียวกันอธิบายรอบสัมภาษณ์เป็นรายกรณีอย่างละเอียด แต่ละโพสต์สะท้อนผู้สมัครหนึ่งคนในทีมหนึ่งในช่วงเวลาหนึ่ง จึงควรใช้ดูขอบเขตหัวข้อ ไม่ใช่ใช้เป็นตารางเวลา

สำหรับการสัมภาษณ์วิศวกร OpenAI ระบุว่าโดยทั่วไปมองหาวิธีแก้ที่ออกแบบมาดี โค้ดคุณภาพสูง ประสิทธิภาพที่เหมาะสมที่สุด และ test coverage ที่ดี เกณฑ์เหล่านี้เขียนขึ้นสำหรับวิศวกรโดยรวม แต่สอดคล้องกับงานด้านข้อมูลอย่างใกล้ชิด คำถามตัวอย่างในหน้านี้เป็นโจทย์ฝึกซ้อม ไม่ใช่คำถามที่ OpenAI ยืนยันว่าถามจริง

• วิธีแก้ที่ออกแบบมาดี: การทำ modeling และออกแบบ pipeline การเลือก grain ของตาราง การแยก fact ออกจาก dimension การตัดสินใจระหว่าง batch และ streaming และการวางแผนรับมือ backfill ข้อมูลที่มาช้า และการเปลี่ยน schema ดีไซน์ที่รอดจากข้อกำหนดที่เปลี่ยนไปถือว่าออกแบบมาดี ส่วนดีไซน์ที่เหมาะกับโจทย์เดิมเท่านั้นไม่ใช่
• โค้ดคุณภาพสูง: Python และ SQL ที่คุณกล้านำขึ้นใช้จริง ชื่อที่ชัดเจน ฟังก์ชันเล็ก การจัดการ null และเรกคอร์ดที่เสียอย่างชัดแจ้ง และ join ที่คุณอธิบายเหตุผลได้ ผู้สัมภาษณ์มักสนใจว่าคุณอธิบายได้หรือไม่ว่าทำไมคิวรีถูกต้อง ไม่ใช่แค่รันได้
• ประสิทธิภาพที่เหมาะสมที่สุด: ต้นทุนและขนาด การทำ partitioning การเลี่ยง full scan การลด shuffle ในงานแบบกระจาย และการรู้ว่าเมื่อใดคำตอบโดยประมาณยอมรับได้ ควรบอกว่าคอขวดอยู่ตรงไหนก่อนเสนอวิธีแก้
• test coverage ที่ดี: คุณภาพข้อมูลในฐานะการทดสอบ สำหรับ data engineer หมายถึง unit test ของการแปลงข้อมูลและการตรวจสอบตัวข้อมูลเอง เช่น จำนวนแถวเทียบกับที่คาด คีย์ที่ไม่ซ้ำ ความสดใหม่ และการแจ้งเตือนเมื่อแหล่งข้อมูลเปลี่ยนรูปแบบ
• วิจารณญาณด้านพฤติกรรม ความเป็นเจ้าของเมื่อ pipeline ล้มเหลว ความเห็นต่างเรื่องนิยามของเมตริก และวิธีที่คุณตัดสินใจว่าจะไม่สร้างอะไร

OpenAI ยังระบุว่าความคาดหวังเรื่อง AI และเครื่องมืออื่นแตกต่างกันไปในแต่ละการสัมภาษณ์ บางรูปแบบตั้งใจอนุญาต ส่วนรูปแบบอื่นออกแบบมาเพื่อประเมินการแก้ปัญหาด้วยตนเองโดยไม่ใช้เครื่องมือ AI ในรูปแบบที่ใช้เครื่องมือได้ ทักษะที่แสดงคือวิธีที่คุณกำกับ ตรวจสอบ และแก้ผลลัพธ์ของเครื่องมือ ส่วนในรูปแบบที่ไม่ใช้ คุณเขียน SQL และโค้ดเอง ให้ทำตามกติกาที่ผู้สัมภาษณ์แต่ละคนกำหนด และถามเมื่อไม่ชัดเจน โจทย์ฝึกเพิ่มเติมที่จัดกลุ่มตามทักษะอยู่ในคลังคำถาม

OpenAI ไม่ได้เผยแพร่ความแตกต่างรายตำแหน่ง ดังนั้นการเปรียบเทียบด้านล่างเป็นแนวปฏิบัติทั่วไปของ data engineering ไม่ใช่ข้อความเกี่ยวกับรอบสัมภาษณ์อื่นของ OpenAI

• เทียบกับวิศวกรซอฟต์แวร์ เน้นปริศนาอัลกอริทึมน้อยลง และเน้น SQL, data modeling และความน่าเชื่อถือของ pipeline มากขึ้น คำถามออกแบบมักวนอยู่กับการที่ข้อมูลเคลื่อนที่ ลงปลายทาง และถูกแก้ไขอย่างไร มากกว่าบริการที่ตอบ request เกณฑ์ด้านวิศวกรรมที่ OpenAI ระบุยังใช้อยู่ ดังนั้นคุณภาพโค้ดและการทดสอบสำคัญพอ ๆ กับรอบสัมภาษณ์วิศวกรทั่วไป
• เทียบกับ data science สถิติและการออกแบบการทดลองน้อยลง เน้นการสร้างตารางที่นักวิเคราะห์และนักวิจัยพึ่งพามากขึ้น คุณอาจยังถูกถามว่าเมตริกถูกนิยามอย่างไร เพราะ data engineer มักเป็นเจ้าของตารางเบื้องหลัง
• เทียบกับ analytics engineering เส้นแบ่งค่อนข้างเลือน ตำแหน่งสาย analytics มักเอนไปทาง modeling และ SQL เพื่อการรายงาน ส่วนตำแหน่ง data engineer ลงลึกกว่าในเรื่องการนำเข้าข้อมูล การประมวลผลแบบกระจาย และโครงสร้างพื้นฐาน

เมื่อเทียบกับบริษัทใหญ่อื่น กระบวนการที่ OpenAI เผยแพร่มีลักษณะที่ควรนำมาวางแผน รอบสุดท้ายรวมอยู่ใน 1-2 วัน ดังนั้นความทนทานสำคัญ การสนทนาครั้งสุดท้ายของวันถูกพิจารณาอย่างละเอียดเท่ากับครั้งแรก นโยบายเรื่องเครื่องมือเปลี่ยนไปตามแต่ละการสัมภาษณ์ จึงควรถามก่อนทุกเซสชันแทนที่จะสันนิษฐาน และคำมั่นว่าจะตอบภายในหนึ่งสัปดาห์หลังแต่ละขั้นช่วยให้คุณวางแผนสัมภาษณ์และข้อเสนอที่อื่นได้มั่นใจขึ้น คู่มือเกี่ยวกับวิธีที่บริษัทอื่นจัดโครงสร้างรอบสัมภาษณ์อยู่ในการสัมภาษณ์ตามบริษัท

OpenAI เผยแพร่รายละเอียดเรื่องเวลาบางส่วน แต่ไม่ใช่ไทม์ไลน์ทั้งหมด ทีมสรรหามักตอบกลับเรซูเม่ภายในหนึ่งสัปดาห์ ผู้สมัครได้รับแจ้งผลภายในหนึ่งสัปดาห์หลังแต่ละขั้น และการตัดสินใจขั้นสุดท้ายมักมาภายในหนึ่งสัปดาห์หลังการสัมภาษณ์รอบสุดท้าย ตัวรอบสุดท้ายเองมักใช้เวลา 4-6 ชั่วโมงกับ 4-6 คนในช่วง 1-2 วัน

สิ่งที่ OpenAI ไม่ได้เผยแพร่คือ data engineer ต้องผ่านกี่ขั้นก่อนรอบสุดท้าย จึงไม่สามารถคำนวณระยะเวลารวมของกระบวนการจากคู่มือเพียงอย่างเดียวได้ ให้ถามผู้สรรหาว่าควรคาดว่าจะมีกี่การสนทนา และวางแผนระยะเวลาแจ้งลาออกและการสัมภาษณ์ที่อื่นตามคำตอบนั้น

ความยากอธิบายเชิงคุณภาพได้ง่ายกว่า แต่ละขั้นเป็นด่าน เพราะคุณจะรู้หลังแต่ละขั้นว่าได้ไปต่อหรือไม่ การคัดกรองที่อ่อนจึงจบกระบวนการก่อนที่การสนทนาด้านการออกแบบจะเริ่ม ส่วนที่ยากกว่าสำหรับผู้สมัครส่วนใหญ่คือความลึกเมื่อถูกถามต่อ คุณร่าง pipeline แล้วผู้สัมภาษณ์เพิ่มอีเวนต์ที่มาช้า การเปลี่ยน schema ในแหล่งต้นทาง และคำถามว่าคุณจะรู้ได้อย่างไรว่าผลลัพธ์ผิด ผู้สมัครที่เคยดูแล pipeline ใน production มักรับมือกับความเปลี่ยนแปลงนี้ได้ดีกว่าผู้ที่เคยแค่สร้าง

ผู้สมัครระดับอาวุโสควรคาดว่าจะเน้นวิจารณญาณมากขึ้น: สิ่งที่ไม่ควรสร้าง วิธีอธิบายข้อแลกเปลี่ยนให้นักวิจัยหรือพาร์ตเนอร์ฝั่งผลิตภัณฑ์ และวิธีจัดการข้อผิดพลาดที่ตนรับผิดชอบ

สร้างการเตรียมตัวรอบเกณฑ์ที่ OpenAI ระบุสำหรับการสัมภาษณ์วิศวกร แล้วเพิ่มเรื่องเครื่องมือและด้านพฤติกรรม

• วิธีแก้ที่ออกแบบมาดี เลือกโดเมนที่คุณรู้จัก เช่น event log หรือการวัดการใช้งาน แล้วร่างตาราง grain ของตาราง และ pipeline ที่เติมข้อมูล จากนั้นทดสอบดีไซน์ให้หนัก: การรันซ้ำหลังล้มเหลวบางส่วน backfill ข้อมูลที่มาช้า คอลัมน์ที่ถูกเปลี่ยนชื่อ
• โค้ดคุณภาพสูง เขียนการแปลงข้อมูลด้วย Python กับเรกคอร์ดซ้อนที่ยุ่งเหยิง และรักษาให้อ่านง่าย ฝึก window function การลบข้อมูลซ้ำ และ sessionization ใน SQL จนเขียนได้โดยไม่ต้องเปิดดู และบอก grain ของผลลัพธ์แต่ละอันก่อนรัน
• ประสิทธิภาพที่เหมาะสมที่สุด ในแต่ละดีไซน์ ระบุขั้นตอนที่แพงและวิธีทำให้ถูกลง เช่น partition pruning การประมวลผลแบบเพิ่มทีละส่วน หรือ pre-aggregation
• test coverage ที่ดี เพิ่มการทดสอบในทุกโจทย์ที่ฝึก และอธิบายการตรวจคุณภาพข้อมูลที่คุณจะรันใน production การเพิ่มการทดสอบโดยไม่ต้องถูกขอแสดงถึงนิสัยที่เกณฑ์ข้อนี้อธิบาย
• ทั้งแบบมีและไม่มีเครื่องมือ AI ฝึกบางโจทย์กับผู้ช่วยและบางโจทย์โดยไม่ใช้ เพื่อไม่ให้รูปแบบใดทำให้คุณประหลาดใจ ในรูปแบบที่มีผู้ช่วย ให้พูดบรรยายว่าคุณตรวจสอบสิ่งที่เครื่องมือสร้างอย่างไร
• ความทนทานสำหรับรอบสุดท้าย ซ้อมสัมภาษณ์จำลองต่อเนื่องในครั้งเดียว เพราะรอบสุดท้ายอัดการสนทนา 4-6 ชั่วโมงไว้ใน 1-2 วัน
• เรื่องเล่าด้านพฤติกรรม เตรียมเหตุการณ์ pipeline ล้มเหลวที่คุณรับผิดชอบ ความเห็นต่างเรื่องนิยามเมตริก และข้อแลกเปลี่ยนที่ตอนนี้คุณจะเลือกต่างออกไป

ลองนึกถึง data engineer ที่ประสบการณ์ส่วนใหญ่เป็นงาน batch ตอนกลางคืนในบริษัทชำระเงิน เขาใช้เซสชันแรก ๆ กับ window function ของ SQL แล้วฝึกอธิบายว่าจะทำให้ backfill รันซ้ำได้อย่างปลอดภัยอย่างไร เพราะเรื่องเล่าจริงของเขาอยู่ตรงนั้น เขายังแก้บางโจทย์กับผู้ช่วย AI และบางโจทย์โดยไม่ใช้ เพื่อไม่ให้นโยบายเครื่องมือในการสัมภาษณ์ครั้งใดเปลี่ยนวิธีคิดของเขา

ขั้นสุดท้ายคือพูดทั้งหมดนี้ออกเสียง เพราะทุกขั้นเป็นการสนทนา หน้าสัมภาษณ์จำลองของ SubcueAI ช่วยให้คุณฝึกตอบคำถาม data engineering ออกเสียงก่อนการคัดกรองจริง