วิธีการทำงานของการแปลงเสียงพูดเป็นข้อความแบบเรียลไทม์ในสัมภาษณ์งาน

การถอดเสียงสัมภาษณ์แบบเรียลไทม์ขึ้นอยู่กับการจับ สตรีมเสียงสองชุดแยกกันพร้อมกัน:

• เสียงระบบ (loopback) — เสียงของผู้สัมภาษณ์ที่มาผ่าน Zoom, Google Meet หรือ Microsoft Teams.
• เสียงไมโครโฟน — เสียงของคุณเองขณะที่คุณพูด

แอปเดสก์ท็อปเนทีฟของ SubcueAI จับทั้งสองสตรีมพร้อมกันโดยใช้ API เสียงมาตรฐานของระบบปฏิบัติการที่มีให้ใช้บน macOS และ Windows เนื่องจากการจับเสียงเกิดขึ้นที่ระดับ OS — ไม่ใช่ภายในแอปประชุมเอง — จึงไม่ต้องใช้เบราว์เซอร์ปลั๊กอินหรือบอทประชุม สตรีมที่รวมกันจะถูกส่งต่อไปยังเครื่องมือรู้จำเสียงพูด

เมื่อเสียงถูกจับแล้ว มันจะผ่าน ไปป์ไลน์การแปลงเสียงพูดเป็นข้อความแบบสตรีมมิ่ง ที่ทำงานกับชิ้นเสียงสั้น ๆ ที่ซ้อนกันแทนที่จะรอประโยคที่สมบูรณ์ วิธีนี้ช่วยให้ความหน่วงต่ำ — โดยทั่วไปเพียงไม่กี่วินาทีจากเสียงพูดไปจนถึงข้อความที่อ่านได้

• Voice Activity Detection (VAD) กรองความเงียบเพื่อให้เครื่องมือประมวลผลเฉพาะเฟรมที่มีเสียงพูด ลดสัญญาณรบกวนและประหยัดเวลาในการประมวลผล
• Acoustic modeling แมปคุณลักษณะเสียงไปยังหน่วยเสียง แล้วไปยังคำ โดยใช้โครงข่ายประสาทที่ฝึกด้วยชุดข้อมูลเสียงขนาดใหญ่
• Language modeling จัดอันดับลำดับคำตามความน่าจะเป็น ปรับปรุงความแม่นยำสำหรับคำศัพท์ทางเทคนิคและชื่อเฉพาะที่พบได้บ่อยในสัมภาษณ์

ผลลัพธ์คือทรานสคริปต์แบบหมุนเวียนที่อัปเดตอย่างต่อเนื่องขณะที่การสนทนาดำเนินไป

ทรานสคริปต์สดคืออินพุตไปยังเลเยอร์คำแนะนำคำตอบของ SubcueAI เมื่อระบบตรวจพบว่ามีคำถามถูกถาม — ตามโครงสร้างประโยคและสัญญาณเครื่องหมายวรรคตอน — มันจะส่งบริบทที่เกี่ยวข้องไปยังโมเดลภาษาขนาดใหญ่ (LLM) ที่สร้างคำตอบที่แนะนำ

• คำแนะนำจะปรากฏใน โอเวอร์เลย์ท้องถิ่นแบบลอยตัว ของ SubcueAI มองเห็นได้เฉพาะบนหน้าจอของคุณ — ไม่ได้แชร์ไปยังหน้าต่างประชุม
• โอเวอร์เลย์ถูกออกแบบให้อยู่ห่างจากพื้นที่หน้าจอที่แชร์ใด ๆ เพื่อไม่ให้ผู้เข้าร่วมที่กำลังดูการแชร์หน้าจอของคุณเห็น
• คุณสามารถอ่าน ปรับ หรือเพิกเฉยคำแนะนำใด ๆ เครื่องมือนี้มีไว้เพื่อ สนับสนุน การคิดของคุณ ไม่ใช่เขียนสคริปต์ให้คำต่อคำ

ดู บทช่วยสอนการตั้งค่า สำหรับคำแนะนำในการวางตำแหน่งโอเวอร์เลย์ก่อนสัมภาษณ์ของคุณ

คุณภาพการถอดเสียงแบบเรียลไทม์ขึ้นอยู่กับปัจจัยหลายอย่างที่อยู่นอกเหนือการควบคุมเต็มรูปแบบของแอปใด ๆ:

• คุณภาพไมโครโฟนและสัญญาณรบกวนพื้นหลัง — ไมโครโฟนแบบเฮดเซ็ตช่วยปรับปรุงความแม่นยำอย่างมากเมื่อเทียบกับไมโครโฟนในตัวของแล็ปท็อป
• การเชื่อมต่ออินเทอร์เน็ต — หากขั้นตอนการอนุมาน AI ใช้ความช่วยเหลือจากคลาวด์ ความหน่วงของเครือข่ายจะเพิ่มเวลาในการตอบสนอง
• สำเนียงและจังหวะการพูด — โมเดลเสียงประสาทสมัยใหม่รองรับสำเนียงที่หลากหลาย แต่ไม่สมบูรณ์แบบ
• สัมภาษณ์ที่ถูกตรวจสอบหรือบันทึก — โอเวอร์เลย์ของ SubcueAI เป็นแบบท้องถิ่นและส่วนตัว แต่ใน สภาพแวดล้อมที่บันทึกหน้าจอหรือถูกตรวจสอบ โอเวอร์เลย์อาจปรากฏในการบันทึกหากไม่วางตำแหน่งหรือซ่อนอย่างระมัดระวัง ควรตรวจสอบกฎของสัมภาษณ์เฉพาะของคุณก่อนใช้เครื่องมือช่วยเหลือใด ๆ

สำหรับมุมมองที่กว้างขึ้นเกี่ยวกับความเป็นส่วนตัวและสิ่งที่ผู้สัมภาษณ์สามารถเห็นได้ โปรดเยี่ยมชม หน้าความปลอดภัยและความเป็นส่วนตัว