Cách Hoạt Động Chuyển Đổi Giọng Nói Thành Văn Bản Phỏng Vấn Thời Gian Thực

Phiên âm phỏng vấn thời gian thực phụ thuộc vào việc thu hai luồng âm thanh riêng biệt cùng lúc:

• Âm thanh hệ thống (loopback) — giọng nói của người phỏng vấn đến qua Zoom, Google Meet, hoặc Microsoft Teams.
• Âm thanh microphone — giọng nói của chính bạn khi bạn nói.

Ứng dụng máy tính để bàn gốc của SubcueAI thu cả hai luồng đồng thời bằng các API âm thanh hệ điều hành tiêu chuẩn có sẵn trên macOS và Windows. Vì việc thu xảy ra ở cấp độ hệ điều hành — không phải bên trong ứng dụng họp — nên không cần plugin trình duyệt hay bot họp. Luồng kết hợp sau đó được chuyển đến công cụ nhận dạng giọng nói.

Một khi âm thanh được thu, nó di chuyển qua quy trình chuyển đổi giọng nói thành văn bản dạng streaming hoạt động trên các đoạn âm thanh ngắn, chồng chéo thay vì chờ một câu hoàn chỉnh. Cách tiếp cận này giữ độ trễ thấp — thường chỉ trong vài giây từ lúc nói đến văn bản có thể đọc được.

• Phát hiện Hoạt động Giọng nói (VAD) lọc tiếng im lặng để công cụ chỉ xử lý các khung chứa giọng nói, giảm nhiễu và tiết kiệm thời gian xử lý.
• Mô hình hóa Âm học ánh xạ đặc trưng âm thanh thành âm vị, sau đó thành từ, sử dụng mạng nơ-ron được huấn luyện trên các tập dữ liệu giọng nói lớn.
• Mô hình hóa Ngôn ngữ xếp hạng các chuỗi từ theo xác suất, cải thiện độ chính xác cho từ vựng kỹ thuật và danh từ riêng thường gặp trong phỏng vấn.

Kết quả là một bản phiên âm cuộn cập nhật liên tục khi cuộc trò chuyện diễn ra.

Bản phiên âm trực tiếp là đầu vào cho lớp gợi ý câu trả lời của SubcueAI. Khi hệ thống phát hiện một câu hỏi đã được hỏi — dựa trên cấu trúc câu và dấu câu — nó gửi ngữ cảnh liên quan đến mô hình ngôn ngữ lớn (LLM) để tạo phản hồi gợi ý.

• Các gợi ý xuất hiện trong lớp phủ cục bộ nổi của SubcueAI, chỉ hiển thị trên màn hình của bạn — không được chia sẻ vào cửa sổ họp.
• Lớp phủ được thiết kế để nằm ngoài bất kỳ vùng chia sẻ màn hình nào nên không hiển thị với người tham gia đang xem chia sẻ màn hình của bạn.
• Bạn có thể đọc, điều chỉnh hoặc bỏ qua bất kỳ gợi ý nào; công cụ này nhằm hỗ trợ suy nghĩ của bạn, không phải viết kịch bản từng từ một.

Xem hướng dẫn thiết lập để được hướng dẫn về cách định vị lớp phủ trước buổi phỏng vấn.

Chất lượng phiên âm thời gian thực phụ thuộc vào một số yếu tố nằm ngoài tầm kiểm soát hoàn toàn của bất kỳ ứng dụng nào:

• Chất lượng microphone và tiếng ồn nền — microphone tai nghe cải thiện đáng kể độ chính xác so với microphone tích hợp của laptop.
• Kết nối Internet — nếu bước suy luận AI được hỗ trợ đám mây, độ trễ mạng sẽ làm tăng thời gian phản hồi.
• Giọng nói và tốc độ nói — các mô hình giọng nói nơ-ron hiện đại xử lý được nhiều giọng nói khác nhau nhưng không phải là hoàn hảo.
• Phỏng vấn được giám sát hoặc ghi lại — lớp phủ của SubcueAI là cục bộ và riêng tư, nhưng trong môi trường ghi màn hình hoặc giám sát lớp phủ có thể xuất hiện trong bản ghi nếu không được định vị hoặc ẩn cẩn thận. Luôn xem xét quy tắc của buổi phỏng vấn cụ thể của bạn trước khi sử dụng bất kỳ công cụ hỗ trợ nào.

Để có cái nhìn rộng hơn về quyền riêng tư và những gì người phỏng vấn có thể thấy, hãy truy cập trang bảo mật và quyền riêng tư.