रियल-टाइम इंटरव्यू स्पीच-टू-टेक्स्ट कैसे काम करता है

रियल-टाइम इंटरव्यू ट्रांसक्रिप्शन दो अलग-अलग ऑडियो स्ट्रीम्स को एक साथ कैप्चर करने पर निर्भर करता है:

• सिस्टम ऑडियो (लूपबैक) — इंटरव्यूअर की आवाज़ Zoom, Google Meet, या Microsoft Teams के माध्यम से आ रही है।
• माइक्रोफोन ऑडियो — आपकी अपनी आवाज़ जब आप बोलते हैं।

SubcueAI का नेटिव डेस्कटॉप ऐप macOS और Windows पर उपलब्ध स्टैंडर्ड ऑपरेटिंग-सिस्टम ऑडियो APIs का उपयोग करके दोनों स्ट्रीम्स को एक साथ कैप्चर करता है। क्योंकि कैप्चर OS लेवल पर होता है — मीटिंग ऐप के अंदर नहीं — कोई ब्राउज़र प्लगइन या मीटिंग बॉट की आवश्यकता नहीं होती। संयुक्त स्ट्रीम फिर स्पीच रिकग्निशन इंजन को पास की जाती है।

ऑडियो कैप्चर होने के बाद, यह एक स्ट्रीमिंग स्पीच-टू-टेक्स्ट पाइपलाइन से गुजरता है जो पूरे वाक्य का इंतजार करने के बजाय छोटे, ओवरलैपिंग ऑडियो चंक्स में काम करता है। यह दृष्टिकोण लेटेंसी को कम रखता है — आमतौर पर स्पीच से रीडेबल टेक्स्ट तक कुछ सेकंड का मामला।

• वॉइस एक्टिविटी डिटेक्शन (VAD) साइलेंस को फिल्टर करता है ताकि इंजन केवल उन फ्रेम्स को प्रोसेस करे जिनमें स्पीच हो, नॉइज़ कम हो और प्रोसेसिंग टाइम बच सके।
• एकॉस्टिक मॉडलिंग ऑडियो फीचर्स को फोनिम्स में, फिर शब्दों में मैप करता है, बड़े स्पीच डेटासेट्स पर ट्रेंड न्यूरल नेटवर्क का उपयोग करके।
• लैंग्वेज मॉडलिंग शब्द अनुक्रमों को प्रोबेबिलिटी के आधार पर रैंक करता है, इंटरव्यूज में आम तकनीकी शब्दावली और प्रॉपर नाउन्स के लिए सटीकता सुधारता है।

परिणाम एक रोलिंग ट्रांसक्रिप्ट है जो बातचीत आगे बढ़ने के साथ लगातार अपडेट होता रहता है।

लाइव ट्रांसक्रिप्ट SubcueAI की आंसर-सजेशन लेयर का इनपुट है। जब सिस्टम वाक्य संरचना और पंक्चुएशन क्यूज के आधार पर डिटेक्ट करता है कि कोई प्रश्न पूछा गया है — तो यह प्रासंगिक संदर्भ एक बड़े लैंग्वेज मॉडल (LLM) को भेजता है जो एक सुझाई गई प्रतिक्रिया जेनरेट करता है।

• सजेशन SubcueAI के फ्लोटिंग लोकल ओवरले में दिखाई देते हैं, केवल आपकी स्क्रीन पर दिखाई देते हैं — मीटिंग विंडो में शेयर नहीं किए जाते।
• ओवरले को किसी भी शेयर्ड-स्क्रीन क्षेत्र से बाहर रहने के लिए डिज़ाइन किया गया है ताकि स्क्रीन शेयर देखने वाले प्रतिभागियों को यह दिखाई न दे।
• आप किसी भी सजेशन को पढ़ सकते हैं, अनुकूलित कर सकते हैं, या नजरअंदाज कर सकते हैं; टूल आपकी सोच को सपोर्ट करने के लिए है, न कि इसे शब्द-दर-शब्द स्क्रिप्ट करने के लिए।

इंटरव्यू से पहले ओवरले को पोजिशन करने के लिए सेटअप ट्यूटोरियल देखें।

रियल-टाइम ट्रांसक्रिप्शन क्वालिटी कई ऐसे कारकों पर निर्भर करती है जो किसी भी ऐप के पूर्ण नियंत्रण से बाहर हैं:

• माइक्रोफोन क्वालिटी और बैकग्राउंड नॉइज़ — हेडसेट माइक्रोफोन बिल्ट-इन लैपटॉप माइक की तुलना में सटीकता को काफी बेहतर बनाता है।
• इंटरनेट कनेक्शन — यदि AI इनफेरेंस स्टेप क्लाउड-असिस्टेड है, तो नेटवर्क लेटेंसी रिस्पॉन्स टाइम में जुड़ जाती है।
• एक्सेंट्स और बोलने की गति — आधुनिक न्यूरल स्पीच मॉडल्स कई तरह के एक्सेंट्स को हैंडल करते हैं लेकिन परफेक्ट नहीं हैं।
• प्रॉक्टर्ड या रिकॉर्डेड इंटरव्यूज — SubcueAI का ओवरले लोकल और प्राइवेट है, लेकिन स्क्रीन-रिकॉर्डेड या प्रॉक्टर्ड एनवायरनमेंट्स में ओवरले रिकॉर्डिंग में दिखाई दे सकता है यदि सावधानी से पोजिशन या छिपाया न गया हो। किसी भी असिस्टेंस टूल का उपयोग करने से पहले अपने विशिष्ट इंटरव्यू के नियमों की समीक्षा अवश्य करें।

प्राइवेसी और इंटरव्यूअर्स क्या देख सकते हैं, इसकी व्यापक जानकारी के लिए सेक्योरिटी और प्राइवेसी पेज पर जाएँ।