AI 語音轉文字(又稱自動語音識別 ASR)將影片音訊中的口語轉換為文字,然後可用作字幕。OpenAI Whisper 等現代 ASR 模型在 13+ 種語言上達到 95%+ 準確率,使得在幾分鐘內為任何影片自動生成字幕成為可能。
自動語音識別從 Dragon NaturallySpeaking 的早期至今已發生巨大變化。如今的神經網路模型如 Whisper 基於數十萬小時多語言音訊訓練,即使面對口音、背景噪音和專業詞彙也有出色準確率。對影片字幕製作來說,ASR 帶來了巨大的生產力提升:過去專業轉錄員每小時影片需要 4-6 小時,現在 AI 只需 5-10 分鐘。關鍵創新在於 Whisper 等模型可以完全在本地硬體(如 Apple Silicon Mac)上執行,音訊資料保持私密,且沒有按分鐘計費的 API 成本。
提高準確率的技巧:1)使用背景音樂/噪音最少的清晰音訊,2)選擇合適的模型大小(越大越準但越慢),3)指定源語言而非依賴自動檢測,4)混合語言內容分段處理,5)務必稽核 AI 輸出——即使 95% 準確率意味著每 20 個詞有 1 個錯誤。
自動語音識別(ASR),也稱語音轉文字,是將口語轉換為文字的 AI 技術。OpenAI Whisper 是領先的開源 ASR 模型,支援 13+ 種語言。
Whisper large-v3 在主流語言的清晰音訊上達到 95%+ 準確率。重口音、嘈雜環境或小語種的準確率可能較低。釋出前請務必稽核 AI 生成的字幕。
Whisper 在單個音訊流中轉錄所有語音,不區分說話人。多人內容可在極客連編輯器中轉錄後手動新增說話人標籤。
語音轉文字(ASR)將音訊/口語轉為文字。OCR(光學字元識別)從影片畫面讀取視覺文字。口語對話用 ASR;字幕已壓制在影片畫面中時用 OCR。