使用 Whisper 等 AI 轉錄工具時,最常見的問題就是背景音樂產生幽靈字幕——在沒人說話的地方出現亂碼文字、被誤識別的歌詞或重複的短語。如果你曾用 Whisper 處理過影片,並在純音樂的片頭看到類似「Thank you for watching」或隨機英文單詞的字幕,你一定深有體會。GeekLink 透過內建 VAD(語音活動檢測)解決了這個問題——在轉錄之前自動檢測並靜音非語音片段,確保字幕只包含真正的人聲內容。
背景音樂是 AI 轉錄品質的隱形殺手。當你將帶有背景音樂的影片輸入 Whisper 或任何語音轉文字引擎時,模型無法區分人聲和吉他旋律。它會試圖轉錄聽到的所有聲音,而當沒有語音可轉錄時,就會產生幻覺——生成從無意義的片段到聽起來很自信但從未有人說過的句子的幽靈字幕。你會看到歌詞(有時是錯誤的語言)、重複的短語如「Thank you」或「Subscribe」,或者像做了場噩夢一樣的完全亂碼。
幾乎所有型別的影片內容都會遇到這個問題:帶片頭片尾音樂的 YouTube 影片、帶過渡音樂的播客、持續有背景音樂的綜藝節目、帶背景音樂的企業培訓影片、使用授權音樂的 Vlog、帶 DJ 音樂的婚禮影片、以及帶遊戲原聲的直播。音樂越突出,幻覺就越嚴重。即使是很安靜的背景音樂,也可能在語音暫停時觸發幽靈字幕。
為什麼會這樣?Whisper 和類似模型被訓練來尋找音訊中的語音。當音訊包含音樂但沒有語音時,模型不會輸出靜音——它會試圖找到匹配語音的模式並生成它的最佳猜測,而這幾乎總是錯的。如果沒有預過濾來告訴模型「這裡沒有語音,跳過這部分」,它會為每一秒音訊都幻覺出文字。Reddit 上充滿了人們的提問,比如「為什麼 Whisper 總是把我的背景音樂轉錄成隨機英文單詞?」和「如何阻止音樂片段中的幽靈字幕?」答案就是使用 VAD 進行預過濾。
手動解決方案很痛苦:在 Audacity 中開啟影片,找到並去除純音樂片段,應用降噪濾波器,匯出處理後的音訊,然後重新匯入轉錄工具。對於單個影片來說這已經夠麻煩了——在你開始轉錄之前就需要 15-30 分鐘的仔細音訊編輯。對於需要處理多個影片的人來說,這完全不切實際。如果你有 50 個 YouTube 影片或一整季節目需要加字幕,僅音訊預處理每個影片 15 分鐘就累計超過 12 小時的手動工作。
雲端轉錄服務按音訊時長計費,而且大多數都有同樣的背景音樂問題。你在為不應該被轉錄的音樂付費。有些服務將 VAD 作為付費附加功能,但你仍然需要將影片上傳到別人的伺服器並持續付費。大多數桌面版 Whisper 工具根本不包含 VAD——它們只是將原始音訊直接傳給 Whisper,聽天由命。
可以。VAD 能檢測包括唱歌在內的人聲活動,所以如果影片中有人在唱歌,這些片段會被保留並轉錄。VAD 專門過濾純器樂音樂、音效和非人聲音訊。如果影片中有歌手在伴奏上演唱,人聲片段會被保留,而純器樂間奏則會被過濾掉。
純音樂片頭會被 VAD 自動靜音,轉錄會在主持人開始說話時啟動。如果播客使用在語音下方播放的音樂(過渡時的常見技巧),VAD 會保持這些片段活躍,因為它檢測到了音樂上方的人聲。語音識別模型能較好地處理帶音樂的語音——導致幻覺的是純音樂片段,而這正是 VAD 所消除的。
語音活動檢測會分析音訊波形,將每個片段分類為語音或非語音。GeekLink 使用 Silero VAD,一個專門為此任務訓練的神經網路模型。它在你的 Mac 上本地執行,即時處理音訊,生成包含人聲的時間範圍對映。只有這些範圍內的音訊才會被髮送到語音識別引擎。該模型在區分人聲與音樂、噪聲、掌聲和靜音方面有非常高的準確率。
幾乎不會。無論影片多長,VAD 分析每個影片只增加幾秒鐘。事實上,它通常反而讓整個過程更快,因為語音識別引擎需要處理的音訊更少——它完全跳過了所有非語音片段。不再需要手動審查和刪除幽靈字幕所節省的時間,遠遠超過 VAD 帶來的微小開銷。
可以。如果你希望獲得未經任何預過濾的原始轉錄輸出,可以在 GeekLink 的設定中關閉 VAD 預過濾。這在一些特殊情況下可能有用,比如你刻意想轉錄非語音音訊,或用於測試和對比。預設情況下 VAD 是開啟的,因為對於絕大多數影片它都能產生更乾淨的結果。