我拿 TED 官方字幕核對了 AI 生成字幕的準確度

作者 Flora Wang,影片本地化專家 · 更新於 2026 年 7 月 6 日 · 7 分鐘閱讀

TL;DR:我用 GeekLink 的語音識別(基於 Whisper,開了高精度時間軸和 AI 智慧分段)識別了一段 TED 演講,然後把 TED 官方釋出字幕的全部 325 行和 GeekLink 的識別結果逐句核對。198 行幾乎立刻對上。106 行不能直接一一對應——TED 編輯把句子合併或拆分的方式不一樣,標了(笑聲)/(掌聲)這類沒有臺詞的地方,還有一段約 9 秒的純音樂區間官方根本沒有字幕。剩下能對上的行裡,21 行(約 1/16)被標記為時間差較大或用詞有出入、值得再看一眼,其中只有 5 行比較嚴重。這只是一次測試、一個影片,不是基準測試,但具體數字和案例都在下面。

為什麼做這個測試

"AI 字幕 90% 準確"這話經常聽到,但從沒說清楚準確在——時間軸、用詞、標點、斷行,這些是完全不同的失敗方式,一個工具可能在某一項很強、另一項卻不穩。我想在一段真實影片上,看清楚差距到底出現在哪。

TED 演講是個好的測試物件,因為 TED 給每一場演講都發布了官方的人工編輯字幕。這給了我一份真正的"答案"去核對,而不是靠肉眼判斷一份文稿"看起來對不對"。

怎麼跑的這次測試

我把一段 TED 演講匯入 GeekLink,告訴它還沒有字幕(只有音訊),跑語音識別前打開了高精度時間軸AI 智慧分段,識別模型選的是 Whisper Large。

GeekLink 語音識別設定面板,選中 Whisper Large 模型,AI Smart Segmentation 和 Precise timeline 均已勾選
Whisper Large 模型,跑識別前打開了 AI 智慧分段和高精度時間軸。

識別過程中結果是即時流式出來的——識別還沒跑完,我就能開啟一個即時視窗看到帶時間戳的字幕一行行冒出來。

GeekLink 的即時結果面板,識別過程中帶時間戳的字幕行不斷流式顯示
識別過程中即時冒出的結果。

識別結束後,GeekLink 又跑了一次單獨的時間軸對齊——這就是高精度時間軸那一步,把每一行重新對齊到真實的音訊,而不是直接信任 Whisper 的第一次猜測。有一點要老實說:這段演講裡有一小段純音樂,Whisper 和所有語音模型一樣處理不好音樂段落,所以那一段我沒有直接信任自動輸出,單獨看了一遍。

怎麼和官方字幕做對比

識別和對齊都跑完後,我用一個自己寫的小對比指令碼:把 TED 的官方字幕和 GeekLink 的輸出逐句對齊,計算每一對匹配行的時間差,並把時間差較大或用詞不一致的行標記出來供人工檢視。這不是 App 裡的功能——是一個指令碼,它的輸出也不是 GeekLink 平時會展示給使用者的東西。下面直接放出真實輸出,不是轉述——可以滾動看完整表格(表格內容是原始英文資料)。

全部 325 行的原始對比輸出——左邊是 TED 官方字幕,右邊是 GeekLink 的識別結果。綠色是接近匹配,橙色和紅色是被標記出時間差較大或用詞有出入的行。在新標籤頁開啟完整版 →

差異到底是什麼

TED 官方字幕全部 325 行裡,198 行和 GeekLink 識別出的某一行時間戳幾乎完全對上。另外 106 行沒法逐句直接對應——TED 編輯把句子合併或拆分的方式和 GeekLink 不一樣,還標了(笑聲)、(掌聲)這類沒有臺詞的位置,另外有一段約 9 秒的純音樂區間官方根本沒給字幕。在能對上的行裡,21 行——約 1/16——被標記為時間差較大或用詞有出入,其中只有 5 行被標記為比較嚴重。具體差異長什麼樣:

  • 用詞選擇,雙向都有。TED 官方字幕寫的是"my normal work flow was not an option"(work flow 兩個詞),GeekLink 識別成了"workflow"(一個詞)。另一處,TED 官方字幕是"that would happen every single paper",GeekLink 多識別出一個"to"("happen to every single paper")——讀起來反而是語法更完整的版本。官方字幕也不是每個字都絕對正確的標準答案。
  • 多出的一個連線詞。有一行:TED 官方是"everything gets done, things stay civil",GeekLink 識別成"everything gets done and things stay civil"。意思一樣,多了一個詞——可能是說話人真說了這個詞、被 TED 編輯刪掉了,也可能是識別自己加的連線詞,光看文稿分不清是哪種。
  • 一處真實的分段差異。有個地方,TED 字幕把這句話處理成兩行普通句子:"Now, of course, I said yes." / "It's always been a dream of mine to have done a TED Talk in the past."。GeekLink 對同一段音訊的切分不一樣,把它處理成了引用的直接引語:"Now, of course, I said, 'Yes, it's always been a dream of mine'" / "'to have done a TED Talk in the past.'"。同樣的詞、同樣的意思——只是 AI 智慧分段把斷句點放在了不同位置,並且判斷這是一句引用的話。
對比表格顯示一處被標紅標記的分段邊界差異,GeekLink 把一句引語拆分的方式和 TED 官方字幕不一樣
被標記的斷句差異——同樣的詞,不同的分段選擇。

為什麼時間軸這麼準

像 Whisper 這類語音識別模型是在預測時間戳,而不是測量時間戳——模型對"這個詞什麼時候開始說"的猜測會隨著演講變長而逐漸偏移,所以原始輸出經常會早一拍或晚一拍。這正是很多人吐槽"AI 字幕在人開口之前就出現了"的根本原因。

高精度時間軸這個功能,就是專門用來修正這種偏移的——它在識別完成後,把每一行重新對齊到真實的音訊波形,而不是直接信任模型的第一次猜測。這就是上面截圖展示的那一步,也是這次測試時間軸能對得這麼準的原因。

這對複查時間意味著什麼

一個影片不是基準測試,我不會假裝它是。但它和當初做 GeekLink 的初衷是一致的:在這段演講裡,325 行中只有 21 行——約 1/16——真正值得再看一眼。如果按很多字幕工作流的習慣,把每一行都重新讀一遍、重新對一遍時間,那我幾乎全程都在複查本來就沒問題的內容。

這正是"只標出值得檢查的行"而不是"通讀整份文稿"的意義所在:大部分內容根本不需要你花注意力。真正需要注意的部分,只要有東西替你標出來,通常一眼就能看到。

FAQ

AI 生成的字幕準到可以完全不用複查嗎?

不能完全不復查,但比"90% 準確"這個說法暗示的要準得多。這次測試裡,325 行對照一份官方人工編輯的字幕,只有 21 行(約 1/16)被標記為時間差較大或用詞有出入,其中只有 5 行比較嚴重。快速掃一遍標記出的行還是值得的,但從頭到尾逐行重新讀通常沒必要。

AI 字幕的時間軸錯誤和用詞錯誤有什麼區別?

時間軸錯誤來自模型預測一個詞什麼時候開始說、而不是精確測量,所以字幕經常會早一拍或晚一拍。用詞錯誤來自對音訊的真實識別偏差。這次測試裡,時間軸問題被強制對齊這一步修正了,出現的用詞差異是像"workflow"和"work flow"這種拆分方式不同、或者多了一個連線詞,不是真的聽錯了內容。

GeekLink 支援高精度字幕時間軸嗎?

支援。GeekLink 的高精度時間軸功能會在語音識別之後,把每一行字幕重新對齊到真實的音訊,修正原始 AI 轉錄常見的時間軸偏移。

AI 語音識別能處理好背景音樂嗎?

不太可靠。Whisper 這類語音模型是為識別人聲設計的,不擅長把音樂從人聲裡分離出來,所以有音樂同時播放的段落值得人工看一眼,不要直接信任自動輸出。

我自己怎麼檢驗 AI 字幕的準確度?

找一段有官方或者可信文稿的影片,用你的工具跑一遍語音識別,然後把兩份文稿逐行對比——時間差和用詞分開檢查,因為它們是兩種不同的失敗方式。這正是這次測試用的方法。

說明:GeekLink 是我們自己的產品。這只是一次針對一個影片的人工測試,不是嚴格的對照研究——把它當作"差距實際出現在哪"的一次觀察,不是統計意義上的準確率結論。

少複查,多出片

GeekLink 把值得檢查的行標出來、直接導進 Subtitle Edit——讓你不必再通讀整份文稿。

免費下載