TL;DR:我用 GeekLink 的语音识别(基于 Whisper,开了高精度时间轴和 AI 智能分段)识别了一段 TED 演讲,然后把 TED 官方发布字幕的全部 325 行和 GeekLink 的识别结果逐句核对。198 行几乎立刻对上。106 行不能直接一一对应——TED 编辑把句子合并或拆分的方式不一样,标了(笑声)/(掌声)这类没有台词的地方,还有一段约 9 秒的纯音乐区间官方根本没有字幕。剩下能对上的行里,21 行(约 1/16)被标记为时间差较大或用词有出入、值得再看一眼,其中只有 5 行比较严重。这只是一次测试、一个视频,不是基准测试,但具体数字和案例都在下面。
为什么做这个测试
"AI 字幕 90% 准确"这话经常听到,但从没说清楚准确在哪——时间轴、用词、标点、断行,这些是完全不同的失败方式,一个工具可能在某一项很强、另一项却不稳。我想在一段真实视频上,看清楚差距到底出现在哪。
TED 演讲是个好的测试对象,因为 TED 给每一场演讲都发布了官方的人工编辑字幕。这给了我一份真正的"答案"去核对,而不是靠肉眼判断一份文稿"看起来对不对"。
怎么跑的这次测试
我把一段 TED 演讲导入 GeekLink,告诉它还没有字幕(只有音频),跑语音识别前打开了高精度时间轴和 AI 智能分段,识别模型选的是 Whisper Large。
识别过程中结果是实时流式出来的——识别还没跑完,我就能打开一个实时窗口看到带时间戳的字幕一行行冒出来。
识别结束后,GeekLink 又跑了一次单独的时间轴对齐——这就是高精度时间轴那一步,把每一行重新对齐到真实的音频,而不是直接信任 Whisper 的第一次猜测。有一点要老实说:这段演讲里有一小段纯音乐,Whisper 和所有语音模型一样处理不好音乐段落,所以那一段我没有直接信任自动输出,单独看了一遍。
怎么和官方字幕做对比
识别和对齐都跑完后,我用一个自己写的小对比脚本:把 TED 的官方字幕和 GeekLink 的输出逐句对齐,计算每一对匹配行的时间差,并把时间差较大或用词不一致的行标记出来供人工查看。这不是 App 里的功能——是一个脚本,它的输出也不是 GeekLink 平时会展示给用户的东西。下面直接放出真实输出,不是转述——可以滚动看完整表格(表格内容是原始英文数据)。
差异到底是什么
TED 官方字幕全部 325 行里,198 行和 GeekLink 识别出的某一行时间戳几乎完全对上。另外 106 行没法逐句直接对应——TED 编辑把句子合并或拆分的方式和 GeekLink 不一样,还标了(笑声)、(掌声)这类没有台词的位置,另外有一段约 9 秒的纯音乐区间官方根本没给字幕。在能对上的行里,21 行——约 1/16——被标记为时间差较大或用词有出入,其中只有 5 行被标记为比较严重。具体差异长什么样:
- 用词选择,双向都有。TED 官方字幕写的是"my normal work flow was not an option"(work flow 两个词),GeekLink 识别成了"workflow"(一个词)。另一处,TED 官方字幕是"that would happen every single paper",GeekLink 多识别出一个"to"("happen to every single paper")——读起来反而是语法更完整的版本。官方字幕也不是每个字都绝对正确的标准答案。
- 多出的一个连接词。有一行:TED 官方是"everything gets done, things stay civil",GeekLink 识别成"everything gets done and things stay civil"。意思一样,多了一个词——可能是说话人真说了这个词、被 TED 编辑删掉了,也可能是识别自己加的连接词,光看文稿分不清是哪种。
- 一处真实的分段差异。有个地方,TED 字幕把这句话处理成两行普通句子:"Now, of course, I said yes." / "It's always been a dream of mine to have done a TED Talk in the past."。GeekLink 对同一段音频的切分不一样,把它处理成了引用的直接引语:"Now, of course, I said, 'Yes, it's always been a dream of mine'" / "'to have done a TED Talk in the past.'"。同样的词、同样的意思——只是 AI 智能分段把断句点放在了不同位置,并且判断这是一句引用的话。
为什么时间轴这么准
像 Whisper 这类语音识别模型是在预测时间戳,而不是测量时间戳——模型对"这个词什么时候开始说"的猜测会随着演讲变长而逐渐偏移,所以原始输出经常会早一拍或晚一拍。这正是很多人吐槽"AI 字幕在人开口之前就出现了"的根本原因。
高精度时间轴这个功能,就是专门用来修正这种偏移的——它在识别完成后,把每一行重新对齐到真实的音频波形,而不是直接信任模型的第一次猜测。这就是上面截图展示的那一步,也是这次测试时间轴能对得这么准的原因。
这对复查时间意味着什么
一个视频不是基准测试,我不会假装它是。但它和当初做 GeekLink 的初衷是一致的:在这段演讲里,325 行中只有 21 行——约 1/16——真正值得再看一眼。如果按很多字幕工作流的习惯,把每一行都重新读一遍、重新对一遍时间,那我几乎全程都在复查本来就没问题的内容。
这正是"只标出值得检查的行"而不是"通读整份文稿"的意义所在:大部分内容根本不需要你花注意力。真正需要注意的部分,只要有东西替你标出来,通常一眼就能看到。
FAQ
AI 生成的字幕准到可以完全不用复查吗?
不能完全不复查,但比"90% 准确"这个说法暗示的要准得多。这次测试里,325 行对照一份官方人工编辑的字幕,只有 21 行(约 1/16)被标记为时间差较大或用词有出入,其中只有 5 行比较严重。快速扫一遍标记出的行还是值得的,但从头到尾逐行重新读通常没必要。
AI 字幕的时间轴错误和用词错误有什么区别?
时间轴错误来自模型预测一个词什么时候开始说、而不是精确测量,所以字幕经常会早一拍或晚一拍。用词错误来自对音频的真实识别偏差。这次测试里,时间轴问题被强制对齐这一步修正了,出现的用词差异是像"workflow"和"work flow"这种拆分方式不同、或者多了一个连接词,不是真的听错了内容。
GeekLink 支持高精度字幕时间轴吗?
支持。GeekLink 的高精度时间轴功能会在语音识别之后,把每一行字幕重新对齐到真实的音频,修正原始 AI 转录常见的时间轴偏移。
AI 语音识别能处理好背景音乐吗?
不太可靠。Whisper 这类语音模型是为识别人声设计的,不擅长把音乐从人声里分离出来,所以有音乐同时播放的段落值得人工看一眼,不要直接信任自动输出。
我自己怎么检验 AI 字幕的准确度?
找一段有官方或者可信文稿的视频,用你的工具跑一遍语音识别,然后把两份文稿逐行对比——时间差和用词分开检查,因为它们是两种不同的失败方式。这正是这次测试用的方法。
说明:GeekLink 是我们自己的产品。这只是一次针对一个视频的人工测试,不是严格的对照研究——把它当作"差距实际出现在哪"的一次观察,不是统计意义上的准确率结论。