TL;DR：GeekLinkの音声認識（Whisperベース、高精度タイムラインとAIスマート分割をオンにした状態）を1本のTEDトークに実行し、TED公式の文字起こし全325行とGeekLinkの出力を比較しました。198行はほぼ即座に一致。106行は構造的に直接比較できませんでした——TEDの編集者はGeekLinkとは違う方法で文を結合・分割し、台詞がない箇所には(笑い)/(拍手)と表記していて、さらに公式字幕が一切付いていない約9秒間の音楽のみの区間が1か所ありました。直接対応が取れた行のうち、21行（約16分の1）がタイミングのずれや文言の違いが大きく再確認の価値ありとしてフラグ付けされ、そのうち赤信号レベルで深刻だったのはわずか5行でした。これは1本の動画に対する1回のテストであり、ベンチマークではありませんが、実際の数字と具体例は以下の通りです。
なぜこのテストをしたのか
「AI字幕は90%正確」という言葉はよく聞きますが、何について正確なのかは決して語られません——タイミング、文言、句読点、改行は、それぞれ全く異なる失敗のパターンであり、あるツールが一方には優れていても、もう一方では不安定ということも起こり得ます。実際の動画1本で、ギャップが具体的にどこに現れるのかを見てみたいと思いました。
TEDトークは良いテストケースです。TEDはすべてのトークについて、人間が編集した公式字幕を自ら公開しているからです。おかげで、文字起こしが「なんとなく合っていそう」かを目視で判断するのではなく、照合できる本物の模範解答を手に入れられます。
テストのセットアップ方法
TEDトークをGeekLinkにインポートし、まだ字幕がない（音声のみ）ことを指定した上で、Whisper Largeモデルで音声認識を実行する前に高精度タイムラインとAI スマート分割をオンにしました。
認識処理は実行中にリアルタイムで結果をストリーミングしてくれます——処理が終わる前でも、ライブビューを開いてタイムスタンプ付きの行が次々と現れる様子を見ることができました。
認識の後、GeekLinkは別途タイムライン整合処理を実行しました——これが高精度タイムラインのステップで、Whisperの生の推測をそのまま信用するのではなく、実際の音声に対して各行のタイミングを再計算します。正直に言っておくべき点が一つあります。このトークには短い音楽のみの区間があり、Whisperは他の音声モデルと同様に音楽の扱いが得意ではないため、その部分は自動出力をそのまま信用せず、手動での確認が必要でした。
出力をTED公式字幕と比較した方法
認識とアライメントが終わった後、このために自分で書いた小さな比較スクリプトを実行しました。TED公式の文字起こしとGeekLinkの出力を1行ずつ突き合わせ、一致したペアごとにタイミングのずれを計算し、ずれが大きい行や文言が異なる行には手動確認のフラグを立てます。これはアプリの機能ではなく、あくまでスクリプトであり、その出力は普段GeekLinkがユーザーに見せるものではありません。以下では要約ではなく実際の出力をそのまま掲載しています——テーブルをスクロールしてすべての行を確認できます。
実際の差異は何だったのか
TED公式の文字起こし全325行のうち、198行がGeekLinkの行とほぼ同じタイムスタンプで一致しました。残り106行は1対1で直接比較できませんでした——TEDの編集者はGeekLinkとは異なる方法で文を結合・分割し、書き起こす台詞がない箇所には(笑い)や(拍手)と表記しており、さらに公式字幕が一切ない約9秒間の純粋な音楽区間が1か所ありました。直接一致した行のうち、21行——約16分の1——がタイミングのずれの大きさや文言の違いでフラグ付けされ、そのうちより深刻だとフラグが立てられたのは5行だけでした。実際の差異は次のようなものでした。
- 用語選択、双方向で発生。TED公式の文字起こしは「my normal work flow was not an option」（work flowを2語）と表記していますが、GeekLinkは「workflow」（1語）として認識しました。別の行では、TEDの文字起こしは「that would happen every single paper」となっていますが、GeekLinkは「to」を追加して認識しました（「happen to every single paper」）——これは文法的により完全な形とも読めます。公式の文字起こしであっても、すべての単語が自動的に正解というわけではありません。
- 接続詞が追加されていたケース。ある行で、TED公式のテキストは「everything gets done, things stay civil」となっていますが、GeekLinkは「everything gets done and things stay civil」と認識しました。意味は同じで単語が1つ多いだけです——実際に話者が言った言葉をTEDの編集者が削った可能性もあれば、認識側が自然に聞こえる接続詞を追加した可能性もあります。文字起こしだけではどちらか判断できません。
- 実際に分段の違いがあったケース。ある箇所で、TEDの字幕は「Now, of course, I said yes.」／「It's always been a dream of mine to have done a TED Talk in the past.」という2行の平叙文として表記していました。GeekLinkは同じ音声を異なる形で分割し、直接引用として扱いました。「Now, of course, I said, 'Yes, it's always been a dream of mine'」／「'to have done a TED Talk in the past.'」同じ単語、同じ意味——GeekLinkのAI スマート分割が改行の位置を別の場所に置き、引用の発言として処理しただけです。
なぜタイミングがここまで近かったのか
Whisperのような音声認識モデルは、タイムスタンプを測定するのではなく予測します——単語がいつ始まるかについてのモデルの最良の推測は、特に長いトークになるほどずれていく傾向があり、そのため生の出力はしばしば一拍早く、あるいは遅く表示されます。これこそが、AI生成字幕に対する「話す前に字幕が出てしまう」という不満の実際の原因です。
高精度タイムラインは、まさにこのずれを修正するために存在します——モデルの最初の推測をそのまま信用するのではなく、認識後に各行を実際の音声波形に再アライメントします。これが上のスクリーンショットで示したステップであり、今回のテストでタイミングがここまで良好だった理由です。
このことがレビュー時間にとって何を意味するか
動画1本はベンチマークではありませんし、そうであるかのように振る舞うつもりもありません。ただ、これはそもそもGeekLinkを作ろうと思った動機と一致しています。このトークでは、325行のうちわずか21行——約16分の1——だけが再確認する価値がありました。多くの字幕ワークフローが求めるように、すべての行を手動で読み直し、時間を取り直していたら、すでに正しかった作業をひたすら再チェックすることに、ほぼすべての時間を費やしていたはずです。
これこそ、文字起こし全体を読み直すのではなく、確認する価値のある行だけにフラグを立てる発想の核心です。ほとんどの部分はあなたの注意を必要としません。本当に必要な部分は、何かがそこを指し示してくれさえすれば、たいてい一目で見つかります。
FAQ
AI生成字幕は、まったくレビューせずに使えるほど正確ですか？
まったくレビューなしでは使えませんが、「90%正確」という言葉が示唆するよりは正確です。このテストでは、325行を公式の人間編集による文字起こしと比較したところ、タイミングのずれや文言の違いで再確認の価値ありとフラグが立てられたのは21行（約16分の1）だけで、そのうち深刻だったのはわずか5行でした。フラグが立てられた行にざっと目を通す価値はありますが、すべての行を最初から読み直す必要は通常ありません。
AI字幕のタイミングエラーと文言エラーの違いは何ですか？
タイミングエラーは、モデルが単語の開始時点を正確に測定するのではなく予測することから生じるため、キューが一拍早く、あるいは遅く表示されることがあります。文言エラーは、音声の実際の誤認識から生じます。このテストでは、タイミングは強制アライメント処理によって修正され、発生した文言の違いは「workflow」対「work flow」のような単語の分割の違いや接続詞の追加といったもので、聞き間違いではありませんでした。
GeekLinkは高精度な字幕タイミングに対応していますか？
対応しています。GeekLinkの高精度タイムライン機能は、音声認識の後に各字幕行を実際の音声に再アライメントし、生のAI文字起こしにありがちなタイミングのずれを修正します。
AI音声認識は背景音楽をうまく処理できますか？
確実にはできません。Whisperなどの音声モデルは音声を認識するために作られたものであり、音楽から音声を分離するようには作られていないため、台詞の下で音楽が流れている区間は、自動出力をそのまま信用せず手動で確認する価値があります。
自分でAI字幕の精度を検証するにはどうすればいいですか？
公式または信頼できる文字起こしがある動画を見つけ、使っているツールの音声認識をそれに対して実行し、2つを1行ずつ比較します——タイミングのずれと文言は、それぞれ異なる失敗の仕方をするため、別々にチェックしてください。これはまさに今回のテストで使った方法です。
お断り：GeekLinkは私たち自身の製品です。これは1本の動画に対する1回の手動テストであり、対照実験ではありません——統計的な精度の主張としてではなく、実際にギャップがどこにあるかを見るための観察として受け止めてください。