TL;DR: rodei o reconhecimento de fala do GeekLink (baseado em Whisper, com Timestamps Precisos e Segmentação Inteligente por IA ativados) em uma única palestra do TED e depois comparei as 325 linhas da transcrição oficial publicada pelo próprio TED com o que o GeekLink produziu. 198 linhas bateram quase imediatamente. 106 eram estruturais, não diretamente comparáveis — os editores do TED juntam ou dividem frases de um jeito diferente, marcam (Risos)/(Aplausos) onde não há fala, e existe um trecho de ~9 segundos só com música, sem nenhuma legenda oficial. Das linhas que tinham correspondência direta, 21 (cerca de 1 em cada 16) foram sinalizadas por uma diferença de tempo maior ou uma diferença de palavras que valia a pena olhar de novo — e só 5 dessas foram graves o suficiente para serem marcadas em vermelho. É um teste em um único vídeo, não um benchmark, mas os números e exemplos reais estão abaixo.
Por que fiz esse teste
«As legendas com IA têm 90% de precisão» é uma frase que se repete bastante, mas nunca diz precisão em quê — tempo, palavras, pontuação e quebras de linha são modos de falha diferentes, e uma ferramenta pode ser excelente em um e falha em outro. Eu queria ver, em um vídeo real, exatamente onde essa diferença aparece de fato.
As palestras do TED são um bom caso de teste porque o TED publica suas próprias legendas oficiais, editadas por humanos, para cada palestra. Isso me dá um gabarito real para comparar, em vez de só olhar de relance se uma transcrição «parece certa».
Como configurei o teste
Importei uma palestra do TED para o GeekLink, indiquei que ainda não havia legendas (só áudio) e ativei os Timestamps Precisos e a Segmentação Inteligente por IA antes de rodar o reconhecimento de fala com o modelo Whisper Large.
O reconhecimento foi transmitindo os resultados em tempo real — eu conseguia abrir uma visualização ao vivo e ver as linhas aparecerem com timestamps antes mesmo do processo terminar.
Depois do reconhecimento, o GeekLink rodou uma passada separada de alinhamento da linha do tempo — essa é a etapa dos Timestamps Precisos, que reajusta o tempo de cada linha com base no áudio real, em vez de confiar apenas no palpite bruto do Whisper. Uma coisa que vale sinalizar com honestidade: a palestra tinha um trecho curto só com música, e o Whisper — como qualquer modelo de fala — não lida bem com música, então esse trecho precisou de uma conferência manual em vez de confiar na saída automática ali.
Como comparei o resultado com as legendas oficiais do TED
Depois que o reconhecimento e o alinhamento terminaram, rodei um pequeno script de comparação que escrevi para isso: ele alinha a transcrição oficial do TED com o resultado do GeekLink linha por linha, calcula a diferença de tempo de cada correspondência e sinaliza qualquer coisa com uma diferença maior ou uma divergência de palavras para uma conferência manual. Não é um recurso do app — é um script, e sua saída não é algo que o GeekLink mostra no dia a dia. Estou mostrando o resultado real abaixo, não um resumo dele — role a tabela para ver todas as linhas.
Quais foram as diferenças, na prática
Das 325 linhas da transcrição oficial do TED, 198 bateram com uma linha do GeekLink em um timestamp quase idêntico. Outras 106 não eram diretamente comparáveis linha a linha — os editores do TED juntam ou dividem frases de um jeito diferente do GeekLink, marcam (Risos) e (Aplausos) onde não há fala para transcrever, e existe um único trecho de ~9 segundos de música pura sem nenhuma legenda oficial. Das linhas que tinham correspondência direta, 21 — cerca de 1 em cada 16 — foram sinalizadas por uma diferença de tempo maior ou uma divergência de palavras, e só 5 delas foram marcadas como mais graves. Veja como essas diferenças eram, na prática:
- Escolhas de palavras, nos dois sentidos. A transcrição oficial do TED traz «my normal work flow was not an option»; o GeekLink reconheceu como «workflow» — uma palavra só. Em outra linha, a transcrição do TED traz «that would happen every single paper», e o GeekLink acrescentou «to» («happen to every single paper») — que soa como a versão gramaticalmente mais completa da frase. Transcrições oficiais também não são automaticamente a verdade absoluta em cada palavra.
- Um conectivo adicionado. Uma linha: o texto oficial do TED tem «everything gets done, things stay civil»; o GeekLink reconheceu «everything gets done and things stay civil». Mesmo significado, uma palavra a mais — pode ser uma palavra real que os editores do TED cortaram, ou pode ser o reconhecimento acrescentando um conectivo que soa natural. Não dá para saber qual das duas só pela transcrição.
- Uma diferença real de segmentação. Em um trecho, as legendas do TED trazem «Now, of course, I said yes.» / «It's always been a dream of mine to have done a TED Talk in the past.» como duas linhas simples. O GeekLink dividiu o mesmo áudio de outra forma, formatando como uma citação direta: «Now, of course, I said, 'Yes, it's always been a dream of mine'» / «'to have done a TED Talk in the past.'» Mesmas palavras, mesmo significado — a Segmentação Inteligente por IA do GeekLink só colocou a quebra de linha em outro lugar e tratou o trecho como fala citada.
Por que o tempo ficou tão preciso
Modelos de reconhecimento de fala como o Whisper preveem os timestamps em vez de medi-los — o melhor palpite do modelo sobre quando uma palavra começa tende a desviar, especialmente em uma palestra longa, então o resultado bruto costuma cair um pouco antes ou depois do tempo certo. É essa a origem real da maioria das reclamações do tipo «a legenda apareceu antes da pessoa falar» que as pessoas têm com legendas geradas por IA.
Os Timestamps Precisos existem justamente para corrigir esse desvio — eles realinham cada linha com a forma de onda real do áudio depois do reconhecimento, em vez de confiar só no primeiro palpite do modelo. É a etapa mostrada na captura de tela acima, e é o motivo pelo qual o tempo se manteve tão preciso neste teste.
O que isso significa para o tempo de revisão
Um vídeo não é um benchmark, e não vou fingir que é. Mas isso bate com o que motivou o GeekLink desde o início: nessa palestra, só 21 das 325 linhas — cerca de 1 em cada 16 — valiam uma segunda olhada. Se eu tivesse relido e reajustado manualmente cada linha, do jeito que muitos fluxos de legendagem esperam, eu teria gasto quase todo esse tempo reconferindo um trabalho que já estava correto.
É essa a ideia por trás de sinalizar as linhas que valem a pena conferir em vez de reler a transcrição inteira: a maior parte não precisa da sua atenção. As partes que precisam geralmente são fáceis de identificar se algo aponta para elas.
FAQ
As legendas geradas por IA são precisas o suficiente para usar sem nenhuma revisão?
Sem nenhuma revisão, não. Mas elas estão mais perto disso do que a ideia de «90% de precisão» sugere. Neste teste, comparando 325 linhas com uma transcrição oficial editada por humanos, só 21 (cerca de 1 em cada 16) foram sinalizadas por uma diferença de tempo ou de palavras que valia a pena conferir de novo, e só 5 delas eram graves. Ainda vale a pena dar uma passada rápida pelas linhas sinalizadas, mas reler cada linha do zero geralmente não é necessário.
Qual é a diferença entre erros de tempo e erros de palavras nas legendas com IA?
Os erros de tempo vêm do modelo prevendo quando uma palavra começa, em vez de medir isso com precisão, então as marcações podem cair um pouco antes ou depois do momento certo. Os erros de palavras vêm de um reconhecimento incorreto de fato do áudio. Neste teste, o tempo foi corrigido por uma passada de alinhamento forçado, e as diferenças de palavras que apareceram foram coisas como uma palavra dividida de forma diferente («workflow» vs. «work flow») ou um conectivo adicionado — não palavras ouvidas errado.
O GeekLink tem suporte a tempo preciso de legendas?
Sim. A opção Timestamps Precisos do GeekLink realinha cada linha de legenda com o áudio real depois do reconhecimento de fala, corrigindo o desvio de tempo que a transcrição bruta por IA costuma gerar.
O reconhecimento de fala por IA lida bem com música de fundo?
Não de forma confiável. O Whisper e modelos de fala parecidos são feitos para reconhecer fala, não para separá-la da música, então trechos com música tocando sob o diálogo valem uma conferência manual em vez de confiar na saída automática.
Como posso conferir a precisão das legendas com IA por conta própria?
Encontre um vídeo com uma transcrição oficial ou confiável de alguma outra forma, rode o reconhecimento de fala da sua ferramenta nele e depois compare os dois linha por linha — conferindo a diferença de tempo e as palavras separadamente, já que falham de formas diferentes. Foi exatamente esse o processo usado neste teste.
Aviso: o GeekLink é o nosso próprio produto. Este é um teste manual em um único vídeo, não um estudo controlado — trate como um retrato de onde as diferenças realmente estão, não como uma alegação estatística de precisão.