TL;DR: GeekLink의 음성 인식(Whisper 기반, 고정밀 타임라인과 AI 스마트 분할을 켠 상태)으로 TED 강연 하나를 처리한 뒤, TED가 공식 발행한 대본 전체 325행과 GeekLink의 결과를 모두 대조했습니다. 198행은 거의 곧바로 일치했습니다. 106행은 구조적으로 직접 비교할 수 없었습니다——TED 편집팀은 문장을 다르게 합치거나 나누고, 대사가 없는 부분에는 (웃음)/(박수)라고 표시하며, 대사 없이 음악만 흐르는 약 9초 구간에는 공식 자막이 아예 없습니다. 직접 대응되는 행 중에서는 21행(약 1/16)이 타이밍 차이가 크거나 표현이 달라 한 번 더 확인할 가치가 있다고 표시됐고, 그중 5행만 심각한 수준으로 분류됐습니다. 이건 영상 한 편으로 진행한 테스트 하나일 뿐 벤치마크는 아니지만, 실제 수치와 사례는 아래에 있습니다.
이 테스트를 진행한 이유
"AI 자막은 90% 정확하다"는 말이 자주 나오지만, 정확히 무엇이 90%인지는 절대 말해주지 않습니다——타이밍, 표현, 문장부호, 줄바꿈은 서로 완전히 다른 실패 방식이고, 한 도구가 하나는 뛰어나면서 다른 하나는 불안정할 수 있습니다. 저는 실제 영상 한 편으로 그 격차가 정확히 어디서 나타나는지 보고 싶었습니다.
TED 강연은 좋은 테스트 대상입니다. TED가 모든 강연에 대해 사람이 직접 편집한 공식 자막을 발행하기 때문입니다. 덕분에 대본이 "그럴듯해 보이는지" 눈대중으로 판단하는 대신, 대조할 수 있는 진짜 정답지가 생겼습니다.
테스트를 어떻게 설정했는지
TED 강연을 GeekLink에 불러오고, 아직 자막이 없다고(오디오만 있다고) 알려준 뒤, Whisper Large 모델로 음성 인식을 돌리기 전에 고정밀 타임라인과 AI 스마트 분할을 켰습니다.
인식이 진행되는 동안 결과가 실시간으로 흘러나왔습니다——작업이 끝나기도 전에 실시간 보기 화면을 열어, 타임스탬프가 붙은 줄들이 하나씩 나타나는 것을 볼 수 있었습니다.
인식이 끝난 뒤, GeekLink는 별도의 타임라인 정렬 단계를 한 번 더 실행했습니다——이것이 고정밀 타임라인 단계로, Whisper의 원본 추측을 그대로 믿는 대신 각 줄을 실제 오디오에 맞춰 다시 정렬합니다. 솔직히 짚고 넘어갈 부분이 하나 있습니다: 이 강연에는 음악만 나오는 짧은 구간이 있었는데, Whisper는——다른 음성 모델과 마찬가지로——음악을 잘 처리하지 못하므로, 그 구간은 자동 출력을 그대로 믿지 않고 직접 확인해야 했습니다.
TED 공식 자막과 어떻게 비교했는지
인식과 정렬이 모두 끝난 뒤, 이를 위해 직접 작성한 작은 비교 스크립트를 돌렸습니다. TED의 공식 대본과 GeekLink의 출력을 한 줄씩 맞춰보고, 일치하는 줄마다 타이밍 오차를 계산한 뒤, 오차가 크거나 표현이 다른 부분을 수동 확인용으로 표시합니다. 이건 앱에 들어 있는 기능이 아니라 스크립트이며, 그 출력은 평소 GeekLink가 사용자에게 보여주는 화면이 아닙니다. 아래에는 요약이 아니라 실제 출력을 그대로 보여드립니다——표를 스크롤하면 모든 줄을 볼 수 있습니다.
실제 차이점은 무엇이었는지
TED 공식 대본 325행 중 198행은 GeekLink의 자막과 거의 같은 시점에 정확히 대응됐습니다. 나머지 106행은 줄 단위로 직접 비교할 수 없었습니다——TED 편집팀은 문장을 GeekLink와 다르게 합치거나 나누고, 대사가 없는 곳에는 (웃음)과 (박수)를 표시하며, 대사 없이 순수 음악만 흐르는 약 9초 구간에는 공식 자막 자체가 없습니다. 직접 대응되는 줄 중에서는 21행——약 1/16——이 타이밍 차이가 크거나 표현이 달라 표시됐고, 그중 5행만 더 심각한 수준으로 표시됐습니다. 실제로 어떤 차이였는지 살펴보면 다음과 같습니다:
- 표현 선택, 양방향 모두 존재. TED 공식 대본에는 "my normal work flow was not an option"이라고 적혀 있는데, GeekLink는 이를 "workflow"(한 단어)로 인식했습니다. 다른 줄에서는 TED 대본이 "that would happen every single paper"라고 되어 있는데, GeekLink는 "to"를 추가해("happen to every single paper") 문법적으로 더 완전한 문장으로 인식했습니다. 공식 대본이라고 해서 모든 단어가 자동으로 정답인 것은 아닙니다.
- 추가된 연결어. 한 줄을 보면, TED 공식 텍스트는 "everything gets done, things stay civil"인데, GeekLink는 "everything gets done and things stay civil"로 인식했습니다. 의미는 같고 단어 하나가 늘었을 뿐입니다——TED 편집팀이 실제로 있던 단어를 다듬어 뺐을 수도 있고, 인식이 자연스러운 연결어를 스스로 추가했을 수도 있습니다. 대본만으로는 어느 쪽인지 알 수 없습니다.
- 실제 분할 방식의 차이. 한 지점에서 TED 자막은 "Now, of course, I said yes." / "It's always been a dream of mine to have done a TED Talk in the past."를 평범한 두 줄로 표기했습니다. GeekLink는 같은 오디오를 다르게 나눠, 직접 인용문 형태로 처리했습니다: "Now, of course, I said, 'Yes, it's always been a dream of mine'" / "'to have done a TED Talk in the past.'" 단어와 의미는 같지만, GeekLink의 AI 스마트 분할이 줄바꿈 위치를 다르게 잡고 이를 인용된 발화로 처리한 것입니다.
타이밍이 이렇게 정확했던 이유
Whisper 같은 음성 인식 모델은 타임스탬프를 측정하는 것이 아니라 예측합니다——한 단어가 언제 시작하는지에 대한 모델의 최선의 추측은 특히 긴 강연에서 점점 어긋나는 경향이 있어서, 원본 출력은 종종 한 박자 빠르거나 늦게 나타납니다. 이것이 바로 사람들이 AI 생성 자막에 대해 흔히 하는 "말하기도 전에 자막이 먼저 뜬다"는 불만의 실제 원인입니다.
고정밀 타임라인은 정확히 이 어긋남을 바로잡기 위해 존재합니다——인식이 끝난 뒤 모델의 첫 추측을 그대로 믿는 대신, 각 줄을 실제 오디오 파형에 다시 맞춰 정렬합니다. 위 스크린샷에서 보여준 단계가 바로 이것이며, 이번 테스트에서 타이밍이 이렇게까지 잘 맞았던 이유이기도 합니다.
검토 시간에 대해 의미하는 것
영상 한 편이 벤치마크는 아니며, 그런 척할 생각도 없습니다. 하지만 이는 애초에 GeekLink를 만들게 된 동기와 일치합니다: 이 강연에서는 325행 중 단 21행——약 1/16——만이 한 번 더 확인할 가치가 있었습니다. 많은 자막 작업 방식이 요구하는 대로 모든 줄을 수동으로 다시 읽고 다시 타이밍을 맞췄다면, 이미 맞는 내용을 다시 확인하는 데 거의 모든 시간을 썼을 것입니다.
확인할 가치가 있는 줄만 표시하고 전체 대본을 다시 읽지 않는다는 발상의 핵심이 바로 이것입니다: 대부분은 신경 쓸 필요가 없습니다. 신경 써야 할 부분은, 무언가가 그것을 가리켜 주기만 하면 대체로 쉽게 눈에 띕니다.
FAQ
AI가 생성한 자막은 전혀 검토하지 않고 써도 될 만큼 정확한가요?
전혀 검토하지 않아도 될 정도는 아니지만, "90% 정확"이라는 말이 암시하는 것보다는 훨씬 정확합니다. 이번 테스트에서는 325행을 공식적으로 사람이 편집한 대본과 비교했을 때, 타이밍 차이나 표현 차이로 한 번 더 확인할 가치가 있다고 표시된 것은 21행(약 1/16)뿐이었고, 그중 심각한 것은 5행뿐이었습니다. 표시된 줄만 빠르게 훑어보는 것은 여전히 가치가 있지만, 모든 줄을 처음부터 다시 읽을 필요는 대체로 없습니다.
AI 자막의 타이밍 오류와 표현 오류는 어떻게 다른가요?
타이밍 오류는 모델이 단어가 시작되는 시점을 정확히 측정하는 대신 예측하기 때문에 발생하며, 그래서 자막이 한 박자 빠르거나 늦게 나타날 수 있습니다. 표현 오류는 오디오를 실제로 잘못 인식해서 생깁니다. 이번 테스트에서는 강제 정렬 단계로 타이밍이 보정됐고, 나타난 표현 차이는 "workflow"와 "work flow"처럼 단어를 다르게 나눈 경우나 연결어가 추가된 경우 정도였지, 실제로 잘못 들은 단어는 아니었습니다.
GeekLink는 정밀한 자막 타이밍을 지원하나요?
네. GeekLink의 고정밀 타임라인 기능은 음성 인식이 끝난 뒤 각 자막 줄을 실제 오디오에 맞춰 다시 정렬해, 원본 AI 전사에서 흔히 발생하는 타이밍 어긋남을 바로잡습니다.
AI 음성 인식이 배경 음악을 잘 처리할 수 있나요?
안정적으로는 아닙니다. Whisper를 비롯한 음성 모델은 음성을 인식하도록 만들어졌을 뿐 음악과 분리하도록 설계되지 않았기 때문에, 대사 아래에 음악이 깔리는 구간은 자동 출력을 그대로 믿기보다 직접 확인할 가치가 있습니다.
AI 자막의 정확도를 직접 확인하려면 어떻게 해야 하나요?
공식 대본이나 신뢰할 수 있는 대본이 있는 영상을 찾아, 사용 중인 도구의 음성 인식을 돌린 뒤 두 대본을 한 줄씩 비교하세요——타이밍 오차와 표현은 서로 다른 방식으로 실패하므로 따로 확인해야 합니다. 이번 테스트에서 사용한 방법이 정확히 이것입니다.
공개 사항: GeekLink는 저희 자체 제품입니다. 이는 영상 한 편에 대한 수동 테스트 하나일 뿐, 통제된 연구가 아닙니다——실제 격차가 어디에 있는지 살펴본 것으로 받아들여 주시고, 통계적인 정확도 주장으로 받아들이지 말아 주세요.