OCR / 01
화면 속 편집 신호 읽기
화면에 삽입된 자막, 캡션 및 보이는 대화 텍스트에 적합합니다. 반복되는 프레임 검출을 하나의 안정적인 타임라인으로 전환하면서 장면 텍스트를 제외하는 것이 핵심 과제입니다.
- 영역 및 시간 자동 처리
- 프레임 간 시간 집계
- 장면 텍스트 필터링 및 보수적 수정
자막 생성 기술
Weydub이 OCR과 ASR을 사용해 동영상에서 시간 정보가 포함된 자막을 생성하는 방식
제작 자막은 나중에 타임스탬프를 추가한 대본이 아닙니다. Weydub은 두 가지 독립적인 워크플로를 사용합니다. 화면에 이미 삽입된 텍스트에는 시간 기반 Video OCR을, 오디오에만 존재하는 대화에는 자막용 ASR을 적용합니다.
98.25%OCR 문자 정확도
98.92%엄격한 구간 재현율
300K+매일 처리되는 숏드라마 에피소드
대화 / 유지
고지 / 제외
인물 카드 / 제외
편집 가능한 출력SRT
구간
아빠를 용서할 수 있니?
대화 구간유지됨
장면 오버레이제외됨
하나의 소스 프레임에는 읽을 수 있는 텍스트 유형이 여러 개 포함될 수 있습니다. 자막 타임라인에는 대화만 포함됩니다.
동일 제목의 숏드라마 벤치마크
정확도는 작업자가 가장 직접적으로 체감하는 자막 구간 타임라인에서 가장 중요합니다
Weydub은 동일한 제목의 숏드라마 검증 세트에서 하드 자막 OCR 경로를 테스트한 오디오 전용 ASR 기준선 하나와 비교 평가했으며, 사람이 검토한 편집 자막 레퍼런스를 기준으로 삼았습니다.
이 측정의 의미자막 레퍼런스 워크플로 비교이며, 오픈소스 평균이나 보편적인 ASR WER 벤치마크가 아닙니다. 오디오 기준선에는 분리된 보컬에 ElevenLabs Scribe v2를 사용했습니다.
문자 정확도높을수록 좋음
Weydub OCR98.25%
오디오 ASR92.14%
엄격한 레퍼런스 구간 완전 재현율높을수록 좋음
Weydub OCR98.92%
오디오 ASR67.74%
레퍼런스 소스사람이 검토한 편집 자막 레퍼런스
시각 신호하드코딩된 대화 자막
오디오 기준선분리된 보컬에 적용한 ElevenLabs Scribe v2
경계 허용 구간 매칭77.06%
경계를 허용해 매칭한 뒤에도 구간 수준의 격차는 크게 유지되었습니다. 현지화 팀에게 이 차이는 줄바꿈 오류와 누락된 대화 이벤트를 줄이고, 번역과 더빙 전에 더 신뢰할 수 있는 소스 타임라인을 확보한다는 의미입니다.
기술 설명
AI 자막 생성 방식: Video OCR과 ASR 비교
소스 동영상에서 편집 가능한 시간 정보 포함 SRT까지 이어지는 두 가지 독립적인 신호 경로를 살펴보고, 단일 인식 점수보다 구간 수준의 정확도가 중요한 이유를 알아보세요.
더 신뢰할 수 있는 소스 선택
하나의 동영상에는 서로 다른 두 가지 기준 정보가 있을 수 있습니다
OCR 사용 : 동영상에 신뢰할 수 있는 하드코딩 자막이 이미 포함된 경우입니다. ASR 사용: 대화가 오디오에 존재하지만 사용할 수 있는 자막 텍스트가 보이지 않는 경우입니다.
숏드라마에서는 이 차이가 분명하게 드러납니다. 음악, 효과음, 억양, 울음, 고함, 속삭임, 겹치는 목소리와 구어체 대화는 모두 음성 인식을 방해할 수 있습니다. 전문적으로 편집된 자막 트랙이 의도된 대화를 더 정확하게 나타내는 경우가 많습니다.
ASR / 02
음성을 문단이 아닌 자막으로 변환
사운드트랙이 유일한 대화 소스인 경우에 적합합니다. 인식은 첫 단계일 뿐이며, 읽기 쉬운 자막 검출, 타이밍, 줄 길이와 화자 변경에 따라 결과의 사용성이 결정됩니다.
- 단어 타이밍을 포함한 음성 인식
- 의미 및 음향 기반 분할
- 지원되는 경우 화자 감지 선택 가능
비디오 OCR
이미지 OCR은 프레임을 봅니다. 자막 시스템은 시간을 이해합니다.
초당 30프레임이면 동영상 1분에 1,800개의 프레임이 포함됩니다. 각 프레임에 일반 OCR을 독립적으로 실행하면 작업이 반복되고 중복된 텍스트 상자가 반환됩니다. 동영상 자막 제품은 이러한 관측 결과를 시간 정보가 포함된 이벤트로 연결해야 합니다.
샘플링한 프레임 전체에서 하나의 자막00.50s → 00.95s
프레임 01500.50s
프레임 02000.65s
프레임 02400.80s
프레임 02900.95s병합 결정중복 검출 네 개가 아닌 하나의 구간
00:00:00,420 --> 00:00:02,260
你能原谅爸爸吗
후보 검출
관련 영역 또는 전체 프레임을 사용해 대화 트랙에 포함될 수 있는 텍스트를 찾습니다.
시간에 따라 집계
가까운 검출 결과를 텍스트, 위치 및 지속성을 기준으로 묶어 안정적인 이벤트를 추정합니다.
필터링 및 수정
부수적인 장면 텍스트를 줄이고, 대화를 만들어 내지 않으면서 명백한 인식 오류를 수정합니다.
타임라인 작성
조각을 병합하고 시작 및 종료 경계를 설정한 뒤 편집 가능한 SRT 자막 이벤트로 내보냅니다.
오탐 제어
모든 단어를 인식하는 것과 자막을 생성하는 것은 다릅니다
프레임에는 표지판, 휴대폰 화면, 제품 라벨, 로고, 명함, 경고문, 홍보용 오버레이가 포함될 수 있습니다. 자막 트랙에는 읽을 수 있는 모든 픽셀이 아니라 대화만 담겨야 하므로 Weydub은 장면 텍스트 필터링 기능을 제공합니다.
영역자막 영역을 중심으로 추출합니다.
시간관련 구간만 처리합니다.
언어올바른 문자 체계와 인식 경로를 적용합니다.
검토불확실한 항목을 작업자가 확인할 수 있게 표시합니다.
자막으로 유지대화 자막
말한 대사는 타임코드가 있는 자막 트랙에 포함해야 합니다.
제외: 고지문안전 고지문
계속 표시되는 법적 고지나 제작 관련 문구는 대화가 아닙니다.
제외: 등장인물 카드이름 및 역할 그래픽
등장인물 정보 오버레이는 대화 타임라인에 포함하지 않습니다.
제외: 카메라 UI기술 인터페이스 텍스트
매개변수, 눈금, 기기 오버레이는 화면의 일부로 유지됩니다.
읽을 수 있다고 해서 대화인 것은 아닙니다.
유용한 자막 파일을 생성하려면 동영상 OCR이 먼저 텍스트를 분류해야 합니다.
자막 제작에 적합한 ASR
정확한 전사문도 자막 파일로는 부적합할 수 있습니다
기존 ASR은 음성을 인식합니다. 자막 생성에는 단어 흐름을 문장의 의미, 쉼, 화자 전환, 화면 제약에 맞춰 간결하고 읽기 쉬운 타임코드 자막 큐로 나누는 자막 스포팅 과정이 추가됩니다.
원시 단어 흐름
자막에는 읽기 쉬운 경계가 필요하고 화자 전환도 각각 명확해야 하므로 하나의 문단을 그대로 플레이어로 보낼 수 없습니다.
쉼의미줄 길이화자
하나의 문단을 그대로
A플레이어로 보낼 수 없습니다.
A자막에는 읽기 쉬운 경계가 필요하고,
B화자 전환도 각각 명확해야 합니다.
B오픈 소스 맥락
OCR과 ASR을 비교하는 의미 있는 보편적 평균은 없습니다
공개 프로젝트는 서로 다른 데이터 세트에서 서로 다른 지표를 측정합니다. 문자 체계, 언어, 노이즈, 녹음 조건에 따라 정확도가 얼마나 크게 달라지는지 보여주는 데 유용하지만, 동영상 자막 제작 적합성을 평가하는 하나의 순위표는 아닙니다.
PP-OCRv5인식 정확도 80.27%~94.20%
공개된 문자 체계별 다국어 데이터 세트의 인식 정확도입니다. 이는 텍스트 인식을 측정하며, 시간 정보를 포함한 엔드투엔드 동영상 자막 워크플로를 측정하는 것은 아닙니다.
PaddleOCR 벤치마크 보기Whisper large-v2영어 데이터 세트 14개에서 평균 WER 12.8%
같은 논문에서는 LibriSpeech clean에서 2.7%, 노이즈가 있는 CHiME-6 음성에서 25.5%, AMI 원거리 음성에서 36.4%를 보고합니다. 녹음 조건에 따라 결과가 크게 달라집니다.
Whisper 논문 보기실무에서의 결론은 한 방식이 언제나 더 낫다는 것이 아닙니다. 결론은 사용 가능한 가장 깨끗한 원본 신호를 활용하는 것입니다. 정확한 하드코딩 자막과 노이즈가 섞인 오디오가 있는 숏드라마에서는 시각 트랙이 더 나은 원본인 경우가 많습니다.
보여주기식 지표가 아닌 운영 중심
정확도 몇 퍼센트포인트 차이가 수주의 검토 작업으로 이어질 수 있습니다
장기간 이어지는 시리즈에서는 오류 밀도가 낮으면 필요한 부분만 집중적으로 확인할 수 있습니다. 오류 밀도가 높으면 작업자가 한 줄씩 검토해야 하므로 자막 수정이 제작 병목으로 바뀝니다.
수정할 때마다 담당자가 해당 큐를 찾고, 문맥을 다시 재생하고, 의도한 표현을 확인하고, 편집한 뒤 다시 점검해야 합니다. 오류가 많으면 작업자는 결과를 신뢰하지 못하고 모든 줄을 검토하게 됩니다.
낮은 오류 밀도부분 검토관리 가능한 수정 대기열
높은 오류 밀도줄 단위 검토제작 병목
시리즈 단위 수정 작업량
현지화 품질
원본 자막 품질이 후속 작업의 품질 한계를 결정합니다
번역이나 더빙 오류처럼 보이는 문제도 더 앞 단계에서 시작되는 경우가 많습니다. 잘못된 원문 단어, 부적절한 큐 경계, 잘못된 화자 전환은 이후 모든 모델로 전달됩니다. 신뢰할 수 있는 원문 타임라인은 시리즈 수준의 문맥 인식 자막 번역 에 활용되고, 이어 캐릭터 정보를 반영하는 AI 더빙과 시청각 정렬을 지원합니다.
01동영상/오디오원본 신호
02OCR / ASR인식
03타임코드 큐분할
04번역의미
05AI 더빙음성 + 동기화
06검토납품
프로덕션 납품
동영상 한 편부터 반복 가능한 Studio 및 API 워크플로까지
인식 품질도 중요하지만, 실제 제작에는 일괄 처리, 상태 추적, 편집 가능한 결과물, 콜백, 번역 및 AI 더빙으로의 원활한 연결도 필요합니다.
프로젝트 및 일괄 작업 구성
여러 에피소드를 업로드하고 원본별로 OCR 또는 ASR을 선택해 반복되는 시리즈 작업을 하나의 제작 워크스페이스에서 관리합니다.
Studio 워크플로 살펴보기상태 추적 및 결과물 수집
작업 상태를 확인하고 완료된 결과를 열어 편집 가능한 SRT를 다운로드한 뒤 번역이나 더빙을 계속 진행합니다.
생성 가이드 보기비동기 작업 자동화
OCR 또는 ASR 작업을 제출하고 프로젝트 및 작업 ID를 보관한 다음 자체 미디어 파이프라인에서 폴링 또는 콜백 전송을 사용합니다.
API 레퍼런스 보기명확한 답변
AI 자막 생성 FAQ
워크플로에 대한 정확한 설명이 필요한 작업자, 개발자, 검색 엔진, AI 시스템을 위해 작성한 정의입니다.
AI 자막 생성이란 무엇인가요?
AI 자막 생성은 화면에 보이는 텍스트나 음성 대화를 타임코드가 있는 자막 이벤트로 변환합니다. 제작용 결과물에는 텍스트, 시작 및 종료 시간, 읽기 쉬운 큐 분할, 언어 정보, SRT와 같은 편집 가능한 형식이 포함됩니다.
OCR로 동영상의 하드코딩 자막을 추출할 수 있나요?
예. 동영상 OCR은 프레임에 삽입된 텍스트를 감지하고, 시간에 걸쳐 반복되는 감지 결과를 그룹화하고, 큐 경계를 추정하고, 관련 없는 장면 텍스트를 필터링한 뒤 타임코드가 있는 자막 이벤트로 내보낼 수 있습니다.
숏드라마에서 ASR 대신 OCR을 사용하는 이유는 무엇인가요?
삽입된 자막이 정확한 경우 OCR은 음악, 효과음, 억양, 울음, 고함, 속삭임, 겹치는 대화의 영향을 덜 받는 편집된 텍스트 신호를 읽습니다.
정확한 전사문이 자막으로는 부적합할 수 있는 이유는 무엇인가요?
전사문은 하나의 긴 문단이거나 읽기 속도에 맞지 않는 경계를 가질 수 있습니다. 자막 제작에 적합한 ASR은 의미에 맞는 경계와 화자 전환을 반영해 간결한 타임코드 큐를 생성해야 합니다.
Weydub은 OCR과 ASR을 자동으로 결합하나요?
아니요. OCR과 ASR은 서로 별개의 생성 모드입니다. 팀은 검토 과정에서 두 결과를 비교할 수 있지만, Weydub은 모든 작업을 OCR/ASR이 자동 융합된 워크플로라고 설명하지 않습니다.
더 나은 원본 타임라인 구축
현지화 워크플로에서 신뢰할 수 있는 자막 파일을 생성하세요.
삽입된 텍스트에는 OCR을, 음성에는 ASR을 선택하고 타임코드가 있는 SRT를 검토한 뒤 번역, AI 더빙, 내보내기를 계속 진행하세요.
Weydub으로 시작하기