AI 더빙, 광고 영상 다국어 버전 만드는 순서

AI 영상 제작식스원 편집팀작성 2026.09.23수정 2026.10.197분 읽기

AI 더빙은 원본 대사를 번역해 합성 음성으로 다시 입히고, 필요하면 입 모양까지 맞추는 작업입니다. 자막·성우 더빙과의 차이, 대본 확정부터 현지인 검수까지 여섯 단계, 어색해지는 다섯 곳과 고치는 방법을 정리했습니다.

AI 더빙은 원본 영상의 대사를 번역한 뒤 합성 음성으로 다시 입히고, 필요하면 화면 속 입 모양까지 새 음성에 맞추는 작업입니다. 광고 영상이나 AI 영상의 다국어 버전을 만들 때 결과를 가르는 것은 도구보다 순서입니다 — 대본을 먼저 확정하고, 번역문을 원본 길이에 맞추고, 마지막에 그 언어를 쓰는 사람이 듣고 확인합니다. AI 더빙 사이트나 프로그램은 번역 초안과 합성 · 입 모양 맞춤을 빠르게 해 주지만, 대본 확정과 길이 맞춤, 현지 검수는 사람이 합니다.

AI 더빙이란 무엇인가요

세 겹의 작업을 묶어 부르는 말입니다. 어느 겹까지 할지에 따라 기간과 검수할 것이 달라집니다.

번역 — 원문 대사를 옮기되, 원문 한 줄이 차지하던 초 안에 들어가도록 길이를 맞춥니다. 사람이 가장 많이 손대는 겹입니다.
음성 합성 — 번역문을 합성 음성으로 읽힙니다. 목소리 · 말 빠르기 · 억양을 고릅니다.
입 모양 맞춤(AI 립싱크) — 화면 속 출연자의 입 움직임을 새 음성에 맞춰 다시 그립니다. 얼굴이 크게 나오는 구간에만 필요합니다.

AI 더빙 프로그램이나 사이트를 고를 때는 네 가지를 봅니다. 옮기려는 언어가 목록에 있는지, 목소리 후보가 몇 가지인지, 제품명 같은 말의 읽는 법을 따로 등록하는 기능(발음 사전)이 있는지, 입 모양 맞춤을 원하는 구간에만 걸 수 있는지입니다. 결과물을 광고에 쓸 계획이라면 상업적 이용 조건이 적힌 약관 문단도 캡처해 둡니다.

영상 플랫폼에도 비슷한 기능이 있습니다. 유튜브는 채널에 올린 영상에 번역된 음성 트랙을 붙이는 자동 더빙을 자격 요건을 갖춘 채널에 안내하는데, 한국어 원본은 영어와 인도네시아어로 옮길 수 있고 더빙된 영상은 설명란에 「자동 더빙」 표시가 붙습니다(2026년 9월 기준 YouTube 고객센터 안내). 옮길 언어가 이 둘이고 채널에 올릴 영상이라면 자동 더빙으로 먼저 올려 볼 수 있습니다. 광고로 집행할 파일, 베트남어처럼 목록에 없는 언어, 입 모양까지 맞출 영상은 따로 만듭니다.

자막·AI 더빙·성우 더빙은 무엇이 다른가요

세 방식은 기간과 비용이 쌓이는 곳이 다릅니다. 아래 기간은 30초 영상 한 편을 한 언어로 옮긴다고 가정한 값입니다.

방식	기간(예시)	비용 구조	어울리는 영상	검수 부담
자막	2~3일	번역 + 자막 작업, 언어마다 반복	화면만 봐도 이해되는 영상, 소리를 끄고 보는 피드 광고	번역문을 읽고 확인
AI 더빙	3~5일	번역 + 합성 + 입 모양 맞춤 구간 + 현지 검수	내레이션이 끌고 가는 제품 소개, 옮길 언어가 많은 영상	발음 · 억양 · 입 모양까지 듣고 보며 확인
성우 더빙	1~2주	번역 + 성우 출연료(쓰는 기간 · 매체) + 녹음실	감정 연기가 중요한 캠페인, 방송 광고	녹음 현장 디렉팅, 다시 녹음할 일정

외국어 더빙을 할지 자막으로 갈지는 원본의 말 비중으로 정합니다. 출연자가 화면을 보며 말하는 영상이면 더빙이, 화면과 자막이 이야기를 끌고 가는 영상이면 자막이 맞습니다. 어느 쪽이든 영상 더빙 번역은 대본에서 시작하므로, 자막과 번역을 대본부터 하는 순서를 먼저 맞춰 두면 방식을 바꿔도 앞 단계를 다시 하지 않습니다.

AI 더빙은 어떤 순서로 하나요

여섯 단계입니다. 앞의 두 단계를 사람이 꼼꼼히 할수록 뒤의 네 단계가 빨라지고, 다국어 더빙으로 언어를 늘릴 때는 1단계를 그대로 두고 2~6단계만 반복합니다.

대본 확정 — 편집이 끝난 영상 기준으로 최종 대본을 만들고 문장마다 시작 · 끝 시간을 붙입니다. 시간이 붙은 자막 파일(SRT)이 그대로 이 표가 됩니다. 제품명 표기를 정한 용어집과, 목소리 · 음악 · 효과음을 따로 뽑은 음성 파일도 이때 받아 둡니다 — 섞인 트랙에서 목소리만 걷어 내면 배경 음악에 잡음이 남기 쉽습니다.
번역 · 길이 맞춤 — 더빙 음성은 원문 대사가 나오던 초 안에 끝나야 하므로, AI 더빙 번역은 자막처럼 문장을 둘로 나눠 화면에 더 오래 띄우는 방법을 쓸 수 없습니다. 번역 초안이 나오면 줄마다 소리 내 읽은 시간을 재서 원문 초 옆에 적고, 넘치는 줄은 같은 뜻의 짧은 표현을 찾거나 편집에서 그 장면을 늘립니다.
목소리 고르기 — 성별 · 나이대 · 톤이 다른 후보 두세 개로 같은 문장 세 줄을 합성해 나란히 듣고 고릅니다.
합성 — 문장 단위로 합성하고, 제품명처럼 잘못 읽는 말은 발음 사전에 읽는 법을 등록합니다. 숫자는 읽는 대로 글자로 풀어 넣습니다.
입 모양 맞춤 — 얼굴이 정면으로 크게 나오는 구간만 맞춥니다. 입이 작게 보이거나 가려진 구간은 그대로 두고, 맞춘 뒤 입이 뭉개지는 컷만 다른 컷으로 바꿉니다.
현지인 검수 — 그 언어가 모국어인 사람이 소리만 듣고 한 번, 화면과 함께 한 번 봅니다. 검수표는 아래 다섯 곳을 기준으로 만듭니다.

검수에서 고칠 곳이 나오면 번역문을 고친 뒤 그 문장만 다시 합성합니다. 음성 파일을 직접 잘라 붙이면 대본과 음성이 어긋나고, 다음 언어를 만들 때 같은 곳을 또 고치게 됩니다.

어디서 어색해지나요

합성 음성이 어색해지는 자리는 주로 다섯 곳입니다. 검수하는 사람에게 이 다섯 곳을 먼저 들어 달라고 부탁하면, 듣는 순서가 정해져 빠뜨리는 곳이 줄어듭니다.

어색해지는 곳	왜 생기나	고치는 방법
고유명사	제품명 · 브랜드명을 철자대로 읽음	대본에 읽는 법을 괄호로 적고 발음 사전에 등록
숫자 · 단위	「1+1」「50ml」「3,900원」을 언어마다 다르게 읽음	읽는 대로 글자로 풀어 쓰고, 화폐를 바꿔 적을지는 용어집에서 정함
말 빠르기	번역문이 길어 같은 초 안에 급하게 읽음	번역을 줄이거나 편집에서 화면 길이를 늘림
감정 톤	문장 끝 억양이 평평하거나 모든 문장이 같은 세기	문장마다 톤 지시를 달고, 감탄하는 문장은 짧게 끊음
입 모양	입술이 소리와 어긋나거나 치아가 뭉개짐	정면 클로즈업 구간만 맞추고, 맞춘 뒤 뭉개지는 컷만 교체

검수표는 문장 번호 · 영상 속 시각 · 문제 종류(뜻 · 발음 · 억양 · 표현) · 고칠 문장 네 칸으로 만듭니다. 듣는 사람이 고칠 문장까지 적어 주면 번역을 다시 맡기지 않고 그 자리에서 합성으로 넘어갑니다.

자주 묻는 질문

출연자 목소리를 복제해도 되나요

출연자 본인에게 문서로 동의를 받은 경우에만 합니다. 동의서에는 쓸 언어 · 매체 · 기간, 만든 목소리로 새 문장을 읽혀도 되는 범위, 원본 목소리 데이터를 언제 지우는지를 적습니다. 촬영 때 맺은 출연 계약에 더빙이 없었다면 새로 동의를 받습니다.

도구의 약관도 함께 봅니다. 예를 들어 ElevenLabs의 이용 정책은 동의나 권리 없이 다른 사람의 목소리를 복제하는 것을 금지하고, 정밀 복제는 목소리 주인이 자기 계정에서 본인 확인을 거쳐 만든 뒤 공유하는 방식으로만 허용합니다(2026년 9월 기준 공식 안내). 완성본에 AI로 만든 음성이라는 표시를 어디에 넣을지도 이때 정합니다 — 표시할 자리와 남길 기록은 AI 영상 상업적 이용 정리 순서를 따릅니다.

어느 언어가 더 어렵나요

세 가지를 보면 가늠이 됩니다. 첫째는 길이입니다 — 번역 초안을 소리 내 읽었을 때 원문 초를 넘치는 줄이 많은 언어일수록 길이 맞춤에 손이 더 갑니다. 둘째는 성조입니다 — 베트남어 · 태국어 · 중국어처럼 음의 높낮이가 뜻을 가르는 언어는 억양이 어긋나면 뜻이 달라지므로 현지 검수에 시간을 더 둡니다. 셋째는 높임말입니다 — 일본어처럼 관계에 따라 말끝이 달라지는 언어는 원본 출연자의 말투를 어느 높임으로 옮길지 용어집에 먼저 정합니다.

자막도 같이 넣어야 하나요

넣습니다. 더빙을 해도 소리를 끄고 보는 자리가 있기 때문입니다. 이때 자막은 처음 번역한 문장이 아니라 더빙된 음성과 같은 문장이어야 합니다. 합성 단계에서 문장을 고쳤다면 자막도 그 문장으로 다시 맞추고, 화면에 태운 자막 한 벌과 자막 파일 한 벌을 함께 만들어 둡니다.