AI 립싱크, 입모양 맞추는 6단계와 도구 비교표
AI 립싱크의 방식 3가지를 시작 재료와 약한 자리로 나눠 비교하고, 도구 4종의 입력 · 처리 길이 · 한국어 · 상업 이용 조건, 대본부터 자막까지 6단계, ㅁ · ㅂ · ㅍ처럼 한국어에서 어긋나기 쉬운 자리와 점검 항목 6개를 정리했습니다.

AI 립싱크는 새로 만든 음성에 맞춰 영상 속 인물의 입 모양을 다시 그리는 작업입니다. 음성을 먼저 확정하고, 정면을 보고 말하는 가슴 위 크기의 얼굴 컷을 골라 맞추면 대부분 자연스럽게 나옵니다. 반대로 옆얼굴, 손이나 마이크에 입이 가려진 장면, 고개를 빠르게 돌리는 장면에서는 입과 소리가 어긋나기 쉬워 처음부터 고르지 않는 편이 낫습니다. 아래에 방식 3가지와 도구 4종 비교, 6단계 순서, 한국어에서 어긋나는 자리를 정리했습니다.
AI 립싱크는 어떤 방식이 있나요
무엇에서 출발하느냐에 따라 세 가지로 나뉩니다. 사진이나 기성 아바타에 음성을 넣어 말하게 하는 방식, 이미 찍어 둔 영상에서 입 주변만 새 음성에 맞게 바꾸는 방식, 영상을 생성할 때 대사까지 함께 만드는 방식입니다.
| 방식 | 시작 재료 | 잘 맞는 일 | 약한 자리 |
|---|---|---|---|
| 음성으로 움직이는 아바타 | 사진 한 장 또는 기성 아바타 + 음성 · 대본 | 교육 · 안내 · 사내 공지처럼 한 사람이 정면으로 말하는 영상 | 몸짓이 단조롭고, 걷거나 물건을 드는 장면은 어렵다 |
| 찍어 둔 영상의 입만 바꾸기 | 촬영 영상 + 새 음성 | 이미 만든 광고 · 인터뷰의 다른 언어 버전, 대사 한 문장 고치기 | 원본 컷의 얼굴 각도 · 가림에 결과가 크게 좌우된다 |
| 생성할 때 대사까지 함께 | 프롬프트 · 이미지 + 따옴표 안의 대사 | 몇 초짜리 연출 컷, 인물이 한두 마디 하는 장면 | 한 번에 만드는 길이가 짧고, 같은 대사를 여러 번 뽑아 골라야 한다 |
같은 광고를 여러 언어로 내는 전체 흐름(번역 · 음성 · 자막 · 검수)은 AI 더빙, 광고 영상 다국어 버전 만드는 순서에 있고, 이 글은 그 가운데 입 모양을 맞추는 일만 다룹니다.
AI 립싱크 도구는 무엇이 다른가요
도구마다 받는 재료와 한 번에 처리하는 길이, 결과물을 광고에 써도 되는 조건이 다릅니다. 아래는 각 도구의 공식 안내에서 확인한 내용이며 요금제와 함께 자주 바뀌니 쓰기 전에 다시 확인하세요.
| 도구 | 넣는 재료 | 한 번에 처리하는 길이 | 한국어 | 상업 이용 |
|---|---|---|---|---|
| HeyGen | 사진 · 아바타 + 대본 또는 음성 파일, 촬영 영상 번역 | 무료 편당 1분, Creator · Pro 30분, Business 60분 | 영상 번역 · 립싱크 언어 목록에 한국어 있음 | 유료 요금제 결과물은 상업 목적 사용을 제한하지 않음, 무료 요금제 결과물은 판매 · 수익화 불가 |
| sync. | 영상(MP4) + 음성(WAV · MP3) | 요금제에 따라 최대 30분, 무료 체험은 월 3회 · 회당 15초 | 직접 만든 음성은 어느 언어든 넣을 수 있다고 안내 | 문서에 따로 적힌 내용이 없어 요금제 약관에서 확인 |
| Kling AI 아바타 | 이미지 + 음성(올리거나 글로 만든 음성) | 5분 분량 장면까지 다룬다고 소개 | 지원 언어에 한국어 있음 | 유료 회원은 상업 이용 제한 없음, 비회원은 결과물에 브랜드 표시 |
| Kling 4.0 생성 | 프롬프트 · 이미지 + 따옴표 안의 대사 | 한 번에 3~30초 | 대사 지원 언어에 한국어 있음 | 위와 같은 유료 서비스 약관 |
요금 단위도 다릅니다. 분 단위로 크레딧을 쓰는 도구가 있고, 초 단위로 매기는 도구가 있어 같은 1분짜리라도 비용 계산이 달라집니다. 한 도구의 화면 순서와 요금제를 자세히 보려면 헤이젠 사용법, 아바타 영상 6단계와 요금제 표를 참고하세요.
AI 립싱크 6단계는 어떻게 되나요
- 대본 확정: 음성이 바뀌면 립싱크를 다시 돌려야 하므로 문장을 먼저 끝냅니다. 소리 내어 읽으며 초를 재고, 숨 쉴 자리에 쉼표를 넣습니다. 한 아바타 도구 안내도 쉼표 같은 문장 부호로 끊어 읽을 자리를 만들라고 적고 있습니다.
- 음성 생성: AI 성우로 만들거나 녹음합니다. 배경음악 · 효과음은 빼고 목소리만 담은 파일을 준비해야 입 모양이 소리를 정확히 따라갑니다.
- 원본 컷 고르기: 정면 또는 살짝 비스듬한 얼굴, 입이 가려지지 않은 컷, 고개 움직임이 느린 컷을 고릅니다. 영상 길이는 음성보다 조금 길게 잡습니다.
- 립싱크 생성: 처음에는 10초만 잘라 돌려 결과를 보고, 괜찮으면 전체를 돌립니다. 비용과 기다리는 시간이 함께 줄어듭니다.
- 어긋남 점검: 아래 점검표 여섯 항목을 원본 크기로 확대해 확인합니다. 어긋난 구간만 잘라 다시 돌립니다.
- 자막: 깨끗한 영상으로 립싱크를 마친 뒤 자막을 맨 끝에 얹습니다. 자막 문구를 고쳐도 립싱크를 다시 돌리지 않아도 됩니다.
한국어 AI 립싱크는 어디가 어긋나나요
한국어에서 가장 먼저 눈에 띄는 곳은 입술이 완전히 닫혀야 하는 소리입니다. ㅁ · ㅂ · ㅍ은 두 입술이 붙었다 떨어지며 나는 소리라, "바로", "표", "엄마"에서 입술이 닫히지 않으면 바로 어색해 보입니다. 받침도 같습니다. "합니다"의 합은 [함]으로 소리 나며 입술이 닫힙니다. 말이 빠르면 음절이 짧게 지나가 입 모양이 뭉개지기 쉬우니, 대본 단계에서 문장을 짧게 끊는 편이 결과를 고치는 것보다 빠릅니다.
| 점검 항목 | 볼 곳 | 어긋났을 때 |
|---|---|---|
| 입술 닫힘 | ㅁ · ㅂ · ㅍ 소리와 ㅁ · ㅂ 받침 | 그 문장만 잘라 다시 생성하거나 낱말을 바꾼다 |
| 소리와 입의 앞뒤 밀림 | 문장 첫 음절이 나올 때 입이 먼저 또는 늦게 움직이는지 | 편집 프로그램에서 음성을 몇 프레임 앞뒤로 옮겨 본다 |
| 말이 끝난 뒤 입 | 문장 사이 쉬는 구간에 입이 계속 움직이는지 | 음성 파일의 잡음 · 숨소리를 지우고 다시 돌린다 |
| 치아 · 혀 | 입을 크게 벌리는 모음(아 · 어)에서 치아가 번지는지 | 얼굴이 더 크게 잡힌 원본 컷으로 바꾼다 |
| 입 주변 번짐 | 수염 · 립스틱 경계, 입가 피부 결 | 해상도가 높은 모델이나 요금제로 다시 돌린다 |
| 고개 돌릴 때 | 옆으로 도는 순간 입 모양이 튀는지 | 그 구간을 다른 컷으로 바꾸거나 잘라낸다 |
실제 사람 얼굴로 AI 립싱크를 할 때 무엇을 받아 두나요
직원 · 모델 · 대표자처럼 실제 사람의 얼굴로 하지 않은 말을 하게 만드는 작업이라, 시작 전에 본인의 서면 동의를 받아 둡니다. 동의서에는 쓰는 얼굴 · 목소리, 바꿀 언어와 대사의 범위, 올릴 채널, 쓰는 기간, 계약이 끝난 뒤 영상을 내리는 방법을 적습니다.
대법원은 사람마다 자기 얼굴이 함부로 공표되거나 영리적으로 이용당하지 않을 권리, 곧 초상권이 있다고 봅니다(2006. 10. 13. 선고 2004다16280 판결). 부정경쟁방지법 제2조 제1호 타목은 널리 알려진 사람의 성명 · 초상 · 음성 같은 표지를 허락 없이 영업에 써서 경제적 이익을 해치는 행위를 부정경쟁행위로 적고 있습니다. 한 아바타 도구 약관도 녹음 파일을 가지고 있다는 것만으로 그 사람의 목소리를 쓸 허락이 생기지 않는다고 적습니다. 구체적인 사례에 어떻게 적용되는지는 법률 전문가와 확인하세요.
자주 묻는 질문
AI 립싱크는 몇 초짜리로 먼저 시험하나요?
10초 안팎이면 충분합니다. 정면 얼굴이 나오는 구간에 ㅁ · ㅂ · ㅍ이 들어간 문장을 하나 넣어 두면 가장 어긋나기 쉬운 자리를 한 번에 볼 수 있습니다. 무료 체험이 회당 15초인 도구도 있어 이 길이면 비용 없이 비교할 수 있습니다.
원본이 4K인데 AI 립싱크 뒤 화질이 떨어지나요?
모델에 따라 얼굴 부분을 처리하는 해상도가 다릅니다. 한 립싱크 서비스는 얼굴 영역 512×512로 처리하는 모델과 4K로 처리하는 모델을 나눠 안내합니다. 얼굴이 화면을 크게 채우는 컷이라면 시험본을 원본 크기로 확대해 입 주변이 흐려지지 않았는지 보세요.
AI 립싱크를 외부에 맡기면 비용은 무엇으로 정해지나요?
영상 길이(분), 언어 수, 원본 컷 상태, 음성 제작을 함께 맡기는지, 수정 횟수가 비용을 정합니다. 도구 요금도 들어가는데, 한 립싱크 서비스는 모델에 따라 초당 0.02~0.133달러로 안내해 같은 길이라도 고르는 모델에 따라 차이가 납니다. AI 광고 영상 제작을 맡길 때는 대본 · 음성 파일 · 원본 영상을 함께 넘기면 견적 범위가 분명해집니다.
오늘 할 일
정면을 보고 말하는 10초 컷 하나와 같은 길이의 한국어 음성 파일 하나로 AI 립싱크를 돌려 점검표 여섯 항목을 확인하세요.
이어서 읽기 — AI 아바타 영상, 도구 5종 비교표와 6단계



