LatentSync 1.6은 VRAM 18GB 필요 — 방송급 기준

LatentSync 1.6이 18GB를 방송급 기준선으로 잡은 이유

LatentSync 1.6이 방송급 기준선을 VRAM 약 18GB로 잡은 이유는 학습과 추론 해상도를 512×512로 끌어올렸기 때문입니다. 이전 잠재공간 립싱크 방식에서 흔했던 약 256픽셀 얼굴 영역보다 크게 높아진 수치입니다. 이 해상도 상승 하나가 v1.5의 약 8GB에서 v1.6의 약 18GB로 메모리 요구량이 거의 두 배가 된 핵심 원인입니다 . LatentSync 1.6은 2025년 6월 11일 Apache-2.0 라이선스로 공개됐고, 이 해상도 업그레이드는 256px 확산 기반 립싱크에서 자주 나타나는 흐릿함을 정면으로 줄이기 위한 것이었습니다 .

빠른 답변: LatentSync 1.6은 ByteDance가 2025년 6월 11일 공개한 Apache-2.0 립싱크 모델로, 약 18GB VRAM이 필요합니다. v1.5의 약 8GB보다 높아진 이유는 256px 잠재공간 방식의 흐릿함을 줄이기 위해 512×512 해상도로 전환했기 때문입니다. 문서상 안정적인 처리량을 기대할 수 있는 진입점은 RTX 4090 또는 A10급 GPU입니다.

이 메모리 사용량이 가파른 이유는 아키텍처를 보면 분명해집니다. LatentSync는 Stable Diffusion U-Net을 기반으로 한 오디오 조건부 잠재 확산 모델이며, 중간 모션 표현을 사용하지 않습니다. Whisper가 멜 스펙트로그램을 오디오 임베딩으로 변환해 cross-attention을 통해 U-Net에 주입하고, 참조 프레임과 마스크 프레임은 노이즈가 섞인 latent에 직접 연결됩니다 . 노이즈 latent, 참조, 마스크, 오디오 조건이라는 병렬 스트림이 각각 forward pass 동안 VRAM을 동시에 차지하므로, 공간 해상도를 두 배로 올리면 모든 텐서에서 메모리 부담이 한꺼번에 커집니다.

버전 1.5는 해상도 상승 전의 기반을 마련했습니다. 시간 일관성 레이어를 추가하고, 중국어 성능을 개선했으며, 프레임 전반에서 정체성과 싱크를 안정적으로 유지하기 위해 TREPA, LPIPS, SyncNet loss로 학습했습니다 . 프로젝트는 이 트레이드오프를 다음과 같이 설명합니다.

"512×512 학습 해상도는 잠재공간 생성의 흐릿함을 줄이기 위해 특별히 도입됐다" — LatentSync 프로젝트 문서 (source: bytedance/LatentSync).

하드웨어를 산정하는 개발자에게 실질적인 기준은 가중치를 메모리에 올릴 수 있느냐가 아니라 처리량입니다. 리뷰 자료는 LatentSync 1.6에서 안정적인 진입점으로 RTX 4090 / A10급 GPU를 제시합니다. 18GB보다 낮은 구성에서도 추론은 끝낼 수 있지만, 커뮤니티 벤치마크가 설명하는 속도는 프로덕션에 쓰기 어려운 수준입니다 . 여기서 말하는 "방송급 기준선"의 실제 의미는 기능의 문턱이 아니라 비용의 문턱입니다. 파이프라인이 24GB 카드를 감당할 수 있다면 LatentSync 1.6은 현재 오픈소스 재더빙 모델 중 가장 높은 충실도를 제공합니다. 그렇지 않다면 이어지는 섹션에서 MuseTalk과 MOVA가 더 가볍거나 더 무거운 메모리 사용량을 위해 해상도나 생성 방식을 어떻게 바꾸는지 설명합니다.

LatentSync, MuseTalk, MOVA 비교: VRAM, fps, 해상도 한눈에 보기

모든 항목에서 이기는 단일 오픈소스 립싱크 모델은 없습니다. 이 가이드의 나머지 부분은 바로 그 선택지를 정리합니다. LatentSync 1.6은 512×512에서 시각적 충실도가 가장 높지만 약 18GB VRAM을 요구합니다 . MuseTalk 1.5는 처리량이 강점으로, 8GB 안에서 Tesla V100 기준 30fps를 넘깁니다 . MOVA는 처음부터 합성하는 영상에서 싱크 일관성이 강하지만, 훨씬 더 높은 하드웨어 비용이 듭니다 . 가장 큰 제목을 단 모델이 아니라, 촬영분에 중요한 열을 기준으로 고르세요.

Wav2Lip은 저사양 쪽의 기준점 역할을 합니다. zero-shot 기준선으로서 SyncNet 판별기가 화자의 개별 학습 없이도 어떤 화자든 입 움직임 타이밍을 음소에 맞추고, 중급 카드에서도 실행됩니다. 대신 입 영역은 부드럽고 저해상도입니다 . 대부분의 파이프라인을 결정하는 세 열은 방식과 VRAM입니다. 재더빙 모델(Wav2Lip, MuseTalk, LatentSync)은 기존 클립의 입 영역을 편집하므로 길이는 사실상 제한이 없습니다. 반면 MOVA는 영상과 동기화된 음성을 한 번에 생성하지만 8초, ≤720p 클립으로 제한됩니다 . 이미 가진 영상을 편집할지, 새 영상을 합성할지의 차이는 어떤 fps 수치 하나보다 중요합니다. 다음 세 섹션에서 각 선택지를 자세히 나눠 봅니다.

MuseTalk 1.5: 30fps와 8GB VRAM이 256px라는 타협을 동반하는 이유

MuseTalk 1.5가 30fps에 도달하는 이유는 반복 확산이 아니라 단일 단계 잠재 공간 인페인팅 방식이기 때문입니다. LatentSync가 프레임마다 여러 차례 노이즈 제거 패스를 반복하는 반면, MuseTalk는 프레임당 한 번의 순전파만 수행합니다. 즉 마스킹된 입 영역에 대해 단 한 번의 인페인팅 작업을 하는 구조이며, 이 덕분에 Tesla V100에서 30fps를 넘길 수 있습니다 . 이 아키텍처 선택이야말로 MuseTalk가 약 8GB VRAM 등급에 무리 없이 들어가고, LatentSync 1.6이 다루기 어려운 하드웨어에서도 실행되는 핵심 이유입니다.

Tencent Lyra Lab은 2025년 3월 28일 MuseTalk 1.5를 배포했으며, 이 업데이트는 겉치장이 아니라 명확한 목표를 가진 개선이었습니다 . 2단계 학습 과정에 시공간 샘플링 전략을 더하고, 그 위에 지각 손실, GAN 손실, 싱크 손실을 추가했습니다 . 이러한 추가 요소들은 이전 빌드에서 리뷰어들이 지적한 두 가지 약점, 즉 프레임 간 시간적 일관성과 입 모양-오디오 대응 문제에 곧바로 대응합니다. 싱크 손실은 음소 타이밍을 더 촘촘하게 맞추고, GAN 및 지각 손실은 생성된 입 영역을 더 선명하게 만들며, 시공간 샘플링은 단일 프레임 생성이 만들기 쉬운 프레임 간 불안정성을 줄입니다.

대가는 해상도입니다. MuseTalk는 256×256 얼굴 영역에서 생성하며, 이 상한은 방송용 결과물에서 부담이 드러나기 시작하는 지점입니다 . 콧수염 구조, 정밀한 입술 형태, 입술 색 보존은 결과물을 1080p나 4K 타임라인으로 키울 때 눈에 띄게 저하됩니다 . 단일 프레임 생성에서 오는 지터도 문서화된 또 다른 아티팩트입니다. 표준적인 우회 방법은 립싱크 이후 초해상도 또는 얼굴 복원 패스를 거치는 것입니다. GFPGAN이 흔히 언급되는 선택지이며, 얼굴 디테일을 다시 구축하기 위해 사용됩니다 . 이 방식은 많은 부분을 회복하지만, 파이프라인 단계와 추가 연산, 그리고 정체성 드리프트가 끼어들 수 있는 또 하나의 지점을 더합니다. 원본 모델 출력만 비교한다면 MuseTalk는 디테일을 속도와 맞바꾸는 모델입니다. 완성 납품물을 비교한다면, 실제로는 MuseTalk에 복원 단계를 더한 결과를 비교하는 셈입니다.

라이선스 측면에서는 MuseTalk가 프로덕션 팀에 더 유리합니다. 세 가지 선택지 중 상업적으로 가장 친화적인 허용적 MIT 조건으로 배포되며, 이는 LatentSync의 Apache-2.0과 대비됩니다 . 립싱크를 더빙 파이프라인에 연결하는 스튜디오 입장에서 MIT는 더 제한적인 조건이 유발할 수 있는 법무 검토 부담 없이 통합할 수 있다는 뜻입니다. 8GB VRAM 하한과 30fps 처리량까지 더하면, 방송 해상도에 필요한 복원 단계를 예산에 포함한다는 전제 아래 MuseTalk는 대량·비용 민감형 더빙의 실용적인 기본 선택지가 됩니다.

MOVA: 음성과 영상을 함께 생성하는 비계단식 방식

MOVA(MOSS Video and Audio)는 기존 영상을 더빙하는 대신, 영상과 그에 동기화된 음성을 단일 추론 패스에서 함께 생성하는 공동 오디오-비주얼 파운데이션 모델입니다. OpenMOSS 팀이 MOSI와 함께 Apache-2.0 라이선스로 2026년 1월 29일 공개했으며 , LatentSync나 MuseTalk와는 다른 문제를 겨냥합니다. MOVA는 처음부터 새 콘텐츠를 합성하므로 다시 동기화할 원본 영상이 없습니다. 이 단일 패스 설계는 별도의 오디오 모델이 별도의 비디오 모델에 순차적으로 입력되고 각 단계가 이전 단계의 드리프트를 물려받는 계단식 파이프라인에서 누적되는 오류를 제거합니다 .

아키텍처상 MOVA는 양방향 크로스 어텐션으로 융합되는 비대칭 듀얼 타워 설계를 사용하며, “Aligned RoPE” 메커니즘이 영상 스트림과 음성 스트림 사이의 모달리티 정렬을 처리합니다. 백본은 총 파라미터가 약 32B, 활성 파라미터가 약 18B로 보고된 Mixture-of-Experts 모델이며, 세 단계로 학습되었습니다 . Hugging Face에는 MOVA-360p와 MOVA-720p 두 가지 변형으로 배포되며, 출시 시점부터 Day-0 SGLang 추론 지원을 함께 제공합니다 . 동반 논문인 MOVA: Towards Scalable and Synchronized Video-Audio Generation(arXiv:2602.08794)은 공개 당시 곧 발표될 예정으로 등재되었습니다 .

실무상의 한계는 길이입니다. MOVA는 최대 8초 길이의 클립을 생성합니다 . 따라서 장편 파이프라인이라기보다 샷 생성 도구에 가깝습니다. 한 줄의 대사를 넘는 토킹헤드 시퀀스라면 여러 번의 생성을 이어 붙여야 하며, 컷 사이의 정체성 일관성은 클립 단위 생성기가 보장해 주는 것이 아닙니다.

“MOVA는 영상과 오디오를 한 번에 공동 생성해, 생성 후 더빙하는 계단식 파이프라인의 오류 누적을 피합니다.” — MOVA 공개 당시 OpenMOSS 팀 설명 (source: OpenMOSS/MOVA).

이 차이는 도구 선택에서 중요합니다. MOVA는 재더빙 옵션이 아닙니다. 이미 인터뷰, 촬영된 영화 장면, 기존 아바타 클립 같은 영상이 있고, 그 입 모양을 새 오디오 트랙에 맞추고 싶다면 여전히 MuseTalk나 LatentSync가 해당되는 선택지입니다. MOVA가 경쟁하는 경우는 프롬프트에서 영상과 목소리를 함께 새로 만들 때뿐입니다. 그래서 MOVA는 얼굴 영역 편집기를 대체하기보다 보완하는 도구이며, 2026년에 가장 좋은 더빙 콘텐츠를 내보내는 팀들이 각 샷의 문제에 맞게 설계된 모델로 샷을 라우팅하는 이유도 여기에 있습니다 .

방식별 VRAM 요구량과 오프로딩 지점

VRAM은 실제로 어떤 립싱크 방식을 돌릴 수 있는지를 가르는 가장 까다로운 제약이며, 주요 네 가지 선택지는 요구 범위가 꽤 넓습니다. Wav2Lip은 중급 소비자용 그래픽카드에서도 실행되고, MuseTalk 1.5와 LatentSync v1.5는 둘 다 8GB 안팎에 머뭅니다. LatentSync v1.6은 512×512 학습으로 옮겨가면서 이 요구량이 대략 18GB까지 올라갔고, MOVA는 단연 가장 무겁습니다. OpenMOSS는 MOVA가 RTX 4090과 H100에서 테스트됐으며, 컴포넌트 단위 오프로딩에서는 약 48GB VRAM, 레이어 단위 오프로딩에서는 약 12GB까지 감소한다고 문서화했습니다. 오프로딩의 대가는 처리량입니다. VRAM을 덜 쓸수록 각 단계마다 가중치를 더 많이 옮겨야 합니다.

로컬 하드웨어가 걸림돌이라면, 호스팅 플레이그라운드가 두 가지 얼굴 영역 편집기를 커버합니다. LatentSync와 MuseTalk은 모두 Fal, Sieve, Replicate, Hugging Face Spaces에서 실행되므로 GPU를 직접 준비하지 않고도 둘 중 어느 쪽이든 테스트할 수 있습니다 [hosted paths]. MOVA는 2026년 7월 기준으로 공개된 호스팅 추론 경로가 없어, 로컬 실행이나 프라이빗 클라우드 인스턴스만 선택지로 남습니다. 사내에 H100이나 4090급 여력이 없는 팀에는 의미 있는 진입 장벽입니다.

실무적으로는 작업에 맞춰 그래픽카드를 고르면 됩니다. 24GB 4090은 모든 재더빙 워크플로를 처리하고 오프로딩 페널티를 감수하면 MOVA에도 닿을 수 있지만, 타협 없는 MOVA 생성은 여전히 데이터센터급 실리콘을 요구합니다.

2026년 립싱크 방식들이 아직 넘지 못한 한계

2026년의 어떤 오픈소스 립싱크 방식도 핵심 품질 격차를 완전히 닫지는 못했으며, 작업에 맞는 그래픽카드를 고른다고 해서 사람의 마무리 작업이 필요 없어지는 것도 아닙니다. 대표적인 세 경로인 LatentSync의 잠재공간 재더빙, MuseTalk의 단일 단계 인페인팅, MOVA의 공동 생성은 각각 어려운 한계를 다른 한계와 맞바꾸며, 어느 것도 손대지 않은 방송용 마스터를 처음부터 끝까지 그대로 내놓지는 못합니다.

LatentSync의 잠재공간 파이프라인은 1.6에서 학습 해상도를 512×512로 올린 뒤에도 여전히 미세한 흐림과 세부 묘사 손실을 만듭니다 . 흔한 보완책은 GFPGAN 같은 모델로 초해상도 또는 얼굴 복원 패스를 거치는 것입니다. 선명도는 되살릴 수 있지만 파이프라인에 단계를 하나 더 추가하고, 모든 프레임에서 지연을 누적시킵니다 . 이 추가 단계는 오프라인 작업에서는 감당할 만하지만, 실시간에 가까운 작업에서는 불편합니다.

MuseTalk은 반대로 속도를 얻는 대신 깊이를 내줍니다. 단일 프레임 생성 방식은 프레임별 떨림을 만들고, 256×256 얼굴 영역 한계 때문에 방송 해상도 영상에서는 후처리를 아무리 해도 입 주변이 부드럽게 뭉개집니다. 256px 원본을 업스케일한다고 해서 모델이 애초에 렌더링하지 않은 입술, 콧수염, 색상 디테일이 생기지는 않습니다 . GFPGAN이 도움이 되긴 하지만, 원래 출연자의 정확한 입 모양을 재구성하기보다는 얼굴을 일반적으로 복원합니다.

MOVA는 음성과 영상을 함께 생성해 두 문제를 피해 가지만, 최대 8초 클립 제한 때문에 외부 분할과 이어붙이기 로직 없이는 장편 더빙에 쓸 수 없습니다 . 한 장면을 8초 단위로 자르고 다시 붙이는 순간, 연결부를 가로지르는 정체성 일관성이 열린 문제가 됩니다. 얼굴, 조명, 목소리 음색이 샷마다 달라질 수 있습니다.

세 가지 실패 양상은 모두에서 아직 해결되지 않았습니다:

• 교차 언어 견고성 — 각 모델이 튜닝된 언어를 벗어나면 음소 커버리지와 입 모양 품질이 떨어집니다.
• 치아 내부 선명도 — 움직임 속에서 치아와 혀 질감은 계속 뭉개져 보이며, 클로즈업에서 가장 눈에 띄는 단서가 됩니다.
• 긴 테이크의 정체성 안정성 — 시간적 누적 때문이든 이어붙인 구간 때문이든, 긴 테이크에서는 얼굴이 조금씩 흔들립니다.

실무적 결론은 모든 축에서 이기는 단일 선택지는 없다는 것입니다. 2026년에 가장 좋은 더빙 콘텐츠를 내는 팀들은 하나의 파이프라인을 처음부터 끝까지 믿기보다, 각 샷을 가장 잘 맞는 모델로 보내고 최종 결과물은 사람이 마무리합니다 .

MOVA의 LSE 점수와 Arena ELO: 동료 평가로는 아직 확인되지 않음

MOVA가 내세우는 립싱크 수치는 유망하지만 자체 보고된 값이므로, 외부 연구소가 재현하기 전까지는 벤더 주장으로 봐야 합니다. MOVA-720p는 Dual CFG 기준 LSE-D 7.094, LSE-C 7.452, 약 1113.8의 arena ELO, 그리고 LTX-2와 OVI를 포함한 모델들을 상대로 70%가 넘는 승률을 제시합니다 . 이 모든 수치는 독립 평가가 아니라 OpenMOSS의 릴리스 자료에서 나온 것이며, MOVA를 방송 파이프라인에 넣을지 판단할 때 이 점이 중요합니다.

이 문제는 절차상의 간극이지, 의혹 제기가 아닙니다. 함께 언급된 논문 "MOVA: Towards Scalable and Synchronized Video-Audio Generation"(arXiv:2602.08794)은 2026년 1월 29일 출시 시점에 공개 예정으로 안내되었습니다 . 2026년 7월 현재, 공유된 공개 테스트 세트에서 이 점수들을 제3자가 재현했다는 결과는 발표되지 않았습니다. 그런 검증이 나오기 전까지, 릴리스 기사들이 내세운 "film-grade"라는 표현은 검증된 결과가 아니라 주장입니다 .

"Paper coming soon," — OpenMOSS 팀, MOVA 프로젝트 노트 (source: OpenMOSS/MOVA).

여기서 특히 신중해야 하는 이유는 이렇습니다. LSE-D와 LSE-C는 표준 립싱크 지표이고, ELO도 순위를 매기는 합리적인 장치입니다. 하지만 자체 보고 ELO는 테스트 세트 구성에 특히 민감합니다. 프롬프트, 비교 대상, 오디오를 어떻게 고르느냐에 따라 점수가 달라집니다. 1113.8이라는 ELO는 외부 연구소가 동일한 고정 경쟁 모델 집합을 상대로 공통 벤치마크에서 다시 생성해야 해석할 수 있습니다. 반대로 Wav2Lip의 SyncNet-discriminator 점수는 오픈소스 립싱크에서 가장 널리, 독립적으로 재현된 기준선으로 남아 있습니다. 해당 지표와 평가 설정이 여러 논문과 저장소에서 반복해서 사용됐기 때문입니다 .

실무적인 결론은 분명합니다. 지금 배포 결정을 내려야 한다면 약 18 GB 기준의 LatentSync 1.6이나 약 8 GB 기준의 MuseTalk 1.5에 맞춰 장비를 잡는 편이 낫습니다. 둘 다 재현 가능하고 현장에서 검증된 선택지입니다. MOVA는 유망하지만 아직 입증되지 않은 공동 생성기로 파일럿에 올리세요. arXiv:2602.08794를 북마크해 두면 됩니다. 독립 연구 그룹이 공개 세트에서 해당 승률을 재현하는 순간, MOVA의 주장은 잠정 단계에서 신뢰 가능한 단계로 올라갑니다. 방송 경로에 넣을 시점은 그때이지, 그 전은 아닙니다.

자주 묻는 질문

LatentSync 1.6을 로컬에서 실행하려면 VRAM이 얼마나 필요한가요?

LatentSync 1.6은 512×512 학습 해상도에서 추론을 실행하는 데 대략 18 GB의 VRAM이 필요하며, 이전 v1.5는 약 8 GB에 들어갑니다 . 리뷰어들은 안정적인 처리량을 위한 문서상 진입점으로 RTX 4090 또는 A10급 GPU를 언급합니다 . 더 적은 VRAM에서도 추론은 끝낼 수 있지만, 프로덕션 배치에 쓰기에는 속도가 비현실적입니다.

MuseTalk과 LatentSync는 무엇이 다른가요?

MuseTalk은 256×256 얼굴 영역에 단일 단계 latent-space inpainting을 적용합니다. 빠르고, 약 8 GB VRAM에서 실행되며, Tesla V100에서 30 fps를 넘깁니다 . LatentSync는 Stable Diffusion 기반의 오디오 조건부 latent diffusion을 반복적으로 실행하므로 더 느리고 v1.6 기준 약 18 GB가 필요하지만, 512×512까지 올라가며 시각적 충실도가 더 높습니다 . 속도와 낮은 하드웨어 요구사항이 중요하면 MuseTalk, 디테일이 중요하면 LatentSync를 고르면 됩니다.

MOVA는 LatentSync와 MuseTalk과 무엇이 다른가요?

MOVA는 기존 영상을 다시 더빙하는 대신, 새 영상과 동기화된 오디오를 한 번의 추론 패스로 합성합니다. 그래서 먼저 생성하고 나중에 소리를 붙이는 계단식 파이프라인에서 생기는 오류 누적을 줄입니다 . 그만큼 더 무겁습니다. OpenMOSS는 약 48 GB VRAM을 문서화했고, layerwise offload를 쓰면 약 12 GB까지 내려가며, 클립은 8초와 ≤720p로 제한됩니다 . 두 리더빙 모델과는 해결하는 문제가 다릅니다.

MuseTalk을 상업적으로 사용할 수 있나요?

네. MuseTalk은 MIT 라이선스로 배포되며, 이 도구들 중 상업적으로 가장 허용 범위가 넓고 방송 파이프라인에 맞추기에도 가장 부담이 적습니다 . LatentSync와 MOVA는 모두 Apache-2.0이며, 이 역시 상업적 사용에 관대한 라이선스입니다 . 세 가지 모두 상업 배포가 가능하지만, 출시 전 기업별 조건은 자체 법무팀과 확인하세요.

MOVA의 벤치마크 점수는 독립적으로 검증됐나요?

2026년 7월 현재는 아닙니다. MOVA가 내세우는 주요 수치인 LSE-D 7.094, LSE-C 7.452, 약 1113.8의 arena ELO, 경쟁 모델 대비 70% 이상의 승률은 자체 보고된 값이며, 동반 논문(arXiv:2602.08794)은 출시 당시 공개 예정으로 표시되어 있었습니다 . 독립 그룹이 공개 세트에서 재현하기 전까지는 이 숫자들을 잠정적인 벤더 주장으로 다루세요.

이 글이 도움이 되셨다면, 새 글이 올라올 때마다 이메일로 받아보세요.

구독하기