DVD-JEPA 500줄 — 깨지는 주장 하나

DVD-JEPA가 실제로 제공하는 것: 라벨 감독 없는 CPU 전용 JEPA

DVD-JEPA는 최소 구성의 독립 실행형 Joint-Embedding Predictive Architecture(JEPA) 월드 모델로, 원시 프레임만 보고 튀어 다니는 DVD 로고의 움직임을 학습합니다. 좌표 주석은 전혀 쓰지 않으며, CPU에서 약 10초 만에 학습된다고 보고되어 있습니다 . 독립 개발자 Mandar Wagh가 만든 것으로 알려져 있으며, 2026년 6월 13일 무렵 공개 저장소와 인터랙티브 브라우저 데모가 함께 공개되었습니다 . 먼저 짚어둘 점이 있습니다. 여기의 모든 수치는 자체 보고된 것이며, 아직 동료 평가나 독립 벤치마크, 제3자 보도는 없습니다.

빠른 답변: DVD-JEPA는 약 500줄 규모의 MIT 라이선스 PyTorch JEPA 월드 모델입니다. 라벨 없이 원시 프레임만으로 튀어 다니는 DVD 로고의 물리 움직임을 학습하고, CPU에서 약 10초 만에 학습되며, 브라우저에서 클라이언트 측 추론으로 실행됩니다. 서버나 GPU가 필요하지 않습니다 .

교육용으로 흥미로운 지점은 모델에 로고가 어디에 있는지 알려주는 감독 신호가 전혀 없다는 점입니다. 입력은 2·16·16 형태의 누적 프레임이고, 네트워크는 이를 32차원 잠재 벡터 z로 압축합니다. 그런데도 이 벡터는 공간적 위치를 담아냅니다. 위치는 오직 예측 과정에서만 떠오릅니다 . 학습은 python -m dvd_jepa.train 단일 명령으로 실행되고, 학습된 가중치는 추론 시 GPU 없이 dvd-jepa.vercel.app에서 클라이언트 측으로 실행됩니다 .

이 프로젝트가 깔끔한 교육용 예제로 보이는 이유는 "순수 JEPA" 경로에 있습니다. 선택 사항인 픽셀 디코더는 명시적으로 필수가 아닙니다. scripts/pure_jepa.py는 전적으로 벡터만 다루기 때문에, 컨텍스트 인코더, EMA 타깃 인코더, 다음 임베딩을 예측하는 predictor로 이어지는 전체 루프가 몇백 줄 안에서 읽히는 구조로 남습니다 . GPU 클러스터가 없는 엔지니어에게도 JEPA 레시피를 처음부터 끝까지 읽고 재현해볼 수 있는 진입 장벽을 낮춰줍니다.

순수 JEPA의 내부 구조: EMA 업데이트, predictor, collapse 방지

순수 JEPA 루프는 세 개의 작은 모듈과 하나의 정규화 항으로 구성됩니다. 프레임을 잠재 벡터로 압축하는 컨텍스트 인코더, 안정적인 예측 타깃을 제공하는 EMA 타깃 인코더, 다음 잠재 벡터를 예측하는 predictor가 있고, VICReg 스타일의 분산 항이 표현이 collapse되는 것을 막습니다. DVD-JEPA에서는 각 요소가 몇 개의 선형 레이어에 불과합니다. 그래서 전체 월드 모델이 몇백 줄 안에 들어가고 CPU에서도 학습됩니다 .

컨텍스트 인코더는 (2·16·16) 형태의 누적 프레임, 즉 16×16 크기의 그레이스케일 프레임 두 장을 입력으로 받아 256 → 128 → 32를 거쳐 32차원 잠재 벡터 z로 매핑합니다. 픽셀 좌표는 입력되지 않습니다. 튀어 다니는 로고의 위치는 네트워크가 스스로 복원해야 합니다. EMA 타깃 인코더는 같은 아키텍처의 그림자 복사본으로, 경사하강법이 아니라 스텝마다 τ=0.99로 업데이트됩니다 . 이 천천히 움직이는 복사본은 Meta의 더 큰 계열과 맞닿아 있는 핵심입니다. I-JEPA와 V-JEPA에서 쓰인 것과 같은 EMA 타깃 기법을 노트북 규모로 줄인 셈입니다 .

왜 타깃을 직접 학습하지 않고 EMA로 업데이트할까요? 두 인코더가 함께 학습되면 predictor가 둘을 모든 프레임이 같은 벡터로 매핑되는 사소한 고정점으로 몰고 갈 수 있습니다. 그러면 예측 오차는 0에 가까워지지만, 모델은 아무것도 배우지 못합니다. EMA 복사본은 실시간 인코더보다 뒤처져 움직이므로, 컨텍스트 인코더가 변하는 동안에도 타깃 신호가 안정적으로 유지됩니다. 그래서 예측 목표가 자기 파괴적인 목표가 아니라 의미 있는 학습 신호가 됩니다.

predictor(32 → 64 → 32)는 월드 모델의 헤드입니다. 현재 잠재 벡터를 받아 다음 프레임의 임베딩을 예측합니다. 픽셀이 아니라 임베딩을 예측합니다. 이것이 JEPA의 핵심 선택입니다. 예측이 표현 공간에서 일어나기 때문에 모델은 필요 없는 텍스처를 재구성할 필요가 없고, 픽셀을 읽어내기 위한 선택적 디코더는 완전히 분리된 상태로 남습니다 .

collapse 방지는 명시적으로 처리됩니다. VICReg 스타일의 분산 항을 잠재 예측 손실에 덧붙여, 각 임베딩 차원이 배치 전체에서 충분한 퍼짐을 유지하도록 밀어줍니다. 보고된 임베딩 표준편차가 대략 3.0이라는 점은 이 방지 장치가 작동하고 있음을 보여주는 진단 신호입니다. 0에 가까운 값이라면 EMA 타깃만으로는 완전히 막을 수 없는 사소해진 해로의 collapse를 의미합니다 . EMA 타깃, 잠재 공간 predictor, 분산 정규화, 그리고 그것이 유지되었음을 확인하는 표준편차 출력까지, 네 가지 장치가 하나의 읽기 쉬운 파일에 함께 연결되어 있다는 점이 이 프로젝트의 실제 기여입니다.

0.73px RMSE와 88× 이상 탐지 증폭: 실제로 증명하는 것

DVD-JEPA가 내세우는 네 가지 핵심 수치는 잠재 공간 z가 실제로 작동하고 있다는 증거이지, 경쟁력 있는 성능을 입증하는 자료는 아니다. 이 수치들은 JEPA 루프가 결정론적 장난감 과제에서 작동한다는 점을 보여준다. 선형 프로브는 위치를 0.73픽셀 이내로 복원하고 , 단일 스텝 잠재 예측은 0.0005 MSE에 도달하며, 예측 오류는 분포 밖 프레임을 기준선 대비 88×로 표시하고, 임베딩 표준편차는 약 3.0을 유지한다. 모든 수치는 독립 재현 없이 자체 보고된 것이므로, 벤치마크가 아니라 기능 진단으로 읽어야 한다.

이 중 가장 많은 정보를 주는 것은 위치 RMSE다. 사전학습 중 모델은 좌표 라벨을 전혀 보지 않는다. 쌓인 프레임의 미래 임베딩만 예측한다. 그런데도 단순한 선형 프로브가 로고의 x/y 위치를 0.73픽셀 이내로 읽어낼 수 있다는 것은 , 예측 목적의 부산물로 공간 위치가 z에서 선형적으로 해독 가능해졌다는 뜻이다. 이것이 축소판으로 본 JEPA의 핵심 주장이다. 유용한 구조가 자기지도에서 생기며, 지도 학습은 필요하지 않다.

0.0005의 단일 스텝 예측 MSE는 그만큼 덜 놀랍고, 따라서 할인해서 봐야 한다. 튀어 다니는 로고의 궤적은 벽 충돌 사이에서는 완전히 결정론적이므로, 괜찮은 예측기라면 다음 프레임 임베딩을 거의 정확히 예측해야 한다. 이 숫자는 예측기가 동역학을 학습했음을 확인해 줄 뿐, 확률적 입력이나 고차원 입력에서의 동작에 대해서는 아무 말도 하지 않는다.

88× 이상 탐지 민감도는 예측 오류를 분포 밖 신호로 재사용한다. 주입된 프레임이 학습된 물리 법칙을 어기면, 라벨링된 이상 사례 없이도 예측기의 오류가 분포 내 범위를 훨씬 넘어 급증한다. 이는 일반적인 JEPA 속성을 깔끔하게 보여주는 사례다. Meta가 월드 모델 작업에서 예측 오류를 중심에 두고 설명하는 바로 그 메커니즘이다 . 다만 “88×”는 이 하나의 장난감 분포 안에서만 의미가 있다.

종합하면, 이 수치들은 아키텍처가 의도대로 작동한다는 시사 신호이지 벤치마크된 결과는 아니다. 동료평가도, 제3자 리더보드도 없고, 네 수치 모두를 뒷받침하는 출처도 하나뿐이다 . 교육용 산출물이라면 이 정도가 맞는 기준이다. 숫자들이 증명하는 것은 노트북에서 루프가 닫힌다는 사실이고, 그것이 바로 이 프로젝트가 보여주려는 것이다.

‘데뷔’라는 표현이 맞지 않는 이유: V-JEPA 2는 2025년에 나왔다

“첫 오픈소스, 완전 재현 가능한 JEPA 월드 모델”이라는 꼬리표는 프로젝트 자체의 포지셔닝이지 확립된 사실은 아니다. 그리고 타임라인은 그 표현과 맞지 않는다. Meta는 2026년 6월보다 훨씬 앞서 오픈 JEPA 월드 모델을 공개했다. 이미지용 I-JEPA는 2023년에 공개 코드와 함께 배포됐고 , 이후 비디오 계열이 뒤따랐다. Meta는 2025년 6월 11일 V-JEPA 2를 발표했고, 2025년 6월 25일 facebookresearch/vjepa2에 코드 릴리스를 기록했으며, V-JEPA 2.1은 2026년 3월 16일에 나왔다 . 따라서 오픈 코드와 체크포인트를 갖춘 JEPA 월드 모델은 DVD-JEPA의 2026년 6월 13일 데모보다 약 1년 먼저 존재했다 .

핵심은 규모 차이다. V-JEPA 2는 12억 파라미터 규모의 ViT-G/16 모델로, 인터넷 비디오 100만 시간 이상과 이미지 100만 장으로 사전학습됐으며 상업적·연구적 사용을 허용하는 조건으로 공개됐다 . Something-Something v2에서 top-1 77.3%, Epic-Kitchens-100에서 Recall@5 39.7을 보고했고, 라벨 없는 DROID 로봇 비디오 62시간 미만으로 행동 조건 모델로 후학습한 뒤에는 보지 못한 환경에서 제로샷 집기-놓기 작업을 65–80% 성공률로 수행했다고 보고했다 .

“V-JEPA 2는 100만 시간 이상의 비디오로 학습된 12억 파라미터 월드 모델이며, 상업적·연구적 사용을 위한 코드와 체크포인트와 함께 공개됐다,” — Meta AI, V-JEPA 2 벤치마크 발표 (source: ai.meta.com).

이 계열은 계속 앞으로 나아갔다. V-JEPA 2.1(arXiv:2603.14482, 2026년 3월 제출)은 ViT-G/16 2B 변형으로 확장되고 조밀한 비디오 특징을 목표로 하며, Ego4D에서 7.71 mAP, EPIC-KITCHENS에서 Recall@5 40.8, Something-Something-V2에서 77.7, 그리고 V-JEPA 2-AC 대비 실제 로봇 파지에서 20포인트 향상을 보고한다 . 그렇다고 DVD-JEPA가 쓸모없어지는 것은 아니다. 둘은 서로 다른 문제를 푼다. Meta의 모델은 외부 문서화가 되어 있고, 동료평가에 가까우며, 프로덕션 관련성이 있다. DVD-JEPA는 몇백 줄짜리 교육용 산출물이다. 하지만 “최초”와 “데뷔”라는 표현은 기록과 맞붙는 순간 유지되기 어렵다.

한 가지 단서는 이 프레이밍 문제를 더 키운다. “DVD-JEPA,” “DVD JEPA,” 그리고 “first open-source,” “fully reproducible,” “world model” 조합을 GitHub, arXiv, Hugging Face 전반에서 정확한 문자열로 검색한 독립 심층 조사에서는 저장소와 데모 자체를 제외하고 1차 프로젝트 페이지, 논문, 모델 카드, 제3자 발표를 찾지 못했다 . 동료평가도 독립 벤치마킹도 없으므로, 이 글의 모든 수치에는 단일 출처라는 단서가 붙는다. 앞선 섹션의 장난감 규모 지표도 마찬가지다. 방어 가능한 해석은 이렇다. DVD-JEPA는 가장 작고 가장 자기완결적인 재현 가능 JEPA 데모 중 하나이고, Meta의 V-JEPA 2 / 2.1 계열은 실제로 먼저 나온 오픈·문서화된 10억 파라미터급 월드 모델이다.

2026년 JEPA 지형: LeWorldModel, UWM-JEPA, EB-JEPA

DVD-JEPA는 여러 팀이 JEPA 월드 모델을 서로 다른 방향으로 밀어붙이는 2026년의 혼잡한 연구 흐름 속에 등장했다. 안정적인 픽셀 수준 학습, 낯선 잠재 표현, 에너지 기반 목적함수 같은 방향이다. 이들 중 DVD-JEPA의 틈새를 정면으로 겨냥한 것은 없지만, 함께 놓고 보면 "최초로 재현 가능한"이라는 프레이밍이 문헌과 맞닥뜨렸을 때 왜 버티기 어려운지 설명된다. 중요한 비교 지점은 DVD-JEPA가 새로운 과학인지가 아니라, 여전히 GPU를 전제로 하는 연구들 사이에서 이 작고 CPU만으로 돌아가는 구현이 어디에 놓이는지다.

"최소한의 엔드투엔드"라는 주장에 가장 직접적으로 맞서는 것은 LeWorldModel(arXiv:2603.19312, 2026년 3월 제출)이다. 이 논문은 원시 픽셀에서 단 두 개의 손실 항만으로 안정적인 엔드투엔드 학습을 하는 최초의 JEPA라고 주장한다. 조정해야 하는 손실 하이퍼파라미터를 여섯 개에서 하나로 줄였고, 규모는 대략 1,500만 파라미터이며, 단일 GPU로 몇 시간 안에 학습하고 파운데이션 모델 기반 월드 모델보다 계획 속도가 최대 48배 빠르다고 보고한다.

"[The first JEPA to] train stably end-to-end from raw pixels using only two loss terms," — LeWorldModel 저자들이 방법을 설명하며 쓴 표현 (source: arXiv:2603.19312).

재현을 원하는 사람에게 걸리는 부분은 따로 있다. 이 글을 쓰는 시점 기준 arXiv 페이지에는 GitHub 링크나 오픈소스 릴리스가 없어서, 그 재현성 주장은 DVD-JEPA의 지표와 마찬가지로 현재 제3자가 검증할 수 없다.

이 흐름을 채우는 두 가지 사례가 더 있다.

• UWM-JEPA(arXiv:2605.25313, 2026년 5월)는 밀도 행렬 잠재공간과 학습된 유니터리 예측기를 제안하며, 숨겨진 속도 과제에서 파라미터 수를 맞춘 LSTM-JEPA 기준선의 0.53 대비 0.77 정확도를 보고한다 (source: arXiv:2605.25313).
• Meta의 EB-JEPA(arXiv:2602.03604)는 공개 예제(facebookresearch/eb_jepa)와 함께 에너지 기반 변형을 탐구하고, Causal-JEPA(arXiv:2602.11389)는 일부 공개 코드와 함께 객체 수준 잠재 마스킹을 추가한다 (source: arXiv:2602.11389).

이 배경에서 DVD-JEPA가 방어할 수 있는 강점은 좁지만 실제로 존재한다. 이 그룹에서 가장 작은 풋프린트이고, 클론해서 실행하기까지 가장 빠르며, GPU 장벽이 전혀 없는 유일한 사례다. CPU에서 대략 10초 만에 학습된다 (source: mandarwagh9/dvd-jepa). LeWorldModel과 UWM-JEPA는 연구 기여를 겨냥하고, EB-JEPA와 Causal-JEPA는 대안적 목적함수를 탐색한다. DVD-JEPA가 겨냥하는 것은 이해다. 그렇게 읽으면, 이 모델은 노트북에서 JEPA 전체 루프를 눈에 들어오게 만드는 교육용 산출물이지, 이 목록의 어떤 모델과도 경쟁하는 프로덕션 모델이 아니다.

실전 판단: 노트북 학습용인가, 대규모 JEPA인가

도구는 작업에 맞춰 고르면 된다. JEPA를 읽고 싶을 때는 DVD-JEPA가 맞고, JEPA를 제품에 쓰고 싶을 때는 V-JEPA 2/2.1이 맞다. 둘은 서로를 대체하지 않는다. 하나는 수백 줄 규모의 교육용 산출물로 CPU에서 대략 10초 만에 학습되고 , 다른 하나는 인터넷 영상 100만 시간 이상으로 사전 학습된 12억 파라미터 비디오 월드 모델이다 . 둘 중 무엇을 고를지는 품질이 아니라 목적의 문제다.

DVD-JEPA가 맞는 경우는 다음과 같다.

• EMA 타깃 업데이트, 단일 스텝 예측기, VICReg식 붕괴 방지까지 전체 루프를 한 번에 읽고 싶을 때. scripts/pure_jepa.py의 순수 벡터 변형은 선택적인 디코더까지 걷어낸다 .
• GPU 접근 없이 개념을 가르쳐야 할 때. 학습된 가중치는 서버 없이 브라우저에서 클라이언트 측으로 실행된다 .
• 장난감 도메인에서 예측 오차를 이상 신호로 삼아 분포 밖 탐지를 프로토타이핑하고 싶을 때.

외부에 문서화된 벤치마크(Something-Something v2에서 top-1 77.3%), 파인튜닝용 ViT 규모 체크포인트가 필요하다면 V-JEPA 2나 V-JEPA 2.1을 선택하는 편이 맞다. 해당 저장소는 ViT-L/16 300M부터 V-JEPA 2.1 ViT-G/16 2B 변형까지 나열한다. 또는 비디오 이해와 로봇 행동 조건화용 사전 학습 백본이 필요할 때도 마찬가지다. V-JEPA 2-AC는 제로샷 집기 및 놓기 과제에서 65~80% 성공률에 도달했다 .

DVD-JEPA를 어디에 인용하기 전에 두 가지는 조심해야 한다. 첫째, 캡처 시점의 대략 별 30개와 포크 4개는 정확성이 아니라 최신성을 반영한다 . 모든 지표는 동료 심사나 독립 벤치마킹 없이 자체 보고된 것이므로, 0.73px RMSE나 88배 이상 탐지 수치를 인용하기 전에는 코드를 직접 감사해야 한다. 둘째, 실제로 중요한 재현성 격차를 봐야 한다. DVD-JEPA는 몇 초 만에 처음부터 완전히 재현할 수 있지만, V-JEPA 2의 공개 코드와 체크포인트는 추론과 파인튜닝을 가능하게 할 뿐, 100만 시간 규모의 사전 학습 실행은 완전히 다른 예산 범주에 남아 있다 .

결론은 구체적이다. DVD-JEPA는 교육용 폴더에 두고, V-JEPA 2.1은 프로덕션 도구함에 두면 된다. 작은 쪽을 읽으며 레시피를 이해한 뒤, 이미 다른 사람이 검증한 결과가 필요할 때 큰 쪽을 파인튜닝하라.

자주 묻는 질문

DVD-JEPA가 정말 첫 오픈소스 JEPA 월드 모델인가요?

아닙니다. "first open-source, fully reproducible JEPA world model"이라는 표현은 프로젝트가 스스로 내세운 포지셔닝이지, 확정된 사실은 아닙니다. Meta는 이미지용 I-JEPA를 공개 코드와 함께 오픈소스로 공개했고 , 이후 2025년 6월 11일에는 코드와 체크포인트가 포함된 12억 파라미터 규모의 비디오 월드 모델 V-JEPA 2를 공개했습니다 . 둘 다 DVD-JEPA의 2026년 6월 13일 데모보다 앞섭니다 . DVD-JEPA가 방어할 수 있는 주장은 더 좁습니다. GPU도 사전학습 예산도 없이 처음부터 재현할 수 있는 가장 작고 빠른 JEPA 루프 중 하나라는 점입니다.

DVD-JEPA를 제 노트북에서 재현할 수 있나요?

네. DVD-JEPA는 MIT 라이선스이며, python -m dvd_jepa.train 한 줄 명령으로 CPU에서 약 10초 만에 학습됩니다 . "pure JEPA" 변형(scripts/pure_jepa.py)은 잠재 벡터에서만 작동하고 픽셀 디코더가 필요 없기 때문에 선택적 리드아웃 경로는 건너뛸 수 있습니다 . 학습된 가중치도 브라우저 데모에서 클라이언트 측으로 실행되며, 서버나 GPU가 필요하지 않습니다 . 다만 보고된 모든 수치는 자체 보고이며, 아직 동료 심사나 독립 벤치마킹은 없습니다.

DVD-JEPA의 아키텍처는 V-JEPA 2와 어떻게 다른가요?

개념적 레시피는 같지만 규모는 몇 자릿수 차이가 납니다. 둘 다 컨텍스트 인코더, EMA 타깃 인코더, 픽셀이 아니라 다음 임베딩을 예측하는 예측기를 사용합니다. DVD-JEPA는 CPU만으로 실행되는 장난감 수준의 튀는 로고 도메인에서 쌓인 프레임을 32차원 잠재 공간으로 압축합니다 . V-JEPA 2는 약 10억 파라미터의 ViT-g/16 규모로 확장되며, 100만 시간 이상의 인터넷 비디오와 100만 장의 이미지로 사전학습됐습니다 . V-JEPA 2.1 라인에서는 ViT-G/16 2B까지의 체크포인트도 제공합니다 .

EMA 타깃 인코더는 무엇이고 왜 중요한가요?

EMA(지수 이동 평균) 타깃 인코더는 컨텍스트 인코더의 느리게 움직이는 그림자 복사본으로, 경사하강법이 아니라 시간에 따라 가중치를 평균내며 업데이트됩니다. 이것이 중요한 이유는 학습 중 예측 대상이 너무 빠르게 바뀌지 않도록 잡아 주어 학습을 안정화하고 표현 붕괴를 막는 데 도움이 되기 때문입니다. 이는 BYOL과 Meta의 I-JEPA, V-JEPA 2를 포함한 JEPA 계열 자기지도 방법 전반에서 쓰이는 동일한 자기증류 기법입니다 . DVD-JEPA는 여기에 VICReg 스타일의 분산 항을 결합해 두 번째 붕괴 방지 장치로 사용합니다 .

DVD-JEPA는 라벨이 붙은 예시 없이 어떻게 이상을 감지하나요?

예측기의 잔차 오차를 분포 밖 신호로 취급합니다. 월드 모델이 예상하지 못하는 프레임은 높은 예측 오차를 누적하므로, 라벨이 붙은 이상 사례가 필요 없습니다. OOD 점수는 JEPA 학습 목표 자체에서 자연스럽게 나옵니다. DVD-JEPA는 이 예측 오차 접근법으로 이상 감지 민감도가 기준선 대비 88배라고 보고합니다 . 또한 단일 스텝 예측 MSE 0.0005와 붕괴가 없음을 시사하는 약 3.0의 임베딩 표준편차도 함께 보고합니다 . 이는 장난감 규모의 자체 보고 지표이므로, 프로덕션 벤치마크라기보다는 메커니즘을 이해하는 데 유용합니다.