Self-Supervised Learning and Collapse

지도학습에서는 이미지와 사람이 붙인 라벨을 함께 보여 준다. 고양이 사진에 자동차라고 답하면 틀린다. 모든 이미지에 같은 답을 내는 모델도 대부분의 샘플에서 손해를 본다. 외부의 정답이 모델을 붙잡아 주는 셈이다.

라벨이 없는 데이터에는 이 정답표가 없다. 그렇다고 학습 신호까지 없는 것은 아니다. 이미지 일부를 가리고 원래 픽셀을 맞히게 하거나, 한 이미지를 두 번 변형한 뒤 같은 이미지에서 왔음을 알아보게 할 수 있다. 시간상 이웃한 비디오 프레임이나 문장의 다음 단어도 정답으로 쓸 수 있다. 정답을 사람이 적지 않았을 뿐, 데이터 안의 구조가 감독 신호를 제공한다. 이것이 self-supervised learning(SSL)의 기본 생각이다.

SSL 방법은 크게 두 질문에 답한다. 첫째, 무엇을 예측할 것인가? 픽셀이나 토큰처럼 관측된 값을 맞힐 수도 있고, 다른 view의 잠재 표현을 맞힐 수도 있다. 둘째, 어떤 정보가 두 view 사이에 같아야 하는가? crop과 색 변화에도 물체의 정체성은 남아야 하지만, 정확한 배경색까지 남길 필요는 없을 수 있다. 좋은 pretext task는 버릴 정보와 남길 정보를 이 두 선택으로 정한다.

표현을 직접 맞추는 방식이 매력적인 이유도 여기에 있다. 픽셀 복원은 잔디의 결이나 센서 노이즈까지 설명하느라 용량을 쓸 수 있다. 반면 표현 공간에서는 downstream task에 필요 없다고 판단한 세부를 버릴 여지가 있다. SimCLR, BYOL, DINO, VICReg, I-JEPA는 구현은 달라도 이 가능성을 활용한다.

하지만 정답까지 모델이 만들면 외부의 고정점이 사라진다. 같은 이미지에서 얻은 두 view를 \(x_1,x_2\), 인코더를 \(f_\theta\)라 하고 두 표현의 거리만 줄인다고 하자.

\[\mathcal{L}_{\text{match}}=\mathbb{E}\big[\lVert f_\theta(x_1)-f_\theta(x_2)\rVert^2\big]\]

우리가 원하는 해는 고양이끼리는 가깝고 자동차와는 구별되는 표현이다. 그러나 이 식만 놓고 보면 더 쉬운 해가 있다. 입력과 무관하게 \(f_\theta(x)=c\)로 두면 두 항은 언제나 같고 loss는 0이 된다. 학습 문제는 풀었지만 데이터에 관한 정보는 하나도 남지 않는다.

이 상수 해를 trivial solution, 학습된 표현이 그 해 또는 그와 비슷한 저차원 상태로 향하는 현상을 representation collapse라고 부른다. 목적함수에 상수 해가 존재하는 것, 최적화가 실제로 그곳에 도달하는 것, downstream 성능이 낮은 것은 같은 문장이 아니다. 이후에는 이 셋을 구분해서 사용한다.

물론 실제 방법은 위의 거리 항만 사용하지 않는다. SimCLR에는 negative sample이 있고, BYOL에는 stop-gradient가 있으며, VICReg에는 분산 항이 있다. 어떤 방법은 trivial solution을 목적함수에서 제거하고, 어떤 방법은 해를 남겨 둔 채 최적화가 그쪽으로 흐르지 않도록 만든다. collapse를 이해한다는 것은 이 추가 장치가 보존하는 정보가 무엇인지 묻는 일이다.

이 글에서 SSL 알고리즘의 이름은 출발점이 아니다. 어떤 target을 만들고, 어떤 collapse를, 어느 수준에서 막는가를 먼저 본다.

먼저 단어 두 개. 요즘 모델은 이미지 한 장을 통째로 보지 않고 작은 patch로 잘라서 본다. patch 하나에 벡터 하나가 대응하는데, 이 벡터를 token이라 부른다. 이미지 한 장이 보통 수십~수백 개의 token이 되고, 그것들을 평균 내면 이미지 한 장을 요약하는 벡터 하나가 나온다. 이걸 pooled vector라고 하자. 아래 표의 "level"은 이미지들 사이의 이야기인지 한 이미지 안의 이야기인지를 가리킨다.

세 번째 줄은 이름을 바꿔 적었다. Bardes et al.의 VICReg은 축들이 함께 움직이는 상태를 informational collapse라고 부르지만, 이 글에서는 더 좁은 뜻의 covariance redundancy라고 쓴다. 상관행렬의 비대각 항이 0이라는 사실만으로 downstream task에 필요한 정보가 남았다고 말할 수는 없기 때문이다.

이름은 대부분 문헌에서 왔다. Hua et al.(2021)이 앞의 둘을 갈라 부르면서 dimensional collapse가 흔히 간과되는 별개의 상태임을 지적했고, Jing et al.(2022)이 그것이 contrastive 방법에서도 일어난다는 것을 보였다. 아래 두 줄은 SSL 바깥에도 이름이 있다. transformer의 rank collapse(Dong et al., 2021)와 깊은 ViT의 over-smoothing이다. 결이 조금 다르지만 같이 볼 것이 하나 더 있다. 정보가 적은 일부 patch가 전역 정보를 모으는 자리로 재활용된다는 artifact token 보고(Darcet et al., 2023)다. 뒤에서 볼 V-JEPA 2.1의 진단이 이것과 같은 모양이다.

여기서 조심할 것이 있다. patch들이 서로 비슷해지는 현상은 목적함수와 상관없이 일어날 수도 있다. attention을 깊게 쌓으면 그렇게 된다는 이야기가 있기 때문이다. 다만 근거를 부풀리면 안 된다. Dong et al.의 정리는 skip connection도 MLP도 없는 순수 attention에 대한 것이고, 논문 자신의 결론은 오히려 "skip connections play a key role in mitigating rank collapse"다. 실제 ViT는 정리가 다루는 경우가 아니다. 그래도 깊은 지도학습 ViT에서 patch들이 서로 비슷해진다는 보고는 따로 있다(Gong et al., 2021; DeepViT). 그러니 아래 이야기는 "SSL 목적함수가 원인이다"가 아니라 "SSL 목적함수 아래에서 관측된다"까지만 말할 수 있다.

여섯 줄은 서로 겹치기도 하고, 애초에 같은 층위의 개념도 아니다. dimensional collapse(쓰는 차원이 줄어듦)과 covariance redundancy(차원끼리 같은 말을 함)는 대개 같은 사건의 두 가지 서술이다. mode collapse는 표현 자체가 아니라 prototype을 고르는 head의 실패라서, 그런 head가 없는 VICReg이나 BYOL에는 정의되지도 않는다. local structure lost는 엄밀히 말해 collapse가 아니다. patch들이 서로 충분히 다르면서 위치와의 연결만 흐려질 수 있기 때문이다. 그래도 같은 표에 둔 것은 진단을 걸어야 할 지점이 같아서지 같은 종류의 실패라서가 아니다.

실무에서 기억할 것은 두 가지다. complete collapse는 현대 recipe에서 비교적 쉽게 드러나는 편이고, 정규화하지 않은 차원별 표준편차로도 빠르게 확인할 수 있다(측정상의 함정은 다음 절에서 짚는다). 반면 부분적인 차원 손실이나 국소 구조 손실은 훨씬 조용하다. 또 위 네 줄은 이미지들 사이를, 아래 두 줄은 한 이미지 안을 본다. 한 이미지 안의 patch가 서로 비슷해져도 이미지별 pooled vector는 서로 다를 수 있으므로, 위쪽 지표만 보면 이 실패를 놓칠 수 있다.

"dense feature가 약하다"는 증상이 대개 아래 두 줄이다. 여기서 dense feature란 이미지 한 장에 벡터 하나가 아니라 위치마다 벡터 하나가 필요한 작업(segmentation, 깊이 추정, 프레임 단위 예측)에 쓰는 표현이다. 분류 정확도만 보고 있으면 이 실패는 끝까지 안 보인다.

아래 도해는 여섯 상태의 전형적인 모양만 비교한다. 배경이 따뜻한 색인 두 칸이 한 이미지 안의 이야기이고(위 표에서 강조한 두 줄과 같다), 나머지 넷은 이미지들 사이의 이야기다. 실제 고차원 표현은 2차원 그림보다 복잡하므로, 이 도해는 진단 기준이 아니라 개념 지도다.

먼저 두 질문을 갈라 두자. 1) 표현이 자명하거나 저차원 상태로 무너졌는가? 2) downstream task에 필요한 정보가 남아 있는가? 아래 지표는 전부 질문 1)을 위한 것이고, 그래서 label 없이도 학습 도중에 잴 수 있다. 질문 2)는 다르다. 앞의 When Does Collapse Occur? 절의 Multiview assumption이 말하듯 "무엇이 필요한 정보인가"는 task가 정하는 것이라, task나 probe 또는 명시적인 가정 없이는 답이 나오지 않는다. 두 질문을 한 지표로 답하려는 순간 퍼져 있으면 좋은 표현이라는 오해가 시작된다. 노이즈나 위치 코드만으로도 rank는 얼마든지 올라간다.

세 단어만 미리 풀어두자. effective rank는 "512차원 중 실제로 몇 차원을 쓰고 있나"를 세는 값이다(공분산의 고유값 분포를 정규화한 뒤 엔트로피로 요약해 지수화한 값이다). Gram matrix는 한 이미지 안 patch들끼리 서로 얼마나 닮았는지를 전부 적어 놓은 표다. patch들이 뭉치면 이 표의 rank가 떨어진다. perplexity는 "준비된 prototype 중 실질적으로 몇 개를 쓰고 있나"를 세는 값이다.

표준편차는 어디서 재느냐에 따라 다른 말을 한다. 벡터를 길이 1로 정규화한 뒤 재면 방향만 보게 되어, 벡터가 통째로 짧아지는 붕괴를 놓친다. 정규화 없이 재면 길이까지 보지만 방법마다 scale이 달라 서로 비교하기 어려워진다. 둘 다 남겨 두고, 얼마나 무너졌는지는 rank 쪽으로 읽는 편이 안전하다.

effective rank를 512로 나눌 때의 함정. batch 크기 \(n\)이 차원 수 \(d\)보다 작으면 살아 있을 수 있는 고유값 개수 자체가 \(\min(n-1,d)\)개로 묶인다. 완벽하게 퍼져 있어도 최댓값이 \((n-1)/d<1\)에 그친다는 뜻이다. \(n \ge d\)일 때만 1을 기준으로 읽고, 아니면 batch 크기가 같은 것끼리만 비교하자.

patch끼리 cosine 평균은 부호에 속는다. patch들이 하나의 축 위에 부호만 섞여 놓인 경우를 생각해 보자. 절반은 \(+v\), 절반은 \(-v\)다. 쌍마다 cosine이 +1 아니면 −1이라 평균은 0 근처가 된다. 아주 건강해 보인다. 그런데 실제로는 patch들이 1차원 직선 위에 다 놓여 있고, Gram rank는 바닥이다. 이미 무너졌는데 평균은 아무 말도 해주지 않는다. 그래서 기본 지표는 Gram rank여야 하고, cosine을 보려면 반드시 상위 백분위와 함께 봐야 한다(위 경우 상위 5%는 1에 붙어 있다).

Gram rank도 만능은 아니다. patch들이 서로 다르기만 하고 그 차이가 위치와 무관하게 뒤섞여 있을 수도 있다. Gram rank는 높은데 "왼쪽 위와 오른쪽 아래"의 구별은 이미 사라진 상태다. 그래서 위치를 아는 지표를 둘 더 뒀다. 붙어 있는 patch와 멀리 있는 patch의 유사도 차이(contrast gap), 그리고 patch 벡터 하나만 보고 그게 격자의 몇 번 칸이었는지 맞히기다.

다만 position probe에는 큰 함정이 있다. ViT는 위치 정보를 입력 단계에서 더해 주기 때문에, 위치는 어느 정도 공짜로 남는다. 표현이 완전히 무너진 모델에서도 이 값이 높게 나올 수 있다는 뜻이다. 이 지표가 재는 건 dense 성능이 아니라 "patch가 자기가 어디 있었는지 아직 기억하는가"다. 절대값을 성능으로 읽지 말고, 같은 조건끼리의 차이를, 그것도 한 점이 아니라 곡선 전체로 봐야 한다.

기준선은 미리 정하지 말자. 방법마다 임베딩 scale 자체가 달라서 "0.3 아래면 위험" 같은 보편 기준이 없다. 학습 초반 안정 구간의 값 대비 급락·급등으로 경보를 거는 편이 맞다. 시작부터 무너지는 경우엔 안정 구간이 없으니, 학습 전 랜덤 초기화 상태에서 잰 값을 기준선으로 쓰면 된다.

재는 행위가 학습을 바꾸면 안 된다. 어떤 loss에도 더하지 않는 것은 물론이고, learning rate 조절이나 best checkpoint 고르기에도 쓰지 않는다. gradient가 흐르지 않게 계산하고, 학습 forward 안에서 매 step 돌리지도 않는다. SVD 같은 것을 매 step 돌리면 조건마다 학습 속도가 달라진다. 마지막으로 난수를 따로 써야 한다. 데이터 순서와 masking에 쓰는 난수를 축내면 재현이 깨진다.

마지막으로 첫 문단의 두 질문으로 돌아가자. 위 지표는 전부 질문 1)의 도구다. Gram rank가 높다고 segmentation이 잘 되는 것은 아니다. 붕괴하지 않았다는 것은 쓸 만한 표현의 필요조건이지 충분조건이 아니다. 이 간극을 정면으로 다룬 것이 Li, Efros, Pathak(2022)인데, 부분적으로만 무너진 경우 지표와 성능이 나란히 움직이지 않는다고 보고한다.

질문 2)를 재려면 결국 task 쪽 도구가 필요하다. linear probe, k-NN, 그리고 dense가 걱정이면 frozen feature 위의 segmentation probe가 출발점이다. 이 셋도 서로 다른 답을 줄 수 있다. 어느 pretraining이 linear probe에서 이기고 fine-tuning에서는 지는 순위 역전도 가능하다. 그래서 실무에서는 붕괴 지표와 task probe를 함께 보는 편이 안전하다.

이 표가 말하는 prediction은 일상적인 "무언가를 예측한다"보다 좁다. 숨겨진 patch나 미래 시점처럼 관측되지 않은 위치에 target이 있을 때만 이 칸에 둔다. 그 안에서도 무엇을 예측하는지는 다시 갈린다. I-JEPA·V-JEPA·data2vec은 학습되는 표현 \(z\)를, MAE·BEiT·BEST-RQ는 픽셀이나 고정 token \(x\)를 예측한다. 이 \(z\) 대 \(x\) 축은 target이 고정인지 함께 학습되는지를 다룬 앞 절과 같은 축이며, prediction 대 view matching 축과는 독립이다.

흔한 오해 하나. "predictor가 있으면 prediction 쪽"이 아니다. BYOL에도 predictor가 있다. BYOL에서 predictor는 붕괴를 막는 비대칭 장치의 일부지, 무엇을 맞추는지와는 상관이 없다. predictor는 pairing을 가르는 기준이 아니다.

대표적인 전역 view-matching recipe는 이미지 하나를 벡터 하나로 요약한 뒤 비교한다. 이 경우 loss에는 어느 위치가 무엇이 되어야 하는지에 대한 조건이 없다. ViT라면 그 요약이 평균일 수도, CLS token일 수도 있는데 어느 쪽이든 loss가 직접 보는 것은 벡터 하나다.

# prediction side
loss = distance( pred[masked_patch], target[masked_patch] )   # patch <-> patch correspondence

# invariance side (two ways to summarize a ViT)
z1 = projector( view1.tokens.mean(patch_dim) )   # average pooling
z1 = projector( view1.cls )                      # or CLS token
loss = distance(z1, z2)                          # either way, no per-position condition

"loss가 patch를 직접 비교하지 않으니 patch는 학습되지 않는다"는 말은 틀리다. CLS든 평균이든 gradient는 attention을 거쳐 patch token까지 흐른다. 실제로 DINO는 patch-level 항 없이도 물체 윤곽이 드러나는 attention map을 보였다. 정확한 표현은 patch별 target이 없다는 것이다. 좋은 local feature가 나올 수는 있지만, 그 목적함수만으로 위치별 성질이 직접 지정되지는 않는다.

DINOv2·DINOv3는 표에 깨끗이 안 들어간다. DINO 자체는 invariance 칸이 맞지만, DINOv2는 거기에 patch-level iBOT 항(Zhou et al., 2022)을 더하고, DINOv3는 거기에 Gram anchoring까지 얹는다. 두 칸에 걸친 혼합형으로 읽어야 한다.

앞서 세운 기준이 왜 "patch 대응의 유무"가 아니어야 하는지가 여기서 드러난다. DenseCL은 MoCo-v2에 픽셀(patch) 단위 contrastive 항을 더한 것인데, feature map의 위치끼리 대응을 잡아 놓고 그 대응에 negatives를 건다. patch 대응이 loss에 명시적으로 있다. 그런데도 이건 invariance 쪽이다. masking이 만드는 관측되지 않은 자리가 없으니, 빈자리에 걸리는 loss도 없다. 두 view는 둘 다 augmentation만 거친 완전히 관측된 이미지이고, 대응된 위치끼리는 가깝게, negatives로 뽑힌 다른 위치와는 멀게 미는 것뿐이다. patch 대응은 invariance 쪽에도(DenseCL·VICRegL) 얼마든지 들어갈 수 있고, 대응이 있다고 자동으로 prediction이 되지는 않는다. 반대로 iBOT의 patch 항은 masking이 만든 빈자리를 채우므로, 대응이 있으면서 prediction 쪽이다.

view를 어떻게 만드느냐도 절반쯤 독립인 축이다. 특히 multi-crop은 위치마다 다른 답을 요구하는 작업과 정면으로 부딪치는데, 분류는 좋아지는데 dense가 나빠지는 괴리가 보이면 여기를 먼저 의심해야 한다.

augmentation과 corruption도 구분해 두면 편하다. augmentation은 두 view에서 task-relevant semantics가 같기를 기대하고, view matching은 그 기대를 표현에 반영한다. Multiview assumption은 augmentation의 다른 이름이 아니라, 이 기대를 정당화하는 더 강한 충분성 조건이다. corruption은 정보를 일부 지운 뒤 그 target을 복원하게 한다. Denoising autoencoder(Vincent et al., 2008)와 MAE·BEiT·data2vec·I-JEPA가 이 계보에 있다. 다만 corruption도 가정에서 자유롭지는 않다. 지운 내용을 예측하는 일이 유용한 표현을 만든다는 가정, context에서 target을 어느 정도 복원할 수 있다는 가정이 필요하다. 두 방식의 실패 조건이 다를 뿐이다.

이 구분은 view를 만드는 방식과 자주 맞물린다. prediction 쪽은 이미지·오디오의 masking이나 CPC의 미래 시점처럼 관측되지 않은 위치를 만든다. view matching 쪽은 augmentation과 multi-crop을 많이 쓴다. 하지만 masking 자체가 prediction을 뜻하지는 않는다. MSN은 masked view의 요약 표현을 unmasked view의 요약 표현에 맞추며, 가려진 patch마다 target을 두지는 않는다. 그래서 이 글의 기준에서는 view matching 쪽이다. 이처럼 방법을 다른 도메인으로 옮길 때는 objective뿐 아니라 원래의 view 생성 방식도 함께 비교해야 한다.

표의 마지막 열은 각 장치가 직접 계산하는 통계의 범위를 보여 준다. 전역 representation에 적용된 기본형은 대부분 이미지들 사이의 분산이나 배치를 다룬다. iBOT, VICRegL처럼 같은 원리를 patch 수준에 적용한 확장형은 다음 표에서 따로 구분한다.

다시 말하지만 이 다섯은 전수 조사가 아니다. 같은 역할의 다른 구현이 하나 더 있고(SeLa·SwAV의 equipartition, centering이 하는 역할의 원조다), 이 다섯에 들어가지 않는 장치도 최소 둘이다. wav2vec 2.0의 코드북 다양성 항은 학습되는 코드북이 몇 개 코드만 쓰는 걸 막는다(When Does Collapse Occur? 절의 표는 코드북을 학습하지 않을 때 얘기다). W-MSE 계열의 whitening은 임베딩을 명시적으로 백색화한다.

한 모델이 한 줄에만 있는 것도 아니다. 두 번째 열은 다른 부품을 쓰지 않는다는 뜻이 아니다. DINO는 centering을 빼면 한 항목으로 쏠리고, momentum teacher를 직전 iteration의 student copy로 바꾼 ablation에서는 ViT-S/16의 k-NN top-1이 72.8%에서 0.1%로 떨어진다. 반면 SimSiam은 별도의 recipe에서 EMA 없이도 학습된다. 이 결과를 "BYOL 안에서도 EMA는 선택"이라고 옮겨 말할 수는 없다. 같은 부품을 빼더라도 모델 전체의 조합에 따라 결과가 달라진다.

이 표의 열은 앞 절의 prediction/invariance와 다른 축이다. 그쪽은 mechanism(빈자리에 loss가 걸리는가)을, 이 표는 확장 단위(patch까지 내려갔는가, pooled에 머무는가)를 가리킨다. VICRegL·DenseCL은 mechanism으로는 invariance이지만 patch 단위로 확장됐으니 왼쪽 열에 있고, 반대로 LeWorldModel의 다음 시점 예측은 mechanism으로는 prediction이지만 patch 단위가 아니라 오른쪽 열(distribution matching 행)에 있다.

두 축은 대체로 독립이다. stop-gradient를 pooled에 얹으면 BYOL, patch에 얹으면 I-JEPA다. centering–sharpening을 pooled에 걸면 DINO, patch에 걸면 iBOT이다. 이 표를 그려 두면 같은 부품을 다른 칸에서 만나도 같은 것으로 알아볼 수 있다. 이 글에서 다룬 distribution matching 사례는 pooled vector에 적용되고, DINOv2와 DINOv3에 붙은 *는 두 칸에 걸친 혼합형이라는 표시다.

가장 가까운 비교는 I-JEPA와 BYOL이다. 붕괴를 막는 부품이 같고 맞추는 방식만 다르다. 다만 이걸 맞추는 방식만 다른 깨끗한 대조 실험으로 읽으면 과장이다. view 만드는 법(masking vs augmentation), 인코더에 넣는 입력, predictor 구조, target을 어느 layer에서 가져오는지가 전부 함께 다르다. "부품 이름이 맞추는 방식과 무관하게 재사용된다"를 보여주는 예시로 읽는 게 정확하다.

이미지별 pooled vector가 잘 퍼져 있어도 각 patch token이 공간 정보를 잘 보존한다는 보장은 없다. 이 문제를 다룬 연구들은 서로 다른 위치에 학습 신호를 추가했다. 먼저 그 자리들을 한 표에 모아 두고, 아래에서 하나씩 푼다. 읽는 열쇠는 오른쪽 두 열이다. Type이 그 장치가 무엇을 단위로 삼는지를, Reference needed가 그러기 위해 무엇을 따로 들고 있어야 하는지를 가리킨다.

왜 이런 일이 생기는지에 대해서는 masked prediction 계열에서 꽤 구체적인 기전이 보고돼 있다. loss가 가려진 자리에만 걸리면, 인코더가 보이는 자리에 국소 정보를 남겨 둘 이유가 없다. 그 자리의 표현은 채점되지 않고 predictor가 참고하는 중간 계산일 뿐이다. V-JEPA 2.1의 진단이 이것이다. 남는 용량이 다른 데 쓰이고, 보이는 token들이 전역 정보를 모으는 창고가 되면서 자기 위치의 구조가 지워진다. 몇몇 patch가 자기 위치와 무관한 전역 정보를 떠맡는다는 register token 쪽 관찰과 같은 방향의 이야기다. 여기서 놓치면 안 되는 것은 이 현상이 전역 지표에는 나쁜 소식으로 나타나지 않는다는 점이다. pooled vector 입장에서 전역 정보가 잘 모이는 것은 오히려 좋은 일이다.

Mur-Labadia et al.의 V-JEPA 2.1(2026)은 그래서 V-JEPA 2의 예측 대상을 가려진 patch뿐 아니라 보이는 patch까지 넓혔다. loss는 두 항이 된다. 가려진 자리의 \(\mathcal{L}_{\text{predict}}\)와 보이는 자리의 \(\mathcal{L}_{\text{ctx}}\). 다만 보이는 자리에 같은 무게를 주지는 않고, 가려진 영역까지의 최소 시공간 거리로 가중치를 깎는다(\(\lambda_i=\lambda/\sqrt{d_{\min}(i,\mathcal{M})}\)). 마스크 경계에 붙은 patch일수록 세게 채점하는 것이라, 국소 연속성은 요구하되 멀리 있는 token에는 전역 정보를 모을 여지를 남기는 절충으로 읽을 수 있다.

숫자를 한 줄씩 나란히 봐야 이 절의 요점이 보인다. context loss를 더하자 ADE20K segmentation은 22.2에서 33.8 mIoU로, NYUv2 depth RMSE는 0.682에서 0.474로 크게 좋아졌다. 그런데 같은 줄에서 ImageNet-1k는 82.2에서 72.6으로, SSv2 행동 인식은 72.8에서 62.5로 함께 무너졌다. dense를 살리는 항이 global을 깎았다. 논문이 이 교환을 푸는 방식은 항을 약하게 거는 쪽이 아니라 거는 자리를 늘리는 쪽이다. deep self-supervision은 중간 encoder block 세 곳과 출력층, 네 지점의 표현을 가벼운 MLP로 합쳐 predictor에 넣고 두 loss를 네 지점 모두에 건다. 그러자 IN1K 80.8 / SSv2 72.1로 전역 성능이 거의 회복되면서 ADE20K는 38.6까지 더 올라갔다. \(\lambda\)를 50–100 epoch에 걸쳐 서서히 올리는 warm-up은 그 위에 얹힌 안정화 장치다.

DINOv3는 다른 각도에서 같은 벽에 부딪혔다. 학습이 길어질수록 분류 성능은 계속 좋아지는데 dense feature의 품질은 떨어진다. ViT-7B에서 ADE20K mIoU는 초반에 정점을 찍고 1M iteration에 이르면 5점 가까이 잃었고, VOC segmentation은 20만 step 부근부터 내려가며, patch 사이 cosine similarity map은 눈에 띄게 지저분해진다. 전역 지표만 보고 있으면 학습은 끝까지 잘 되고 있는 것으로 보인다.

Gram anchoring은 patch 하나하나가 아니라 patch들 사이의 유사도 표를 teacher에 맞춘다. \(\mathcal{L}_{\text{Gram}}=\lVert X_S X_S^\top - X_G X_G^\top\rVert_F^2\)이고 \(X\)는 \(\ell_2\) 정규화된 patch feature 행렬이다. 개별 feature를 못 박지 않고 관계만 붙들기 때문에 표현 전체가 옮겨 갈 자유는 남는다. 이 절의 다른 장치와 방향이 반대라는 점도 짚어 둘 만하다. 나머지는 patch 표현을 서로 다르게 밀어내는데, Gram anchoring은 이미 좋았던 구조를 지키는 쪽이다.

그래서 무엇을 teacher로 삼느냐가 이 장치의 거의 전부다. DINOv3는 1M iteration 이후의 refinement 단계에서 이 항을 켜고, Gram teacher를 초반 checkpoint에서 출발시킨다. dense 성질이 아직 좋았을 때의 자기 자신이다. ablation에서 10만 step과 20만 step 사이에는 차이가 거의 없지만 100만 step짜리를 쓰면 오히려 나빠진다. anchor의 값어치가 "teacher가 얼마나 잘 학습됐나"가 아니라 "언제의 teacher인가"에 달려 있다는 뜻이다. refinement 동안에는 1만 step마다 현재 EMA teacher로 교체한다. 효과는 빠르게 나타나 첫 1만 step 안에 VOC가 약 3.3 mIoU 회복되고, teacher를 2배 해상도로 돌린 뒤 2×2 bicubic으로 줄여 맞추는 high-resolution 변형이 ADE20K에 +2 mIoU를 더한다.

앞의 둘이 한 view 안에서 위치를 붙든다면, DenseCL과 VICRegL은 두 view 사이에서 위치를 짝짓는다. 짝짓는 규칙이 두 논문의 실제 차이다. DenseCL은 7×7 backbone feature grid에서 cosine similarity가 가장 큰 상대를 고른다(\(c_i=\arg\max_j\,\mathrm{sim}(f_i,f'_j)\)). 기하 정보를 주지 않고 표현끼리 알아서 맞추게 두는 쪽이다. VICRegL은 두 경로를 함께 쓴다. crop 좌표를 되짚어 원본 이미지 위 같은 자리를 찾는 기하 매칭과, 임베딩 공간의 최근접 이웃으로 찾는 의미 매칭이고, 둘 다 상위 \(\gamma=20\)쌍만 남겨 오매칭을 걸러 낸다. 그렇게 짝지은 자리에 DenseCL은 local contrastive loss를, VICRegL은 앞 절의 세 항을 그대로 건다.

세 논문은 나란히 같은 모양의 손잡이를 남겼다. DenseCL의 \(\lambda\)를 0.5에서 0.9로 올리면 detection은 0.8 AP 오르고 VOC classification은 4.8 mAP 떨어진다. VICRegL의 \(\alpha\)를 0.9에서 0.75로 내리면 segmentation이 여러 점 오르고 ImageNet top-1은 1%p 안쪽으로 내린다. V-JEPA 2.1의 \(\lambda\)도 올릴수록 segmentation이 좋아지고 행동 인식이 나빠진다. 국소 항의 가중치는 대체로 dense와 global 사이의 교환비로 나타난다. 그렇게 보면 최근 방법들이 하는 일은 그 교환비 위에서 좋은 점을 고르는 것이 아니라 교환을 피할 자리를 찾는 것이다. 거리 가중(어디에 걸까), deep supervision(어느 깊이에 걸까), refinement 단계 분리(언제 걸까)가 각각 그 시도다.

그렇다고 국소 loss를 필수 조건으로 볼 수는 없다. DINO는 명시적인 patch-level 항 없이도 물체 경계가 드러나는 dense feature를 보였다. 반대 방향의 증거도 있다. Gong et al.은 지도학습 ViT에서도 깊은 층으로 갈수록 patch 표현이 서로 비슷해진다고 보고했다. DeiT-Base24의 마지막 층에서는 patch 쌍의 절댓값 cosine 유사도 평균이 0.7을 넘는다. self-supervision 없이도 일어나는 일이라면 이 절의 현상 중 일부는 objective가 아니라 architecture의 몫이다(남아 있는 질문들). 덧붙여 이 논문이 절댓값을 쓴다는 점은 그냥 넘길 대목이 아니다. 부호를 둔 채 평균 내면 서로 반대 방향으로 늘어선 patch들이 상쇄되어 "잘 퍼져 있다"는 착시를 준다.

결국 각 방법의 차이는 어느 위치에 loss를 걸고, patch 표현에서 무엇을 보존하려 하는지에 있다. 아래 Algorithm 8–10은 앞의 다섯 장치가 \((N,d)\)에서 끝나는 자리에서 무엇이 달라지는지를 shape으로 보여 준다. \((N,P,K)\)·\((N,G,d)\)·\((N,P,P)\)처럼 \(P\)가 loss까지 따라 들어온다. 기호를 풀면 \(N\)은 배치의 이미지 수, \(P\)는 한 이미지의 patch token 수, \(d\)는 embedding 차원, \(K\)는 prototype 수, \(G\)는 두 view 사이에 짝지은 local feature 쌍의 수다. 위 표의 아래쪽 세 행을 코드로 옮긴 것으로 읽으면 된다.

# 가려진 자리마다 target이 하나씩
ps = head(f(x_masked))    # (N, P, K)
pt = head(f_t(x)).detach()
l = -(pt[mk] * ps[mk].log()).sum(-1)
loss = l.mean()   # mk: (N, P) mask

# 가려진 patch M개에만 loss가 걸린다
# -> (M, K)에서 계산된다

# 두 view의 patch를 짝지어 세 항
i, j = match(z1, z2)   # 상위 20쌍
zl1, zl2 = z1[:, i], z2[:, j]
loss = vicreg(zl1, zl2)  # (N, G, d)

# 매칭은 둘: crop 좌표로 찾는 기하
# 매칭과 임베딩 최근접 이웃 매칭

# patch 사이의 관계 자체를 맞춘다
u = F.normalize(z_s, dim=-1)  # (N,P,d)
v = F.normalize(z_g, dim=-1)  # Gram t.
Gs, Gt = u @ u.mT, v @ v.mT   # (N,P,P)
diff = (Gs - Gt).pow(2)
loss = diff.sum((-1, -2)).mean()

# z_g는 초반 checkpoint에서 출발해
# 1만 step마다 EMA teacher로 교체

세 코드 모두 loss까지 \(P\)축이 남는다. 그것이 이 절이 말하는 token-level loss다. Gram anchoring의 \((N,P,P)\)는 특히 VICReg의 \((d,d)\) 공분산과 나란히 볼 만하다. 한쪽은 배치를 따라 잰 축과 축의 관계이고, 다른 쪽은 \(N\)이 자리로만 남아 한 이미지 안에서 닫힌다.

Stop-gradient는 어떤 조건에서 비붕괴 해로 가는가. stop-gradient 하나가 충분하다는 뜻은 아니다. SimSiam도 predictor와 정규화가 포함된 recipe에서 이를 보였고, BYOL·DINO·JEPA는 서로 다른 부품을 더 쓴다. 선형화된 분석과 batch statistic에 관한 반례는 있지만, 이 결과들을 실제 비선형 모델 전체에 적용하는 하나의 설명은 아직 열려 있다.

등방 가우시안이 정말 옳은 목표인가. CCA 계보는 등방성에 한 가지 동기를 주지만, 표현이 반드시 그 분포를 가져야 한다는 증명은 아니다. 후속 연구는 이미 다른 선택을 시험한다. Sub-JEPA는 여러 무작위 부분공간에서 Gaussian constraint를 걸고, Rectified LpJEPA는 sparse non-negative target distribution을, UR-JEPA는 저차원 기하 구조를 겨냥한다. 셋 다 2026년 preprint이므로 확립된 결론보다 진행 중인 비교로 보는 편이 맞다.

원인이 objective가 아니라 architecture일 수 있는가. 깊은 ViT의 over-smoothing이 목적함수와 무관하게 일어난다면, 이 글이 SSL 설계 문제로 읽은 현상의 일부는 architecture 문제다. 같은 인코더에서 objective만 지도학습으로 바꾸는 대조가 두 효과를 가르는 데 필요하다.

낯선 방법을 만나면 먼저 target을 본다. 고정된 관측값인지, 함께 학습되는 표현인지가 상수 해의 존재를 가른다. 다음으로 그 해를 무엇으로 배제하거나 피하는지 찾는다. negative, 비대칭, 출력분포의 균형, 분산·공분산, 분포 matching이 여기 해당한다. 셋째는 그 제약이 계산되는 level이다. 배치의 이미지들 사이인지, 한 이미지 안의 patch들 사이인지에 따라 보존되는 구조가 달라진다. 마지막으로 collapse 지표와 실제 task probe를 나란히 본다. 앞의 지표는 자명한 해를 찾지만, 뒤의 probe만이 필요한 정보가 남았는지 답한다.

그리고 앞에서 꺼내 둔 Multiview assumption을 여기서 다시 회수해야 한다. 붕괴 방지 장치는 정보를 보존하는 장치가 아니다. 입력 view와 target view 사이에서 무엇을 압축할지 정하는 것은 augmentation·corruption과 task이고, 방지 장치가 하는 일은 그 압축이 자명해에서 끝나지 않게 하는 것뿐이다. 가정이 맞으면 view-specific detail의 압축은 바람직한 invariance가 되고, 가정이 깨지면 표현은 complete collapse 없이도 task에 불충분해진다. 그래서 collapse 지표가 전부 정상인데 성능이 나쁜 상황은 이상 현상이 아니라 이 틀이 예측하는 정상적인 결과다.

Self-supervised learning은 입력 view와 target view 사이에서 어떤 정보를 보존하고 어떤 정보를 압축할지 정하는 문제다. 여기에는 augmentation으로 만든 두 view뿐 아니라 reconstruction의 corrupted input → clean target도 포함된다. 붕괴 방지 장치는 모든 정보를 보존하는 장치가 아니라, 압축이 자명해로 끝나지 않게 하는 제약이다. 그 제약이 계산되는 level과 downstream task가 요구하는 level이 다르면, 전역 표현이 건강해 보여도 국소 정보는 사라질 수 있다.

token-level 사례도 이 네 질문으로 읽으면 정리된다. 위치별 학습 신호는 여러 연구에서 dense task를 개선했지만, 전역 지표만으로 그 효과를 예측할 수는 없었다. 그렇다고 전역 objective가 좋은 dense feature를 만들 수 없다는 뜻은 아니다. 더 안전하고 재사용 가능한 결론은 짧다. target, collapse를 피하는 장치, 그 장치가 작동하는 level, 실제 task probe를 따로 확인하라.

Collapse 자체를 분석한 연구

• Shwartz-Ziv, R., LeCun, Y. (2023). To Compress or Not to Compress — Self-Supervised Learning and Information Theory: A Review. SSL을 multiview information bottleneck으로 정리하고, shared information만 보존해도 된다는 가정이 언제 깨지는지 논의한다.
• Hua, T., Wang, W., Xue, Z., Ren, S., Wang, Y., Zhao, H. (2021). On Feature Decorrelation in Self-Supervised Learning. ICCV. complete collapse와 dimensional collapse를 나눠 이름 붙였다.
• Tian, Y., Chen, X., Ganguli, S. (2021). Understanding Self-Supervised Learning Dynamics without Contrastive Pairs. ICML. BYOL·SimSiam이 왜 안 무너지는지를 선형화해 분석.
• Jing, L., Vincent, P., LeCun, Y., Tian, Y. (2022). Understanding Dimensional Collapse in Contrastive Self-supervised Learning. ICLR.
• Li, A. C., Efros, A. A., Pathak, D. (2022). Understanding Collapse in Non-Contrastive Siamese Representation Learning. ECCV. 부분적 붕괴와 성능의 관계. 지표가 성능의 대리가 아니라는 절이 기대는 곳.
• Dong, Y., Cordonnier, J.-B., Loukas, A. (2021). Attention is Not All You Need. ICML. 순수 attention에서의 rank collapse. 다만 논문 자신의 결론은 skip connection이 이를 완화한다는 것이라, 실제 ViT는 정리의 대상이 아니다.
• Gong, C., Wang, D., Li, M., Chandra, V., Liu, Q. (2021). Vision Transformers with Patch Diversification. 지도학습 ViT에서도 patch 표현이 서로 비슷해진다는 보고와, 그것을 막는 벌점 항.
• Zhou, D., Kang, B., Jin, X., et al. (2021). DeepViT: Towards Deeper Vision Transformer.
• Darcet, T., Oquab, M., Mairal, J., Bojanowski, P. (2023). Vision Transformers Need Registers. ICLR 2024. 전역 정보를 모으는 데 쓰이는 patch 현상.

픽셀을 맞힐 것인가, 표현을 맞힐 것인가

• Vincent, P., Larochelle, H., Bengio, Y., Manzagol, P.-A. (2008). Extracting and Composing Robust Features with Denoising Autoencoders. ICML. augmentation과 대비되는 corruption 개념의 원형.
• LeCun, Y. (2022). A Path Towards Autonomous Machine Intelligence. 예측 불가능한 것을 표현 공간에서 버릴 수 있다는 JEPA의 원 논거.
• He, K., Chen, X., Xie, S., Li, Y., Dollár, P., Girshick, R. (2022). Masked Autoencoders Are Scalable Vision Learners. CVPR. ViT-L 기준 linear probe 75.8 / fine-tuning 85.9(1600 epoch), 그리고 "linear probing and fine-tuning results are largely uncorrelated".

negatives

• van den Oord, A., Li, Y., Vinyals, O. (2018). Representation Learning with Contrastive Predictive Coding (CPC / InfoNCE).
• He, K., Fan, H., Wu, Y., Xie, S., Girshick, R. (2020). Momentum Contrast (MoCo). CVPR.
• Chen, T., Kornblith, S., Norouzi, M., Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations (SimCLR). ICML.
• Wang, T., Isola, P. (2020). Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere. ICML.
• Baevski, A., Zhou, H., Mohamed, A., Auli, M. (2020). wav2vec 2.0. NeurIPS. negative를 같은 발화의 다른 시점에서 뽑는, 이미 널리 쓰이는 "한 샘플 안" 장치.

stop-gradient

• Grill, J.-B., Strub, F., Altché, F., Tallec, C., Richemond, P. H., et al. (2020). Bootstrap Your Own Latent (BYOL). NeurIPS.
• Chen, X., He, K. (2021). Exploring Simple Siamese Representation Learning (SimSiam). CVPR.
• Fetterman, A., Albrecht, J. (2020). Understanding Self-Supervised and Contrastive Learning with BYOL. predictor의 batch norm이 몰래 negative 역할을 한다는 가설.
• Richemond, P. H., Grill, J.-B., Altché, F., et al. (2020). BYOL Works Even Without Batch Statistics. 위 가설에 대한 반박.

분포를 다루는 방법들

• Asano, Y. M., Rupprecht, C., Vedaldi, A. (2020). Self-labelling via Simultaneous Clustering and Representation Learning (SeLa). ICLR. equipartition 제약의 출처.
• Caron, M., Misra, I., Mairal, J., Goyal, P., Bojanowski, P., Joulin, A. (2020). SwAV. NeurIPS. 그것을 미니배치 위의 online·soft 배정으로 옮긴 구현.
• Caron, M., Touvron, H., Misra, I., Jégou, H., Mairal, J., Bojanowski, P., Joulin, A. (2021). Emerging Properties in Self-Supervised Vision Transformers (DINO). ICCV.
• Assran, M., Caron, M., Misra, I., et al. (2022). Masked Siamese Networks (MSN). ECCV.
• Zhou, J., Wei, C., Wang, H., Shen, W., Xie, C., Yuille, A., Kong, T. (2022). iBOT. ICLR.
• Oquab, M., Darcet, T., Moutakanni, T., Vo, H. V., et al. (2024). DINOv2. TMLR.
• Siméoni, O., Vo, H. V., Seitzer, M., et al. (2025). DINOv3. Gram anchoring으로 장기 학습의 patch 표현 열화를 처방.

통계를 loss에 적는 방법들

• Zbontar, J., Jing, L., Misra, I., LeCun, Y., Deny, S. (2021). Barlow Twins. ICML.
• Bardes, A., Ponce, J., LeCun, Y. (2022). VICReg. ICLR.
• Bardes, A., Ponce, J., LeCun, Y. (2022). VICRegL. NeurIPS. 같은 기준을 짝지은 local feature에 적용한 선례.
• Ermolov, A., Siarohin, A., Sangineto, E., Sebe, N. (2021). Whitening for Self-Supervised Representation Learning (W-MSE). ICML.
• Wang, X., Zhang, R., Shen, C., Kong, T., Li, L. (2021). Dense Contrastive Learning (DenseCL). CVPR. 같은 backbone·같은 일정에서 픽셀 단위 항만 더해 dense 성능이 오른 대조.
• Balestriero, R., LeCun, Y. (2025). LeJEPA. SIGReg를 도입한 논문.
• Maes, L., Le Lidec, Q., Scieur, D., LeCun, Y., Balestriero, R. (2026). LeWorldModel. 예측 loss와 SIGReg 두 항만으로 학습하는 구성.
• Cramér, H., Wold, H. (1936). Some Theorems on Distribution Functions. J. London Math. Soc. 11(4).
• Epps, T. W., Pulley, L. B. (1983). A Test for Normality Based on the Empirical Characteristic Function. Biometrika 70(3). SIGReg가 각 1차원 projection에 사용하는 검정 통계량의 원 논문.
• Hotelling, H. (1936). Relations Between Two Sets of Variates. Biometrika 28(3/4). whitening 제약이 딸린 CCA의 원 논문.
• Andrew, G., Arora, R., Bilmes, J., Livescu, K. (2013). Deep Canonical Correlation Analysis. ICML. CCA의 사영을 신경망으로 바꾼 선례.
• Balestriero, R., LeCun, Y. (2022). Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods. NeurIPS. VICReg·SimCLR·Barlow Twins를 대응하는 spectral method로 환원한다.
• Czinner, S. (2025). The 90-year-old idea behind JEPA models: Canonical Correlation Analysis. 이 계보를 JEPA와 SIGReg에 직접 연결한 글. 심사를 거친 결과가 아니라 개인 블로그의 정리다.
• Zhao, K., et al. (2026). Sub-JEPA. · Kuang, Y., et al. (2026). Rectified LpJEPA. · Le, T. M., et al. (2026). UR-JEPA. "등방 가우시안이 옳은 목표인가"를 각각 다른 방향에서 미는 후속 preprint들.

고정 target을 쓰는 방법들

• Bao, H., Dong, L., Piao, S., Wei, F. (2022). BEiT. ICLR.
• Chiu, C.-C., Qin, J., Zhang, Y., Yu, J., Wu, Y. (2022). BEST-RQ. ICML.

표현 공간에서 예측하는 방법들

• Baevski, A., Hsu, W.-N., Xu, Q., Babu, A., Gu, J., Auli, M. (2022). data2vec. ICML.
• Assran, M., Duval, Q., Misra, I., et al. (2023). I-JEPA. CVPR.
• Bardes, A., Garrido, Q., Ponce, J., et al. (2024). V-JEPA.
• Assran, M., Bardes, A., Fan, D., et al. (2025). V-JEPA 2.
• Mur-Labadia, L., Muckley, M., Bar, A., et al. (2026). V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning.