VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning
VICReg: 자기지도 학습을 위한 분산-불변성-공분산 정규화
Adrien Bardes, Jean Ponce, Yann LeCun (2022)
분산(Variance), 불변(Invariance), 공분산(Covariance)의 세 가지 정규화 항으로 표현 붕괴를 방지하여, 부정 쌍·모멘텀·클러스터링 없이 경쟁력 있는 자기지도 시각 표현을 학습하는 방법.
배경
SimCLR은 부정 쌍, MoCo는 모멘텀 인코더, BYOL은 EMA + 비대칭 예측기, SwAV는 온라인 클러스터링으로 각각 표현 붕괴를 방지했다. 이러한 다양한 메커니즘 중 어떤 원리가 본질적인지, 더 간단하고 직접적인 정규화 방식으로 붕괴를 방지할 수 있는지가 근본적 질문이었다.
핵심 아이디어
VICReg는 세 가지 명시적 정규화 항으로 표현 붕괴를 직접 방지한다. (1) Invariance: 같은 이미지의 두 뷰 표현 간 MSE를 최소화한다. (2) Variance: 배치 내 각 특징 차원의 분산이 임계값 이상을 유지하도록 강제하여, 모든 표현이 같아지는 붕괴를 방지한다. (3) Covariance: 서로 다른 특징 차원 간의 공분산을 0으로 만들어, 차원 간 중복(redundancy)을 제거한다. 이 세 항의 조합이 부정 쌍, 모멘텀 업데이트, 클러스터링 등 복잡한 메커니즘 없이도 충분한 정규화를 제공한다.
방법론
ResNet-50 인코더와 3층 MLP 프로젝터를 사용한다. 두 증강 뷰의 프로젝션 출력에 대해 세 가지 손실을 계산한다. 분산 항은 hinge 손실로 각 차원의 표준편차가 1 이상이 되도록 하고, 공분산 항은 상관 행렬의 비대각 원소를 0으로 만든다. 손실 가중치 λ_inv=25, λ_var=25, λ_cov=1로 설정했다. ImageNet에서 1000 에폭 학습했다.
주요 결과
ImageNet 선형 평가에서 73.2% top-1 정확도로, BYOL(74.3%)에 근접하면서 SimCLR(69.3%)를 크게 앞섰다. 전이 학습에서 다양한 벤치마크에서 경쟁력 있는 성능을 보였으며, 멀티모달 학습으로의 자연스러운 확장(VICRegL)도 가능했다.
임팩트
자기지도 학습에서 표현 붕괴 방지의 본질을 분산과 공분산 정규화로 명확히 규명하여, 이론적 이해를 깊게 했다. 부정 쌍 없는 학습의 원리를 가장 직관적으로 설명하는 프레임워크로, Barlow Twins와 함께 정규화 기반 자기지도 학습의 핵심 연구로 자리잡았다.