Unsupervised Learning of Visual Features by Contrasting Cluster Assignments
클러스터 할당 대조를 통한 비지도 시각 특징 학습
Mathilde Caron, Ishan Misra, Julien Mairal, et al. (2020)
온라인 클러스터링과 멀티크롭 증강을 결합하여, 부정 쌍(negative pairs) 없이도 대조 학습에 필적하는 자기지도 시각 표현을 학습하는 프레임워크.
배경
SimCLR과 MoCo가 대조 학습의 효과를 보여주었지만, 대규모 부정 예시 집합에 의존하는 한계가 있었다. 클러스터링 기반 접근(DeepCluster 등)은 오프라인 클러스터링의 계산 비용이 크고 확장성이 떨어졌다. 부정 예시 없이도 표현 붕괴를 방지하면서 효과적으로 학습하는 방법이 필요했다.
핵심 아이디어
SwAV(Swapped Assignments between Views)는 대조 학습과 클러스터링을 통합한다. 같은 이미지의 두 뷰를 프로토타입(learnable prototypes)에 할당하고, 한 뷰의 할당이 다른 뷰에서도 일관되도록 학습한다(교차 예측). Sinkhorn-Knopp 알고리즘으로 온라인 클러스터 할당의 균형을 맞추어 모든 표현이 하나의 클러스터로 붕괴하는 것을 방지한다. 멀티크롭(multi-crop) 전략도 도입하는데, 2개의 글로벌 뷰(224x224)와 여러 개의 로컬 뷰(96x96)를 사용하여 계산 비용 증가 없이 학습 효율을 크게 높인다.
방법론
3000개의 학습 가능한 프로토타입 벡터를 유지한다. 각 뷰의 표현을 프로토타입에 소프트 할당하되, Sinkhorn-Knopp으로 배치 내 할당이 균등하도록 정규화한다. 한 뷰의 프로토타입 할당을 다른 뷰의 특징으로 예측하는 크로스엔트로피 손실을 사용한다. 멀티크롭은 2x224 + 6x96으로 구성한다.
주요 결과
ImageNet 선형 평가에서 75.3% top-1 정확도를 달성하여 SimCLR(69.3%)와 MoCo v2(71.1%)를 크게 앞섰다. 멀티크롭만으로 2% 이상 개선되었으며, 준지도 학습과 전이 학습에서도 우수한 성능을 보였다.
임팩트
온라인 클러스터링과 멀티크롭 증강이라는 두 가지 핵심 기법을 도입하여 자기지도 학습의 효율성과 성능을 동시에 향상시켰다. 멀티크롭은 이후 DINO 등에서 표준 기법으로 채택되었으며, 클러스터링 기반 자기지도 학습의 확장 가능성을 실증했다.