Towards Monosemanticity: Decomposing Language Models With Dictionary Learning
단의성을 향하여: 사전 학습으로 언어 모델 분해
Trenton Bricken, Adly Templeton, Joshua Batson, et al. (2023)
희소 오토인코더(Sparse Autoencoder)를 사용하여 언어모델의 MLP 활성화를 해석 가능한 단일의미(monosemantic) 특징으로 분해하는 데 성공한 논문.
배경
신경망의 개별 뉴런은 대부분 다의적(polysemantic)이어서 여러 개념이 하나의 뉴런에 혼재되어 있다. 이는 중첩(superposition) 현상으로 설명되는데, 모델이 뉴런 수보다 더 많은 특징을 표현하기 위해 특징들을 겹쳐 저장하기 때문이다. 이를 해소하여 해석 가능한 특징을 추출하는 것이 해석 가능성 연구의 핵심 과제였다.
핵심 아이디어
1층짜리 트랜스포머의 MLP 활성화에 희소 오토인코더를 적용하여, 뉴런보다 훨씬 많은 수의 해석 가능한 특징을 추출했다. 각 특징은 단일 개념(예: DNA 서열, 히브리어 텍스트, 수학 표현 등)에 대응하는 단일의미적 성질을 보였다. 특징의 활성화 패턴, 빈도, 상호 관계를 체계적으로 분석하여 해석 가능성과 충실성(faithfulness) 사이의 관계를 규명했다. 특히 사전의 크기를 늘릴수록 더 세밀하고 해석 가능한 특징이 나타남을 확인했다.
방법론
512차원 MLP 활성화에 대해 다양한 크기(512~131072)의 희소 오토인코더를 학습했다. 학습 목표는 재구성 오류 최소화와 활성화 희소성 유지의 균형이다. 추출된 각 특징에 대해 자동화된 해석 가능성 점수를 매기고, 인간 평가와 비교하여 검증했다.
주요 결과
추출된 특징의 대부분이 인간이 이해할 수 있는 명확한 의미를 가지고 있었다. 특징은 깔끔한 빈도-크기 분포를 보이며, 유사 의미의 특징들이 코사인 유사도 공간에서 클러스터를 형성했다. 더 큰 사전이 더 세밀한 해석을 가능하게 함을 입증했다.
임팩트
중첩 가설(superposition hypothesis)을 실증적으로 뒷받침한 획기적 연구로, 대규모 언어모델 해석 가능성 분야의 새로운 방법론적 기준을 세웠다. 이후 더 큰 모델에 대한 확장 연구로 이어지며, AI 안전성의 근본적 이해에 기여하고 있다.