Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
약-강 일반화: 약한 감독으로 강한 능력 이끌어내기
Collin Burns, Haotian Ye, Dan Klein, Jacob Steinhardt (2023)
작고 약한 모델이 자신보다 훨씬 능력 있는 강한 모델을 감독하는 '약-강 일반화(weak-to-strong generalization)' 현상을 연구하여, 약한 감독자의 레이블로 미세조정된 강한 모델이 약한 감독자의 성능을 크게 초과할 수 있음을 발견하고 이를 초인적 AI 정렬의 유사 모델(analogy)로 제시했다.
배경
초인적(superhuman) AI 시스템이 등장하면 인간은 '약한 감독자'가 되어 자신보다 뛰어난 시스템을 감독해야 하는 근본적 딜레마에 직면한다. RLHF와 같은 현재의 정렬 기법은 인간이 모델 출력의 품질을 평가할 수 있다는 전제에 기반하지만, 모델이 인간 능력을 초과하면 이 전제가 무너진다. 이 '확장 가능한 감독(scalable oversight)' 문제는 AI 안전성의 핵심 과제이지만, 초인적 모델이 아직 없는 현재 시점에서 연구하기 어려웠다.
핵심 아이디어
이 연구는 '약한 모델이 강한 모델을 감독하는' 설정을 인간이 초인적 AI를 감독하는 상황의 유사 모델로 제안한다. 구체적으로, GPT-2 수준의 약한 모델의 예측을 레이블로 사용하여 GPT-4 수준의 강한 모델을 미세조정한다. 약한 감독자의 레이블은 불완전하지만, 강한 모델은 자신의 사전학습된 표현(pretrained representations)을 활용하여 약한 감독자의 오류를 효과적으로 무시하고 올바른 행동을 학습할 수 있다는 가설이다. 이를 '성능 갭 회복률(PGR, Performance Gap Recovered)'로 정량화한다: PGR = (강한 모델의 약-강 성능 - 약한 감독자 성능) / (강한 모델의 풀 감독 성능 - 약한 감독자 성능).
방법론
NLP 분류(감성 분석, NLI, 토픽 분류), 체스 퍼즐 풀기, ChatGPT 보상 모델링의 세 가지 도메인에서 실험한다. 약한 모델은 소형 사전학습 모델(예: GPT-2)을 진짜 레이블로 미세조정하여 생성한다. 강한 모델(예: GPT-4)은 이 약한 모델의 예측만을 레이블로 사용하여 미세조정된다. 성능 개선을 위한 보조 방법으로 (1) 약한 감독자의 확신도가 높은 샘플만 사용하는 신뢰 기반 필터링, (2) 강한 모델의 사전학습 표현이 과도하게 손상되지 않도록 하는 보조 손실(auxiliary confidence loss)을 탐구한다.
주요 결과
NLP 태스크에서 PGR은 평균 약 20-70%로, 강한 모델이 약한 감독자보다 유의미하게 나은 성능을 보였다. 보조 신뢰 손실을 적용하면 PGR이 추가로 향상되었다. 그러나 체스와 보상 모델링 같은 더 어려운 태스크에서는 PGR이 상대적으로 낮아(~20%), 단순한 약-강 미세조정만으로는 충분하지 않음을 시사했다. 또한 NLP 태스크 내에서도 태스크 난이도가 높을수록 PGR이 감소하는 경향이 관찰되었다.
임팩트
이 연구는 초인적 AI 정렬 문제를 현재 시점에서 경험적으로 연구할 수 있는 새로운 실험 패러다임을 제시했다. '약-강 일반화'라는 개념은 AI 안전성 커뮤니티에서 활발한 후속 연구를 촉발했으며, OpenAI의 Superalignment 팀의 핵심 연구 방향이 되었다. 실용적으로는 작은 모델의 레이블을 사용한 대규모 모델 미세조정의 효율성에 대한 통찰도 제공하며, 지식 증류(knowledge distillation)와의 연결고리를 형성한다.