Symbolic Discovery of Optimization Algorithms
최적화 알고리즘의 기호적 발견
Xiangning Chen, Chen Liang, Da Huang, et al. (2023)
프로그램 탐색을 통해 발견된 Lion 옵티마이저는 부호(sign) 기반 업데이트만 사용하여 Adam보다 단순하고 메모리 효율적이면서 동등 이상의 성능을 달성한다.
배경
Adam과 그 변형들이 딥러닝 최적화의 표준이 되었지만, 이들이 이론적으로 최적인지는 불명확했다. 수작업 설계 대신 자동 탐색으로 더 나은 옵티마이저를 발견할 수 있다는 아이디어가 있었으나, 탐색 공간이 방대하여 실용적 적용이 어려웠다.
핵심 아이디어
진화적 프로그램 탐색(evolutionary program search)을 활용하여 수백만 개의 옵티마이저 후보 프로그램을 평가한 결과, Lion(EvoLved Sign Momentum)이 발견되었다. Lion은 놀랍도록 단순한 구조를 가지며, 업데이트 방향으로 그래디언트와 모멘텀의 보간(interpolation)에 sign 함수를 적용한다. 모든 파라미터에 동일한 크기의 업데이트가 적용되므로 적응적 2차 모멘트 추정이 불필요하다. 이로 인해 Adam 대비 메모리 사용량이 약 절반으로 줄어든다.
방법론
AutoML-Zero 스타일의 프로그램 탐색 공간에서 진화 알고리즘으로 옵티마이저를 탐색했다. 소규모 작업에서 발견된 최적 프로그램을 분석·정규화하여 Lion을 추출하고, ImageNet, JFT-300M, 다양한 NLP 벤치마크에서 대규모 검증을 수행했다.
주요 결과
Lion은 ImageNet에서 AdamW 대비 동등하거나 더 나은 정확도를 달성하면서 메모리를 절약했다. 특히 대규모 배치와 대형 모델에서 이점이 두드러졌으며, 비전-언어 모델 학습에서도 우수한 성능을 보였다.
임팩트
옵티마이저 자동 발견이라는 새로운 패러다임을 실증하여 최적화 알고리즘 설계의 지평을 넓혔다. Sign 기반 업데이트의 효과를 재조명하고, 메모리 제약이 큰 대규모 모델 학습에서 실용적 대안을 제시했다.