NeurIPS 2017Citations: 3,000+

SchNet: A continuous-filter convolutional neural network for modeling quantum interactions

SchNet: 양자 상호작용 모델링을 위한 연속 필터 합성곱 신경망

Kristof T. Schütt, Pieter-Jan Kindermans, Huziel E. Sauceda, et al. (2018)

원자 간 거리에 따라 연속적으로 변하는 필터를 학습하는 연속 필터 합성곱(continuous-filter convolution)을 도입하여, 불규칙한 3D 공간의 분자 구조에서 양자 화학적 성질을 높은 정확도로 예측하는 SchNet을 제안했다.

배경

분자의 양자 역학적 성질(에너지, 힘, 쌍극자 모멘트 등)을 예측하는 것은 약물 설계와 재료 과학의 핵심 과제이다. 기존의 기계 학습 접근법은 수작업으로 설계된 분자 기술자(descriptor)에 의존하거나, 고정된 그리드 기반 합성곱을 사용했는데, 분자는 불규칙한 3D 공간에 원자가 분포하므로 표준 합성곱을 직접 적용할 수 없었다. MPNN이 그래프 기반 접근을 제안했지만, 원자 간 거리의 연속적 특성을 충분히 활용하지 못했다.

핵심 아이디어

SchNet의 핵심 혁신은 연속 필터 합성곱(continuous-filter convolution)이다. 기존 CNN의 합성곱 필터가 고정된 격자점에 정의되는 것과 달리, SchNet의 필터는 원자 간 상대 위치(거리)의 연속 함수로 생성된다. 구체적으로, 원자 간 거리를 방사 기저 함수(radial basis function, RBF)로 확장한 뒤, 신경망(filter-generating network)으로 필터 가중치를 생성한다. 이를 통해 임의의 원자 배치에 대해 적응적인 상호작용을 모델링할 수 있으며, 회전 및 이동 불변성(invariance)을 자연스럽게 보장한다. 상호작용 블록(interaction block)을 여러 겹 쌓아 다체(many-body) 상호작용을 포착한다.

방법론

각 원자의 초기 임베딩은 원소 종류에 따른 학습 가능한 벡터로 시작한다. 상호작용 블록에서 (1) 원자 간 거리를 가우시안 RBF로 확장하고, (2) dense 레이어로 필터 가중치를 생성하며, (3) element-wise 곱과 합으로 연속 필터 합성곱을 수행한다. 출력은 원자별 에너지 기여를 합산하거나 직접 분자 성질을 예측한다. 에너지 보존 SchNet 변형에서는 에너지의 좌표에 대한 해석적 미분으로 원자별 힘을 계산하여 에너지-힘 일관성을 보장한다. cutoff 함수로 원거리 상호작용을 부드럽게 제거한다.

주요 결과

QM9 데이터셋에서 SchNet은 13개 분자 성질 중 대부분에서 화학적 정확도를 달성하여 기존 DTNN 및 MPNN과 경쟁력 있는 성능을 보였다. MD17 분자 동역학 벤치마크에서 에너지와 힘의 동시 예측에서 최고 성능을 기록했다. 에너지 보존 변형은 물리 법칙과 일관된 예측을 보장하여 분자 동역학 시뮬레이션에 직접 사용 가능한 수준의 정확도를 달성했다. 학습 데이터 효율성도 우수하여 소규모 데이터셋에서도 효과적이었다.

임팩트

SchNet은 3D 분자 그래프에서의 등방성 메시지 전달(invariant message passing)의 표준 방법론을 확립했다. 연속 필터 합성곱이라는 아이디어는 이후 DimeNet(각도 정보 추가), PaiNN(등변 메시지 전달), MACE(다체 상호작용) 등 거의 모든 분자 GNN의 기초가 되었다. SchNetPack이라는 오픈소스 라이브러리로 제공되어 원자론적 시뮬레이션 커뮤니티에서 널리 사용되고 있으며, AlphaFold의 구조 모듈에도 유사한 거리 기반 상호작용 설계가 반영되었다.

관련 Foundation 논문

관련 논문