Neural Message Passing for Quantum Chemistry
양자 화학을 위한 신경 메시지 전달
Justin Gilmer, Samuel S. Schoenholz, Patrick F. Riley, et al. (2017)
기존의 다양한 그래프 신경망(GCN, Gated Graph Neural Network, Interaction Networks 등)을 메시지 전달(message passing)이라는 통합된 프레임워크로 정리하고, 이를 양자 화학의 분자 성질 예측에 적용하여 최고 성능을 달성했다.
배경
분자와 같은 그래프 구조 데이터에 대한 딥러닝 방법이 다양하게 제안되었으나(Convolutional Networks on Graphs, Gated Graph Neural Networks, Deep Tensor Neural Networks 등), 이들 사이의 관계와 공통 구조가 명확하지 않았다. 양자 화학에서 분자의 성질(에너지, 쌍극자 모멘트, 진동 주파수 등)을 예측하는 것은 약물 발견과 재료 과학에서 핵심적인 과제였으며, DFT(밀도 함수 이론) 계산은 정확하지만 매우 느려 기계 학습 기반 대안이 필요했다.
핵심 아이디어
MPNN(Message Passing Neural Network)은 그래프 신경망을 메시지 전달(message passing)과 리드아웃(readout)이라는 두 단계로 추상화하는 통합 프레임워크를 제안한다. 메시지 전달 단계에서 각 노드는 이웃 노드로부터 메시지를 수집하고, 이를 자신의 은닉 상태와 결합하여 업데이트한다. 구체적으로 메시지 함수 M_t, 업데이트 함수 U_t, 리드아웃 함수 R의 세 가지 학습 가능한 함수로 구성된다. 기존의 GCN, GGNN, DTNN 등이 모두 이 프레임워크의 특수한 경우임을 보이고, 새로운 변형(edge network, set2set readout 등)을 제안하여 QM9 데이터셋에서 11개 화학 성질 중 11개에서 DFT 정확도에 근접하는 성능을 달성한다.
방법론
T회의 메시지 전달 라운드에서 각 노드 v의 은닉 상태 h_v를 업데이트한다: m_v^{t+1} = sum_{w in N(v)} M_t(h_v^t, h_w^t, e_{vw}), h_v^{t+1} = U_t(h_v^t, m_v^{t+1}). 여기서 M_t는 메시지 함수, U_t는 업데이트 함수, e_{vw}는 엣지 특징이다. 그래프 수준 출력은 리드아웃 함수 R로 계산한다. 저자들은 edge network(엣지 특징을 신경망으로 처리), virtual graph elements(가상 노드/엣지), set2set readout(LSTM 기반 집합 인코딩) 등 여러 변형을 제안한다. QM9 분자 데이터셋(134K 분자, 13개 성질)에서 평가했다.
주요 결과
제안된 MPNN 변형(enn-s2s)은 QM9 데이터셋의 13개 분자 성질 중 11개에서 기존 최고 성능을 달성했으며, 여러 성질에서 화학적 정확도(chemical accuracy)에 도달했다. 기존 방법 대비 평균 50% 이상의 오차 감소를 보였다. 특히 edge network와 set2set readout의 조합이 가장 효과적이었으며, 가상 그래프 요소의 도입도 성능 향상에 기여했다.
임팩트
MPNN은 그래프 신경망 분야의 이론적 토대를 마련한 기념비적 논문이다. 메시지 전달이라는 통합 프레임워크는 이후 거의 모든 GNN 연구에서 참조되는 표준 용어가 되었으며, GIN의 표현력 분석, GraphSAGE의 인덕티브 학습, GAT의 어텐션 메커니즘 등이 모두 MPNN 프레임워크 내에서 이해될 수 있다. 양자 화학과 분자 과학에서 GNN 적용의 선구적 연구로서 SchNet, DimeNet, PaiNN 등 후속 분자 GNN의 직접적 기반이 되었다.