GraphMAE: Self-Supervised Masked Graph Autoencoders
GraphMAE: 자기지도 마스크 그래프 오토인코더
Zhenyu Hou, Xiao Liu, Yukuo Cen, et al. (2022)
그래프 데이터에 마스크 오토인코딩(masked autoencoding)을 적용하여, 대조 학습(contrastive learning) 없이도 그래프 자기지도학습에서 경쟁력 있는 성능을 달성하는 GraphMAE를 제안했다. 스케일드 코사인 오차와 리마스킹 전략으로 기존 생성적 방법의 한계를 극복했다.
배경
그래프 자기지도학습은 대부분 대조 학습(GraphCL, GRACE, GCA 등)에 의존해왔다. 대조 학습은 양성/음성 쌍 구성을 위한 데이터 증강 전략 설계가 태스크/도메인에 민감하며, 대규모 배치나 메모리 뱅크가 필요하다는 실용적 한계가 있었다. 반면 NLP(BERT)와 비전(MAE, BEiT)에서 마스크 기반 생성적 사전학습이 큰 성공을 거두었으나, 그래프에서의 마스크 오토인코딩은 노드 특징의 저차원성, 불규칙한 구조, 적절한 재구성 손실 선택의 어려움 등으로 성능이 제한적이었다.
핵심 아이디어
GraphMAE는 그래프에서 마스크 오토인코딩이 효과적으로 작동하기 위한 세 가지 핵심 설계를 제안한다. 첫째, 스케일드 코사인 오차(scaled cosine error, SCE)를 재구성 손실로 사용한다. MSE는 노드 특징의 분산에 민감하고, 크로스 엔트로피는 이산화가 필요한데, SCE는 특징 벡터의 방향 유사도를 측정하여 이러한 문제를 회피한다. 둘째, 디코더에 단일 GNN 레이어와 리마스킹(re-masking) 전략을 적용한다. 인코더 출력에서 마스크된 노드의 표현을 다시 마스크 토큰으로 교체한 뒤 디코더에 입력함으로써, 디코더가 인코더의 출력을 그대로 복사하는 지름길(shortcut)을 방지한다. 셋째, 균일 랜덤 마스킹보다 높은 마스킹 비율(50-75%)이 더 도전적인 사전학습 목표를 제공하여 학습 효과를 높인다.
방법론
GNN 인코더(GCN, GAT, GIN 등)가 마스크되지 않은 노드의 특징을 입력받아 전체 그래프에 대한 노드 표현을 생성한다. 마스크된 노드는 학습 가능한 마스크 토큰으로 대체된다. 인코더 출력에서 마스크된 노드 위치의 표현을 다시 마스크 토큰으로 교체한 뒤(리마스킹), 단일 GNN 레이어 디코더를 통해 원래 노드 특징을 재구성한다. 손실은 마스크된 노드에서만 계산: L = 1/|M| sum_{v in M} (1 - cos(x_v, x_v_hat)) / gamma, 여기서 gamma는 스케일링 팩터. 사전학습 후 인코더의 노드 표현을 다운스트림 태스크에 활용한다.
주요 결과
21개의 그래프/노드 분류 벤치마크에서 GraphMAE를 평가한 결과, 대조 학습 기반 방법(GraphCL, GRACE, GCA, BGRL 등)과 동등하거나 우수한 성능을 달성했다. Cora, Citeseer, PubMed 노드 분류에서 기존 최고 자기지도학습 방법을 능가했으며, 분자 분류(MUTAG, PROTEINS, NCI1 등)에서도 경쟁력 있는 결과를 보였다. 특히 데이터 증강 전략 설계 없이 범용적으로 적용 가능하다는 실용적 장점을 입증했다. 소거 실험(ablation)에서 SCE 손실과 리마스킹 전략 각각의 기여를 확인했다.
임팩트
GraphMAE는 그래프 자기지도학습에서 생성적 방법의 부활을 이끌었다. 대조 학습의 복잡한 증강 전략 없이도 강력한 성능을 달성할 수 있음을 보여, 이후 GraphMAE2, MaskGAE, S2GAE 등 마스크 기반 그래프 사전학습 연구의 활발한 발전을 촉발했다. MAE 패러다임이 NLP, 비전에 이어 그래프 도메인에서도 유효함을 입증한 연구로서, 도메인 간 방법론 전이의 성공적 사례이다. KDD 2022에서 발표되어 그래프 ML 커뮤니티에서 높은 관심을 받았으며, OGB 벤치마크에서의 사전학습 방법으로도 활용되고 있다.