배경

자연어 처리에서 대규모 언어 모델이 텍스트의 범용적 이해와 생성을 달성한 것처럼, 생물학에서도 DNA/RNA/단백질 서열을 범용적으로 모델링하는 파운데이션 모델에 대한 기대가 커지고 있었다. 기존 생물학적 언어 모델(ESM, ProGen 등)은 대부분 단백질 서열에 특화되어 있거나 짧은 서열만 처리할 수 있었다. 그러나 생물학적 기능은 프로모터, 인핸서, 유전자 간 상호작용 등 수십~수백 킬로베이스 규모의 게놈 맥락에서 결정되므로, 긴 범위의 의존성을 포착할 수 있는 효율적인 아키텍처가 필요했다. 트랜스포머의 이차 복잡도는 이러한 초장거리 서열 모델링에 병목이 되었다.

핵심 아이디어

방법론

StripedHyena 아키텍처는 하이에나 연산자(긴 범위 의존성 담당)와 멀티헤드 어텐션(정밀한 로컬 패턴 담당)을 번갈아 쌓는 구조로, 최대 131,072 토큰(131kb 게놈 서열)을 단일 뉴클레오타이드 해상도로 처리한다. 70억 파라미터 모델을 OpenGenome 데이터셋(약 3,000억 토큰)에서 인과적 언어 모델링(next-token prediction)으로 학습한다. 추론 시 제로샷 로그 우도(log-likelihood)를 사용하여 돌연변이 효과 예측, 유전자 필수성 분류 등 다양한 다운스트림 태스크를 수행한다. 서열 생성 시에는 자기회귀적 샘플링으로 새로운 유전자와 게놈 수준의 서열을 설계한다.

주요 결과

단백질 돌연변이 효과 예측에서 기존 단백질 특화 모델(ESM-1v 등)과 경쟁력 있는 성능을 보여 단백질 수준의 이해도 확보했다. 비코딩 RNA의 기능 예측, 유전자 필수성 분류에서도 전문 모델에 필적하는 결과를 달성했다. 가장 주목할 만한 것은 서열 생성 능력으로, CRISPR 시스템의 기능적 구성 요소를 포함한 새로운 유전자 서열을 설계하는 데 성공했으며, 생성된 GFP 변이체가 실험적으로 형광을 나타냄을 확인했다. 131kb 길이의 게놈 수준 서열 생성이 가능하여 유전자 클러스터와 오페론 수준의 설계 가능성을 시연했다.

임팩트