Foundations
AI의 역사를 바꾼 랜드마크 논문들. 시대순으로 정리합니다.
~ 1990s
Learning representations by back-propagating errors
오류 역전파를 통한 표현 학습
David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams (1986)
Multilayer feedforward networks are universal approximators
다층 순전파 네트워크는 보편적 근사기이다
Kurt Hornik, Maxwell Stinchcombe, Halbert White (1989)
Long Short-Term Memory
장단기 기억 네트워크
Sepp Hochreiter, Jürgen Schmidhuber (1997)
Gradient-Based Learning Applied to Document Recognition
문서 인식에 적용된 경사 기반 학습
Yann LeCun, Léon Bottou, Yoshua Bengio et al. (1998)
2010s 초반
ImageNet Classification with Deep Convolutional Neural Networks
심층 합성곱 신경망을 이용한 ImageNet 분류
Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton (2012)
Auto-Encoding Variational Bayes
변분 오토인코더
Diederik P. Kingma, Max Welling (2013)
Generative Adversarial Nets
생성적 적대 신경망
Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza et al. (2014)
Adam: A Method for Stochastic Optimization
Adam: 확률적 최적화 방법
Diederik P. Kingma, Jimmy Ba (2014)
Sequence to Sequence Learning with Neural Networks
신경망을 이용한 시퀀스 투 시퀀스 학습
Ilya Sutskever, Oriol Vinyals, Quoc V. Le (2014)
Dropout: A Simple Way to Prevent Neural Networks from Overfitting
드롭아웃: 신경망의 과적합을 방지하는 간단한 방법
Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky et al. (2014)
2010s 중반
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
배치 정규화: 내부 공변량 이동 감소를 통한 심층 네트워크 학습 가속
Sergey Ioffe, Christian Szegedy (2015)
Deep Residual Learning for Image Recognition
이미지 인식을 위한 심층 잔차 학습
Kaiming He, Xiangyu Zhang, Shaoqing Ren et al. (2015)
Neural Machine Translation by Jointly Learning to Align and Translate
정렬과 번역을 동시에 학습하는 신경 기계 번역
Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio (2014)
2010s 후반
Attention Is All You Need
어텐션이 전부다
Ashish Vaswani, Noam Shazeer, Niki Parmar et al. (2017)
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT: 언어 이해를 위한 심층 양방향 트랜스포머 사전 학습
Jacob Devlin, Ming-Wei Chang, Kenton Lee et al. (2018)
Improving Language Understanding by Generative Pre-Training
생성적 사전 학습을 통한 언어 이해 향상
Alec Radford, Karthik Narasimhan, Tim Salimans et al. (2018)
2020s
Language Models are Few-Shot Learners
언어 모델은 퓨샷 학습자이다
Tom Brown, Benjamin Mann, Nick Ryder et al. (2020)
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
이미지는 16x16 단어의 가치가 있다: 대규모 이미지 인식을 위한 트랜스포머
Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov et al. (2020)
Denoising Diffusion Probabilistic Models
잡음 제거 확산 확률 모델
Jonathan Ho, Ajay Jain, Pieter Abbeel (2020)
Scaling Laws for Neural Language Models
신경 언어 모델의 스케일링 법칙
Jared Kaplan, Sam McCandlish, Tom Henighan et al. (2020)