최적화·학습이론

Optimization & Learning Theory

SGD, Adam, 수렴 이론, 일반화, 손실 함수 연구

10개 논문

20241편

arXiv (Meta)100+

The Road Less Scheduled

스케줄 없는 길

Aaron Defazio, Xingyu Alice Yang, Harsh Mehta et al. (2024)

20232편

NeurIPS 2023500+

Symbolic Discovery of Optimization Algorithms

최적화 알고리즘의 기호적 발견

Xiangning Chen, Chen Liang, Da Huang et al. (2023)

ICLR 2024300+

Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training

Sophia: 언어 모델 사전학습을 위한 확장 가능한 확률적 2차 최적화기

Hong Liu, Zhiyuan Li, David Hall et al. (2023)

20221편

arXiv500+

Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer

텐서 프로그램 V: 제로샷 하이퍼파라미터 전이를 통한 대규모 신경망 튜닝

Greg Yang, Edward J. Hu, Igor Babuschkin et al. (2022)

20201편

ICLR 20213,000+

Sharpness-Aware Minimization for Efficiently Improving Generalization

일반화를 효율적으로 개선하기 위한 샤프니스 인식 최소화

Pierre Foret, Ariel Kleiner, Hossein Mobahi et al. (2020)

20192편

ICLR 2019Best Paper5,000+

The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks

복권 가설: 희소하고 학습 가능한 신경망 찾기

Jonathan Frankle, Michael Carlin (2019)

ICLR 20201,500+

Large Batch Optimization for Deep Learning: Training BERT in 76 minutes

딥러닝을 위한 대규모 배치 최적화: BERT 76분 학습

Yang You, Jing Li, Sashank Reddi et al. (2019)

20172편

ICLR 201910,000+

Decoupled Weight Decay Regularization

분리된 가중치 감쇠 정규화

Ilya Loshchilov, Frank Hutter (2017)

arXiv2,000+

Large Batch Training of Convolutional Networks

합성곱 네트워크의 대규모 배치 학습

Yang You, Igor Gitman, Boris Ginsburg (2017)

20161편

arXiv2,000+

Training Deep Nets with Sublinear Memory Cost

서브선형 메모리 비용으로 심층 네트워크 학습

Tianqi Chen, Bing Xu, Chiyuan Zhang et al. (2016)

← 전체 분야 목록으로