北大提出AdaMod优化器:用长期记忆限制Adam过高学习率,无需预热
栏目:无极4官网 发布时间:2020-01-14
Adam作为一种快速收敛的优化器被广泛采用,但是它较差的收敛性限制了使用范围,为了保证更优的结果,很多情况下我们还在使用SGD。但SGD较慢的收敛速度也令人头疼,所以人们一直在研究进一步优化Adam的方法。AdaBound、RAdam都是在这方面的尝

Adam作为一种快速收敛的优化器被广泛采用,但是它较差的收敛性限制了使用范围,为了保证更优的结果,很多情况下我们还在使用SGD。

但SGD较慢的收敛速度也令人头疼,所以人们一直在研究进一步优化Adam的方法。AdaBound、RAdam都是在这方面的尝试。

最近北京大学孙栩课题组提出了一种新的优化器AdaMod。这是一种基于Adam的改进优化器,具有自动预热试探法和长期学习速率缓冲。

AdaMod的名称来自Adaptive(自适应)和Momental Bound(矩限制)。

在训练过程中,AdaMod可以轻松击败Adam,同时对学习率超参数、训练曲线都不那么敏感,并且不需要预热。

优点

AdaMod的原理是,在训练的同时计算自适应学习率的指数长期平均值,并使用该平均值来修剪训练过程中过高的学习率。

这一做法提高了优化器的收敛性,无需进行预热,并且降低了对学习率的敏感性

c883398493a8d307f6c50095bbb12e99.jpg

在上图中,我们可以看出,SGDM和Adam的训练结果都依赖于初始学习率的选择。而AdaMod即使学习率相差两个数量级,也能收敛到同一结果。

相比Adam优化器,AdaMod只增加了一个超参数β3,用来描述训练中记忆长短的程度。

这种长期记忆解决了自适应学习率的异常过大数值,免于让优化器陷入了不良的状态。

与之前的RAdam优化器类似,AdaMod能够从训练开始就控制自适应学习率的变化,从而确保训练开始时的稳定性,无需预热

相关报道:

RAdam优化器又进化:与LookAhead强强结合,性能更优速度更快

在3个基于Transformer的神经机器翻译模型上,没有预热的AdaMod显示出了比预热的Adam有着更快的收敛速率和更好的收敛结果。