当前位置：网站首页>机器学习笔记：学习率预热 warmup

机器学习笔记：学习率预热 warmup

2022-08-08 03:40:00 【UQI-LIUWJ】

1 学习率预热介绍

  • 在mini-batch 梯度下降方法中，如果batch比较大的话，通常需要比较大的学习率
  • 但在一开始的训练中，由于参数是随机初始化的，所以此时的梯度往往也很大
    • 如果此时学习率也很大的话，训练将变得很不稳定
  • ——>为了提高训练的稳定性，我们在最初几轮迭代时，采用较小的学习率，等梯度下降到一定程度之后，再恢复到初始的学习率
    • 这种方法称为学习率预热 learning rate warmup
    • 当预热过程结束的时候，再选择一种学习率衰减的方式来降低学习率

2 逐渐预热 gradual warmup

一种常见的方法是逐渐预热。假设预热的迭代次数为T‘，初始学习率为α0，那么在预热的过程中，每次更新的学习率为

\alpha_t'=\frac{t}{T'}\alpha_0, 1\le t \le T'

原网站

版权声明
本文为[UQI-LIUWJ]所创，转载请带上原文链接，感谢
https://blog.csdn.net/qq_40206371/article/details/126210273

边栏推荐

猜你喜欢

随机推荐