warmup lr 策略

warmup lr 策略

目的（效果）：
模型初始训练时，模型的权重是随机初始化的，初始学习率太大，可能会导致模型的震荡（不稳定），选择学习率预热方法，在初始的几个epoch或者是steps内用一个比较小的学习率，训练完制定的epoch或者steps之后恢复设置的初始学习率

为了防止从较小学习率到指定的初始学习率变化较大引起误差增大。gradual warmup可以缓解这个问题，通过每个steps逐渐增大lr，知道达到指定的初始学习率后再开始学习率的下降。

在哪些场景带来的收益较大：
1.当网络非常容易出现nan时，采用warm up策略，可以使网络可以正常收敛
2.当训练集损失很低，但是测试集损失很大，准确率较低时