损失还很高但是模型不收敛了怎么办?

阅读: 评论:0

陷入局部最优?

  • sgd:调大学习率
  • 换用adam等优化方法
  • 递进学习->1000->10000->80000
  • 调小batch:(A.全部数据作为一个batch和 B.每个采样作为一个batch)一般用的时候,在非监督训练阶段,可以先用B方法创建初始模型,
    然后在监督训练阶段,选择小batch size进行初步训练,让模型跳出局部极值,之后用大的batch size让模型收敛,这样一般能达到比较好的效果
    来源: www.fx114/qa-10-166186.aspx

本文发布于:2025-04-05 22:38:00,感谢您对本站的认可!

本文链接:https://www.4u4v.net/it/1743863888584318.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:很高   模型   损失
留言与评论(共有 0 条评论)
   
验证码:

Copyright ©2019-2022 Comsenz Inc.Powered by ©

网站地图1 网站地图2 网站地图3 网站地图4 网站地图5 网站地图6 网站地图7 网站地图8 网站地图9 网站地图10 网站地图11 网站地图12 网站地图13 网站地图14 网站地图15 网站地图16 网站地图17 网站地图18 网站地图19 网站地图20 网站地图21 网站地图22/a> 网站地图23