【机器学习】验证集loss震荡（loss的其他问题）

练习过程中发现，train loss不停下降，train acc不停上升；但是val loss、val acc却不停震荡。loss一会上一会下，但是总体趋势是向下的。
“loss震荡但验证集准确率总体下降” 怎样办理？
测试集准确率如许震荡是正常的吗？ - 李峰的回复 - 知乎
很多经验：loss问题汇总（不收敛、震荡、nan） - 飞狗的文章 - 知乎
练习过程中loss震荡特殊严峻，大概是什么问题？ - 孤歌的回复 - 知乎
模子练习中出现NaN Loss的缘故起因及办理方法_loss为nan的缘故起因_there2belief的博客-CSDN博客

学习率和loss的关系？

w1 = w0-学习率*梯度（）
loss = |ypred-ytrue|

练习深度学习模子loss为nan的缘故起因

http://t.csdn.cn/jfNpF
模子时碰到个问题：在大样本练习模子时候的loss为nan，实验了各种方法也没有什么起色，最终一起分析了一番拟确定了缘故起因，这边就分享下大概的缘故起因可供分析调解~
缘故起因
1.模子问题

• 网络布局计划问题
  

通过弱化场景，简化样本的方式去检查是否为网络的问题

• 损失函数设置不合理
  
• 激活函数选择不当
  
• 参数初始化问题
  

2.数据问题

• 数据需归一化
  
  
  
  • 减均值
    
  • 除方差
    
  • 加入normalization(BN\L2 norm等)
    
  
  
• 数据标签不在[0, num_classes)范围内
  
• 练习样本存在脏数据
  

        这个是和师弟最终确定的缘故起因，因为在现实业务中的真实数据需要淹灭较多的时间行止理，不像open dataset那样已经帮你处理的干干净净，以是如上述的方法逐一检查过了照旧没有成效的话，肯定要好好地检查下数据。
3.练习问题
loss为nan的说明loss发散，这个时候需要思量下梯度爆炸的大概，那么相应的解法方式如下：

• 调小学习率lr
  
• 调小batch size
  
• 加入gradient clipping
  

什么是loss发散？（Loss变为NaN怎么办？）
因为学习率过大的话，每次参数更新步子迈得太大，loss直接不往极小值点走了，结果越更新离极小值点越远。这就是所谓的loss发散。发散着发散着loss越来越大，就变为NaN了。
 

【算法】深度学习模子损失值loss不收敛，曲线震荡发散怎么办？_loss的发散问题_YaoYee_7的博客-CSDN博客
神经网络练习过程中先收敛，到达一个可观的性能后又发散了，loss曲线呈反"抛物线"型？ - 知乎 
Loss变为NaN怎么办？_loss: nan_OhMyJayce的博客-CSDN博客

来源：https://blog.csdn.net/weixin_31866177/article/details/129352425
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！