Batchsize的巨细怎样设置？Batchsize过大和过小有什么影响

一、Batchsize根本先容

1. Batchsize是什么

batch_size：表现单次通报给步伐用以练习的数据（样本）个数。如果我们的数据集钟含有的样本总数为12800个样本，batch_size=128，那么就须要10个batch才华够练习完一个epoch。
   batch_size一样寻常取值为2的N次幂的情势，这是由于CPU或者GPU的内存架构是2的N次幂。CPU在读取内存时是一块一块举行读取的，块的巨细可以是2，4，8，16（总之是2的倍数）。因此，选取2的n次幂作为batch巨细，重要是为了将一个或多个批次整齐地安装在一个页面上，以帮助GPU并行处置惩罚。但经过researchers的大量实行，毕竟上，batch_size对速率和结果影响并不大（可能会慢一点点，但是险些可以忽略不记）。

  2. 神经网络是如何徐徐收敛的


以回归使命为例，我们根据预测值与真实值之间的毛病设定丧失函数Loss Function（常见的有L2-Loss，L1-Loss，CrossEntropy等）。最原始的机器学习中，还没有Batchsize的概念，在优化过程中ÿ

来源：https://blog.csdn.net/m0_51339444/article/details/128745611
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！