随笔
神经网络训练确实是loss越小,效果越好,但不是绝对的。
因为损失小只是对训练集而言,所以要划出部分数据不做训练,只做验证,即为验证集,验证集对网络训练是没影响的,
所以要将数据集分成:训练集,验证集,测试集
其实训练集,验证集都是有 输入(input)及标签(label)的,所以都可以拿来训练,即前向传播–>求损失–>反向传播。
但验证集存在的意义就是“验证”,验证集不需要反向传播计算(即训练),
验证集是用来验证训练集得到的模型的输出效果(准确率,得分等),
某些情况带入验证集求损失,通过得到‘最小’损失,验证集的损失不做反向传播计算
但是此处的‘最小’损失,用来验证最优模型。
因为验证集不会影响、修改网络模型,可以说验证集是验证网络模型的泛化效果
测试集是没有标签(label)的,将测试集带入模型得到的输出,是没法通过量化衡量效果的,如一些比赛,用测试集来输出结果,然后提交官方。
其实训练集,验证集 可以统一归为一个大的训练集
有些情况是只有训练集的。
1.你可以将训练集全部用来训练,这样省事,但你只能知道训练集内部的效果。
对于训练集内部的数据肯定效果好,但是训练集外部的数据就不一定了
2.而利用kfold 将数据集分成k份,如分成5份,取4份作为训练数据,1份作为验证数据,训练数据之外的验证数据验证模型的泛化效果
每个epoch训练完数据之后,在带入验证数据验证效果,
第二种效果可能会更好,即使少了一部分训练数据
k折利用python的sklearn库处理
from sklearn.model_selection import KFold
个人观点