将原模型中的卷积层（卷积核为55）全部替换成两个33级联的卷积层（就像VGG模型）训练误差一直为2.3不变

发布网友发布时间：2022-04-23 22:02

共2个回答

热心网友时间：2023-10-11 09:14

用局部连接而不是全连接，同时权值共享。局部连接的概念参考局部感受域，即某个视神经元仅考虑某一个小区域的视觉输入，因此相比普通神经网络的全连接层（下一层的某一个神经元需要与前一层的所有节点连接），卷积网络的某一个卷积层的所有节点只负责前层输入的某一个区域（比如某个3*3的方块）。这样一来需要训练的权值数相比全连接而言会大大减少，进而减小对样本空间大小的需求。权值共享的概念就是，某一隐藏层的所有神经元共用一组权值。这两个概念对应卷积层的话，恰好就是某个固定的卷积核。卷积核在图像上滑动时每处在一个位置分别对应一个“局部连接”的神经元，同时因为“权值共享”的缘故，这些神经元的参数一致，正好对应同一个卷积核。顺便补充下，不同卷积核对应不同的特征，比如不同方向的边（edge）就会分别对应不同的卷积核。激活函数f(x)用ReLU的话避免了x过大梯度趋于0（比如用sigmoid）而影响训练的权值的情况（即Gradient Vanishing）。同时结果会更稀疏一些。
池化之后（例如保留邻域内最大或平均以舍弃一些信息）一定程度也压制了过拟合的情况。综述总体来说就是重复卷积-relu 来提取特征，进行池化之后再作更深层的特征提取，实质上深层卷积网络的主要作用在于特征提取。最后一层直接用softmax来分类（获得一个介于0~1的值表达输入属于这一类别的概率）。

热心网友时间：2023-10-11 09:15

你好，我对你的训练失败非常感兴趣，请问是否可以将caffe模型转化为tensorflow模型？这样我好方便进行调试分析

将原模型中的卷积层（卷积核为5*5）全部替换成两个3*3级联的卷积层（就像VGG模型）训练误差一直为2.3不变

将原模型中的卷积层（卷积核为55）全部替换成两个33级联的卷积层（就像VGG模型）训练误差一直为2.3不变