激活函数|sigmoid|tanh|relu系列|maxout|swish|mish

发布网友发布时间：2024-10-10 09:08

共1个回答

热心网友时间：2024-10-30 17:35

深度学习中的激活函数扮演着关键角色，它们引入非线性以扩展神经网络的表达能力，避免了线性层的局限性。没有激活函数，神经网络的每一层都会进行线性变换，多层网络与单层无异。输出层有时选择线性，但隐层通常采用非线性函数。

常见的非线性激活函数有sigmoid，其取值范围(0,1)，其导数特性限制了它在处理梯度时的效率，容易导致梯度消失和饱和问题，尽管在概率建模中有所应用。sigmoid的输出不是零均值的，且计算复杂度高。

与sigmoid类似，tanh函数虽然解决了输出零均值的问题，但幂运算和梯度饱和问题依然存在。ReLU（Rectified Linear Unit）则通过在正数部分保持恒定导数，避免了梯度消失，加快了训练速度，但存在输出非零均值和dead relu（神经元死亡）的问题。

ReLU的单侧饱和特性使其在特征检测中表现较好，模拟开关检测特征的存在或缺失。Leaky ReLU和randomized LeakyReLU通过引入负斜率缓解了ReLU的dead relu问题，而PReLU则允许学习斜率，进一步优化。ELU结合了零均值和单侧饱和的优点，但涉及指数运算。

Maxout是一种分段线性函数，通过比较多个线性变换的最大值，增加了模型的复杂性和拟合能力，但参数数量会增加。Swish和Mish是平滑且非单调的激活函数，Swish具有线性和ReLU之间的变换特性，而Mish在平滑性和正则性方面优于其他函数。

选择激活函数时，通常从ReLU开始尝试，若效果不佳，Leaky ReLU或ELU可能是改进方向，注意考虑过拟合和计算效率。对于资源有限的情况，randomized ReLU和PReLU可能在大量数据时才有优势。

理解并恰当使用激活函数是深度学习模型设计的重要环节，它们直接影响模型的性能和训练效率。