激活函数的作用
激活函数的主要作用是给神经网络提供非线性建模能力,如果没有激活函数,神经网络只能处理线性可分的问题。
如何选择
- 如果激活函数的导数大于1:网络层数较多的话会产生梯度爆炸导致计算量暴增
- 如果激活函数的导数小于1:……会导致梯度消失使得损失函数无法收敛甚至退步
- softmax输出的分量和=1: 适合多分类问题
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
激活函数的主要作用是给神经网络提供非线性建模能力,如果没有激活函数,神经网络只能处理线性可分的问题。
暂无评论内容