如何选择合适的激活函数？

04110

激活函数的作用

激活函数的主要作用是给神经网络提供非线性建模能力，如果没有激活函数，神经网络只能处理线性可分的问题。

如何选择

  • 如果激活函数的导数大于1：网络层数较多的话会产生梯度爆炸导致计算量暴增
  • 如果激活函数的导数小于1：……会导致梯度消失使得损失函数无法收敛甚至退步
  • softmax输出的分量和=1: 适合多分类问题
© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
未分类
喜欢就支持一下吧
点赞10赞赏 分享
胡宗胜的头像-胡宗胜的个人博客👤钻石会员
闲鱼纠纷规则2025年7月-胡宗胜的个人博客👤
闲鱼纠纷规则2025年7月
闲鱼纠纷规则2025年7月
8个月前 198
老家广电家庭网络改造——获取超级管理员权限改桥接-胡宗胜的个人博客👤
老家广电家庭网络改造——获取超级管理员权限改桥接
老家广电家庭网络改造——获取超级管理员权限改桥接
5个月前 136
Fake Location 最新版本专业人士测试答案-胡宗胜的个人博客👤
Fake Location 最新版本专业人士测试答案
Fake Location 最新版本专业人士测试答案
4个月前 132
本站已配置https-only,ipv6-only!—群晖建站如何配置自动证书-胡宗胜的个人博客👤
本站已配置https-only,ipv6-only!—群晖建站如何配置自动证书
本站已配置https-only,ipv6-only!—群晖建站如何配置自动证书
8个月前 113
毛泽东的创新之路——活动稿V1.0-胡宗胜的个人博客👤
毛泽东的创新之路——活动稿V1.0
毛泽东的创新之路——活动稿V1.0
5个月前 101
上海企业组册须知 2025.9-胡宗胜的个人博客👤
上海企业组册须知 2025.9
上海企业组册须知 2025.9
5个月前 99
相关推荐
闲鱼纠纷规则2025年7月-胡宗胜的个人博客👤
闲鱼纠纷规则2025年7月
闲鱼纠纷规则2025年7月
8个月前 198
老家广电家庭网络改造——获取超级管理员权限改桥接-胡宗胜的个人博客👤
老家广电家庭网络改造——获取超级管理员权限改桥接
老家广电家庭网络改造——获取超级管理员权限改桥接
5个月前 136
Fake Location 最新版本专业人士测试答案-胡宗胜的个人博客👤
Fake Location 最新版本专业人士测试答案
Fake Location 最新版本专业人士测试答案
4个月前 132
毛泽东的创新之路——活动稿V1.0-胡宗胜的个人博客👤
毛泽东的创新之路——活动稿V1.0
毛泽东的创新之路——活动稿V1.0
5个月前 101
上海企业组册须知 2025.9-胡宗胜的个人博客👤
上海企业组册须知 2025.9
上海企业组册须知 2025.9
5个月前 99
也是成功在工信部通过ICP备案了，是一个建站正规军了！-胡宗胜的个人博客👤
也是成功在工信部通过ICP备案了，是一个建站正规军了！
也是成功在工信部通过ICP备案了，是一个建站正规军了！
8个月前 83
评论 抢沙发

请登录后发表评论

    暂无评论内容

目录Toggle Table of Content