激活函数的作用 2017/08/06 1,754 Deep Learning 在深度学习中，输入参数往往会经过激活函数之后再进入训练网络 如果数据是线性可分的，那么使用 y=Wx+b 的线性函数模型，即可区分数据分布了 如下图所示 如果数据不是线性分布的了，那得使用曲线才能比较好地区分这些数据 如下图所示 这时候，激活函数就能加入曲线特性，使得神经网络能的能够处理更复杂的数据 比如 Sigmoid 函数，就是常用的激活函数 激活函数会影响到后续模型的训练，比如梯度消失问题，假死神经元等 关于激活函数的选择可参看这篇文章的介绍
Leave a Reply