132   Deep Learning

在深度学习中,输入参数往往会经过激活函数之后再进入训练网络

 

如果数据是线性可分的,那么使用 y=Wx+b 的线性函数模型,即可区分数据分布了
如下图所示
QQ图片20170909203223

 

如果数据不是线性分布的了,那得使用曲线才能比较好地区分这些数据
如下图所示
QQ图片20170909203246

 

 

这时候,激活函数就能加入曲线特性,使得神经网络能的能够处理更复杂的数据

比如 Sigmoid 函数,就是常用的激活函数

 

QQ图片20170909204240

 

 

 

激活函数会影响到后续模型的训练,比如梯度消失问题,假死神经元等

关于激活函数的选择可参看这篇文章的介绍

 




Leave a Reply

Your email address will not be published. Required fields are marked *