机器学习方法篇(5)------神经网络概述

● 每周一言

改变不了身世，可以改变态度。

导语

早在二十世纪四十年代，心理学家Mcculloch和数理逻辑学家Pitts在分析、总结神经元基本特性的基础上，就提出了神经元的数学模型。随着计算机硬件技术的飞速发展，神经网络从最初的单层感知结构发展成了如今流行的多层结构。那么，神经网络为何如此流行？其又是如何工作的？

神经网络

据生物学结论，人脑神经细胞数量大约在10的11次方数量级左右。这些神经细胞之间通过突触（轴突和树突）相连。通俗的理解，神经细胞把所有树突突触传进来的信号相加，如果信号加和超过或低于某个阀值，其细胞状态就会变为兴奋或抑制这两种状态之一，整个大脑的神经细胞状态各异，从而表现出不同的大脑行为。



而机器学习中人工神经网络的灵感正是来源于人脑神经细胞的这种信号传递现象。类似，人工神经网络模型也是由一个一个人工神经元组成，人工神经元的数学描述如下图所示：



首先，人工神经元用一个求和函数SUM（类似神经细胞的树突）来接收信息。上图中a1~an代表发送至该人工神经元的信号；w1~wn则代表这些信号作用在这个神经元上的不同程度即权重；偏置b从生物角度来说，可以理解为这个神经元本身所具备的信号弹性。

然后，人工神经元用一个激活函数f来输出信号。常用的激活函数有三种：sgn阶跃函数、sigmoid函数及ReLU激活函数。如下图所示：



阶跃函数为二值输出，比如输出-1和1。由于阶跃函数的输出具有不连续、不光滑性质，因此在一般神经网络模型中，通常使用sigmoid函数作为激活函数。而ReLU激活函数相比于sigmoid函数，则具有运算速度快、减小梯度消失问题等优势，其通常运用于深度神经网络模型中，比如深度卷积神经网络DCNN。



如上图所示，多个神经元组成一层一层的网络结构并互相连结，形成了各式各样的神经网络模型。神经网络模型既能用来解决分类问题，又可以解决回归问题，应该是目前最为流行且应用范围最广的一种机器学习模型了，比如LSTM模型、CNN模型等等。

结语

感谢各位的耐心阅读，后续文章于每周日奉上，敬请期待。欢迎大家关注小斗公众号 对半独白！