神经网络与机器学习 第一讲(3)——一些简单的神经元模型

一、理想化神经元

　　1. 对事物建模，我们需要理想化它

　　　　1) 理想化会移除掉对理解主要原则并不必要的一些细节

　　　　2) 易于加入数学或迁移对其他事物建模的知识

　　　　3) 一旦理解了基本原则，也就容易在上面增加一些复杂的特征来完善模型

　　2. 理解一些“错误”的模型是有必要的，但是我们不能忘记它是错的

　　　　1) 比如神经元传输的是连续值，而不是离散值

二、一些简单的神经元模型

　　1. Linear neurons

　　2. Binary threshold neurons

　　3. Rectified Linear Neurons

　　4. Sigmoid neurons

　　5. Stochastic binary neurons

三、泊松过程

　　1. 计数过程：一个随机过程{N(t), t≥0}称为计数过程，如果N(t)表示到时间t为止发生的事件的总数。

　　　　1) N(t)≥0.

　　　　2) N(t)取整数值。

　　　　3) 若s<t，则N(s)≤N(t).

　　　　4) 对于s<t，N(t)-N(s)表示在区间(s,t]中发生的事件的个数

　　2. 泊松过程

　　　　1) N(0)=0.

　　　　2) 过程有独立增量，即发生在不相交的时间区间中事件的个数彼此独立。

　　　　3) 在长度为t的任意时间区间中的事件个数服从均值为λt的泊松分布(泊松分布期望方差相等)

　　　　4) 由3知，在长度为t的任意时间区间中的事件个数的期望为λt，故称速率为λ

　　3. Rectified Linear Neurons( y=max(0,x) ) 大于0的部分，我们可以把它看作速率为1*t的泊松过程