lstm

1.逻辑函数：

Logistic函数或Logistic曲线是一种常见的S形函数，它是皮埃尔·弗朗索瓦·韦吕勒在1844或1845年在研究它与人口增长的关系时命名的。广义Logistic曲线可以模仿一些情况人口增长（P）的S形曲线。起初阶段大致是指数增长；然后随着开始变得饱和，增加变慢；最后，达到成熟时增加停止。[1]

logistic函数其实就是这样一个函数：
非常简单吧，这个函数的曲线如下所示：
很像一个“S”型吧，所以又叫 sigmoid曲线（S型曲线）。
逻辑斯谛方程即微分方程：





残差：在数理统计中，残差是指实际观察值与估计值（拟合值）之间的差。

最小二乘法1：

最小二乘法的矩阵形式
最小二乘法的矩阵形式为：



其中



为



的矩阵，



为



的列向量，



为



的列向量。如果



（方程的个数大于未知量的个数），这个方程系统称为矛盾方程组（Over Determined System），如果



（方程的个数小于未知量的个数），这个系统就是Under Determined System。
正常来看，这个方程是没有解的，但在数值计算领域，我们通常是计算



，解出其中的



。比较直观的做法是求解



，但通常比较低效。其中一种常见的解法是对



进行QR分解（



），其中



是



正交矩阵（Orthonormal Matrix），



是



上三角矩阵（Upper Triangular Matrix），则有



最小二乘法2：

我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面...

对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：

（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。

（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。

（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。

　 最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。

　样本回归模型：


其中ei为样本（Xi, Yi）的误差

平方损失函数：



则通过Q最小确定这条直线，即确定

，以

为变量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：



根据数学知识我们知道，函数的极值点为偏导为0的点。

解得：



这就是最小二乘法的解法，就是求得平方损失函数的极值点。

梯度下降法：
最小二乘法跟梯度下降法都是通过求导来求损失函数的最小值，那它们有什么区别呢。

相同

　　1.本质相同：两种方法都是在给定已知数据（independent & dependent variables）的前提下对dependent variables算出出一个一般性的估值函数。然后对给定新数据的dependent variables进行估算。

　　2.目标相同：都是在已知数据的框架内，使得估算值与实际值的总平方差尽量更小（事实上未必一定要使用平方），估算值与实际值的总平方差的公式为：



其中

为第i组数据的independent variable，

为第i组数据的dependent variable，

为系数向量。

不同

　　1.实现方法和结果不同：最小二乘法是直接对

求导找出全局最小，是非迭代法。而梯度下降法是一种迭代法，先给定一个

，然后向

下降最快的方向调整

，在若干次迭代之后找到局部最小。梯度下降法的缺点是到最小点的时候收敛速度变慢，并且对初始点的选择极为敏感，其改进大多是在这两方面下功夫。

卡方分布：

若n个相互独立的随机变量ξ₁、ξ₂、……、ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和



构成一新的随机变量，其

卡方分布
分布规律称为



分布（chi-square distribution），其中参数n称为自由度，正如正态分布中均值或方差不同就是另一个正态分布一样，自由度不同就是另一个



分布。记为



或者



.
卡方分布是由正态分布构造而成的一个新的分布，当自由度n很大时，



分布近似为正态分布。
对于任意正整数x，自由度为
k的卡方分布是一个随机变量X的机率分布。



pearson相关系数：

如衡量国民收入和居民储蓄存款、身高和体重、高中成绩和高考成绩等变量间的线性相关关系。当两个变量都是正态连续变量，而且两者之间呈线性关系时，表现这两个变量之间相关程度用积差相关系数，主要有Pearson简单相关系数。
其计算公式为：



spearman相关系数：

这类方法对原始变量分布不作要求，属于非参数统计方法。其中最常用的统计量是spearman秩相关系数



，又称等级相关系数，介于



之间，



为负相关，



为正相关。秩相关系数是总体秩相关系数



的估计值。
若数据中无重复值，且两个变量完全单调相关时，spearman相关系数=+1或-1.
计算步骤：
⑴编秩：将两变量X、Y成对的观察值分别从小到大顺序编秩，用pi表示xi的秩次；用qi表示yi的秩次。若观察值相同取平均秩次。
⑵将秩次带入公式计算：



⑶由样本算得的秩相关系数是否有统计学意义，应作假设检验。

过拟合：

想像某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的文档它全都认为不属于这个类别。
标准定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。 ----《Machine Learning》Tom M.Mitchell