神经网络(8)---如何求神经网络的参数：cost function的表达

两种分类问题: binary & multi-class



下面的是两种类型的分类问题(一种是binary classification,一种是multi-class classification)

如果是binary classification的分类问题，则output layer只有一个结点（1 output unit, SL =1）,hΘ(x)为一个real number,K=1(K表示在output layer的结点数)。

Multi-class classification(有k个类别): hΘ(x)为一个K维的向量，SL =K,一般来说K>=3(因为如果有两个分类的话，我们不必要使用one-vs-all method，使用binary classification就行，只需要一个output unit).

Neural network的cost function



神经网络中的cost function与我们之前介绍的一般的logistic regression问题类似，所不同的是，将K个类进行了累加，hΘ(x(i))k 是K维向量的第k个元素,后面的那个regularized term,则将所有的Θ进行了累加(除了bias unit上面的Θ)，与我们之前介绍的logistic regression不对Θ0进行regularization类似的道理.