NIN(Network in Network)

NIN(Network in Network)

卷积神经网络中的卷积是一个广义线性模型（generalized linear model, GLM），抽象程度不高，GLM 只在样本是线性可分的时候有好的抽象。如果把 GLM 替换成更非线性的操作能够提升模型的抽象能力。

如果把用核做线性卷积操作替换成用 MLP 做非线性的卷积操作，必然会增加模型的抽象能力。网络中用了 MLP 做卷积的层这里称为 MLP 卷积层，只用核做卷积的卷积层称为线性卷基层。使用了这种 MLP 卷积层的网络这里称为 NIN（Network in Network）。

MLP 卷积使用一个由多个全连接层构成的 MLP 在上一层的 feature map 上进行滑动计算，再通过一个非线性激活函数（这里采用 ReLU），这样就得到了当前层的 feature map。