深度学习实验的一些小知识点

遇到一条是一条，慢慢增加，怕搞忘了。。。。
1.参数量过大也不好，容易过拟合。
2.DenseNet每一个Dense中的混合函数输入的都是统一大小的通道数卷积特征图，有gr成长率控制，这是减少参数最重要的方法，每次输出来的都是一个固定大小的feature map，不像其他网络那样一层一层往后是增加的，DenseNet通过concat操作将信息一步一步往后传，又加大了信息流动，非常厉害的想法。生成24个feature map，和concat之后输出24个fature map完全不一样，参数量上差了非常多的级别。