caffe 14 读书笔记 net层重要属性
2017-03-21 17:43
190 查看
深度学习的核心优势:好的特征可以通过学习得到。
卷积神经网络4个基本原则:局部互联、共享权值、下采样、使用多个圈基层
共享权值使参数量更少,下采样保证局部不变性,多特征图允许不同卷积核作为不同特征提取器。
卷积层提取特征图;通过局部感知野和参数共享降低参数数量。
引入激活函数,消除隐层的线性组合。
ReLU减少计算量;不会引起梯度消失;有一部分神经元为0,增加网络稀疏性,缓解过拟合发生。
pooling主要是降低特征维度,同时提高模型容错性。
卷积的作用是用来过滤特征,即提取特征。
池化pooling,也称为欠采样(subsampling)或下采样(downsampling),主要用于降低特征的维度,同时提高模型容错性,主要有max,average和sum等不同类型的操作
每个神经元其实没有必要对全局图像进行感知,只需要对局部进行感知,然后在更高层将局部的信息综合起来就得到了全局的信息。
卷积核,也称为过滤器
同一层下的神经元的连接参数只与特征提取的方式有关,而与具体的位置无关,因此可以保证同一层中对所有位置的连接是权值共享的。举个例子来讲,第一层隐层是一般用来做边缘和曲线检测,第二层是对第一层学到的边缘曲线组合得到的一些特征,如角度、矩形等,第三层则会学到更复杂的一些特征,如手掌、眼睛等。对于同一层来讲,它们提取特征的方式一样,所以权值也应该一样。
模型参数远大于数据量时,相当于求解欠解方程,存在多解可能,容易产生过拟合。
模型参数远小于数据量时,相当于求解超解方程,可能无解,或者有解但准确率很低,属于欠拟合。
模型参数与数据量配置时,相当于求解恰定方程,既能避免过拟合,又能兼顾准确率,但模型参数量和数据量怎么才能做到匹配,是一个工程问题。
卷积层和全连接层统称为权值层。
卷积神经网络在进行计算加速优化时,重点放在卷积层;在进行参数、权值裁剪时,重点放在全连接层。
图像分类需要解决的问题:
观测角度变化、光照条件变化、物体自身形变、物体部分遮挡、背景杂波影响、类内差异。
卷积神经网络4个基本原则:局部互联、共享权值、下采样、使用多个圈基层
共享权值使参数量更少,下采样保证局部不变性,多特征图允许不同卷积核作为不同特征提取器。
卷积层提取特征图;通过局部感知野和参数共享降低参数数量。
引入激活函数,消除隐层的线性组合。
ReLU减少计算量;不会引起梯度消失;有一部分神经元为0,增加网络稀疏性,缓解过拟合发生。
pooling主要是降低特征维度,同时提高模型容错性。
卷积的作用是用来过滤特征,即提取特征。
池化pooling,也称为欠采样(subsampling)或下采样(downsampling),主要用于降低特征的维度,同时提高模型容错性,主要有max,average和sum等不同类型的操作
每个神经元其实没有必要对全局图像进行感知,只需要对局部进行感知,然后在更高层将局部的信息综合起来就得到了全局的信息。
卷积核,也称为过滤器
同一层下的神经元的连接参数只与特征提取的方式有关,而与具体的位置无关,因此可以保证同一层中对所有位置的连接是权值共享的。举个例子来讲,第一层隐层是一般用来做边缘和曲线检测,第二层是对第一层学到的边缘曲线组合得到的一些特征,如角度、矩形等,第三层则会学到更复杂的一些特征,如手掌、眼睛等。对于同一层来讲,它们提取特征的方式一样,所以权值也应该一样。
模型参数远大于数据量时,相当于求解欠解方程,存在多解可能,容易产生过拟合。
模型参数远小于数据量时,相当于求解超解方程,可能无解,或者有解但准确率很低,属于欠拟合。
模型参数与数据量配置时,相当于求解恰定方程,既能避免过拟合,又能兼顾准确率,但模型参数量和数据量怎么才能做到匹配,是一个工程问题。
卷积层和全连接层统称为权值层。
卷积神经网络在进行计算加速优化时,重点放在卷积层;在进行参数、权值裁剪时,重点放在全连接层。
Net中重要属性 |
---|
类对象 | 含义 |
---|---|
layers_ | 记录Net prototxt 中出现的每个Layer |
layers_names_ | 每个Layer的名称 |
layer_names_index_ | 每个Layer名称与顺序索引对应关系 |
layer_need_backward_ | 每个Layer是否需要反向传播过程 |
blobs_ | 记录Net中所有blob |
blob_names_ | 记录每个blob名称 |
blob_names_index_ | 记录每个blob名称与顺序索引对应关系 |
blob_need_backward_ | 记录每个blob是否需要反向传播 |
bottom_vecs_ | blobs_的影子,记录每个Layer的输入blob |
bottom_id_vecs_ | 与bottom_vecs_关联,用于在blobs_中定位每个Layer的每个输入Blob |
bottom_need_backward_ | 与bottom_vecs_关联,标志每个Blob是否需要反向传播过程 |
top_vecs_ | blobs_的影子,记录每个Layer的输出Blob |
top_id_vecs_ | 与top_vecs_关联,用于在blobs_中定位每个Layer的每个输出Blob |
blob_loss_weights_ | Net中每个Blob对损失函数的投票因子,一般损失层为1,其他层为0 |
net_input_blob_indices_ | Net输入Blob在blobs_中的索引 |
net_output_blob_indices_ | Net输出Blob在blobs——中的索引 |
net_input_blobs_ | Net输入Blob |
net_output_blobs_ | Net输出Blob |
params_ | Net权值Blob,用于存储网络权值 |
param_display_names_ | Net中权值Blob名称 |
learnable_params_ | Net中可训练的权值Blob |
params_lr_ | learnable_params_中每个元素的学习率倍乘因子 |
has_params_lr | 标志learnable_params_中每个元素是否有学习率因子 |
params_weight_decay_ | learnable_params_中每个元素的权值衰减倍乘因子 |
has_params_decay_ | 标志leanable_params_中每个元素是否有权值衰减倍乘因子 |
观测角度变化、光照条件变化、物体自身形变、物体部分遮挡、背景杂波影响、类内差异。
相关文章推荐
- EditText其最重要的一个属性是 android:inputType
- vs2013安装caffe过程中,项目属性->项类型中缺少CUDA C/C++
- 读书笔记 effective c++ Item 14 对资源管理类的拷贝行为要谨慎
- FLEX中一些比较重要的标签和属性
- React Native几个重要的属性
- CALayer 的一些重要属性
- javascript 重要属性之prototype(继承)
- OC视频笔记13(点语法的调用,给属性赋值时属性与参数名子相同的结果)14(练习)
- 【Java并发】JAVA并发编程实战-读书笔记14
- 记录几个重要的 CALayer 的属性 (四)
- 一些重要的属性
- ListView 几个重要属性
- 【读书笔记《Android游戏编程之从零开始》】14.游戏开发基础(Bitmap 位图的渲染与操作)
- Layout的重要属性
- 16-01-14 EditText 属性
- Intent中的四个重要属性——Action、Data、Category、Extras
- c# ListView中比较重要的属性
- JavaScript之基础-14 JavaScript Object对象(概述、创建对象、属性、方法)
- Android ListView 几个重要属性
- Delphi操作Excel的重要属性及方法