神经网络特征可视化
2015-07-09 22:04
811 查看
1. visualizing higher-layer features of a deep network
本文提出了两种可视化方法。
1. 最大化activation
当训练完一个深层神经网络之后, 固定所有参数。 然后对于某一个神经元的activation进行梯度上升优化来寻找能使它的值最大化的input。 不断的用gradient ascent来更新一个初始化为random value的input。 converge 之后的input就是能使这个神经元activation最大化的input, 也就是这个神经元学到的feature。
2. sampling from a unit of a deep belief network
把一个神经元的activation设为1, 然后generate 一些相应的samples, 通过这些samples估计一个distribution。
3. linear combination of previous layers' filters
这个是已经存在的技术, 用底层的filter线性组合来visulze上层的filter
结论
1. 不同的网络结构或者模型会学到不同的filter。
2. 好的模型学到的filter通常比较容易解释,但是这个不是100%适用。 有些model学到的feature看似不好但是这个model效果也可能很好。
3. deep model 高层的feature相对比较high level 而且可以是底层feature的组合。
本文提出了两种可视化方法。
1. 最大化activation
当训练完一个深层神经网络之后, 固定所有参数。 然后对于某一个神经元的activation进行梯度上升优化来寻找能使它的值最大化的input。 不断的用gradient ascent来更新一个初始化为random value的input。 converge 之后的input就是能使这个神经元activation最大化的input, 也就是这个神经元学到的feature。
2. sampling from a unit of a deep belief network
把一个神经元的activation设为1, 然后generate 一些相应的samples, 通过这些samples估计一个distribution。
3. linear combination of previous layers' filters
这个是已经存在的技术, 用底层的filter线性组合来visulze上层的filter
结论
1. 不同的网络结构或者模型会学到不同的filter。
2. 好的模型学到的filter通常比较容易解释,但是这个不是100%适用。 有些model学到的feature看似不好但是这个model效果也可能很好。
3. deep model 高层的feature相对比较high level 而且可以是底层feature的组合。
相关文章推荐
- android HttpEntity的作用
- ubuntu中运行 sudo apt-get update 报错:W: GPG error: http://cn.archive.ubuntu.com vivid Release: The follo
- NS3网络仿真(2):first.py
- "http-8080-3" java.lang.OutOfMemoryError: PermGen space C3P0死锁的问题
- AJAX(XMLHttpRequest)进行跨域请求方法详解(三)
- AJAX(XMLHttpRequest)进行跨域请求方法详解(二)
- PHP+win+tomcat+mysql+httpd环境搭建记录2
- AJAX(XMLHttpRequest)进行跨域请求方法详解(一)
- 【Linux 内核网络协议栈源码剖析】ARP地址解析协议
- Tomcat启用HTTPS(生成证书、配置Tomcat服务器)
- TOMCAT起步内存溢出问题Exception in thread ""http-bio-8080"-exec-6&
- NS3网络仿真(1):开发环境搭建
- 银行家算法实例
- Tomcat&HTTP
- 网络协议相关
- 从自联想神经网络到深度神经网络
- HTTP状态码大全
- HTTP协议详解
- https连接设置SSL协议和加密套件
- HTTP协议