Gradient-based Hyperparameter Optimization through Reversible Learning
2016-01-26 20:29
288 查看
摘要
因为超参数的梯度信息很难获得,所以调整超参数很难。我们在整个训练集上计算了对于所有超参数的交叉检验的精确参数。这使得我们可以优化各种超参数,包括训练步长、动量、初始参数的分布、网络结构、正则化形式。我们的计算恰好颠覆了基于动量的随机梯度下降法的动力。简介
机器学习到处都是超参数,需要通过例如l1l2等正则化来限制模型的复杂度。还有步长、动量衰减、初始条件等,都很难决定。现有的方法通过验证集来确定好的参数达到最好结果,但是也不能一下子调整10~20个参数。
为何不考虑梯度呢,逆向差分使得梯度的计算消耗接近初始目标函数的计算消耗。这种方法一般用于元素参数的计算。计算超参数的梯度的困难在于验证集损失函数的计算需要元素级别的内部循环,这使得初始的基于内存消耗的梯度计算难以实现。第2部分会来解决这个问题,所用方法也是本文的主要方法。
得到超参数的梯度为通往天堂之路打开了一扇窗……我们不是尽量从模型中消除超参数,而是利用并丰富模型中的超参数。就如高维的元素参数使得模型更灵活一样,高维的超参数使得我们的模型类别、正则化方法、训练方法更加灵活。
超梯度
逆向差分(也就是算法)在超参数的梯度计算中受制于内存消耗过大而难以实施。相关文章推荐
- CentOS7下安装配置vncserver
- 大型网站架构系列:消息队列(二) (转)
- Good Bye 2015 D. New Year and Ancient Prophecy
- 大型网站架构系列:分布式消息队列(一) (转)
- linux驱动开发(一)—GPIO驱动框架
- web的负载均衡 集群高可用(HA)解决方案
- 系统管理中 bash shell 脚本常用方法总结
- OPCode及汇编
- Linux下profile和bashrc四种的区别
- OpenCV3.1.0+VS2013开发环境配置之测试程序错误解决
- Runtime中property_getName与property_getAttributes
- docker 镜像的保存以及导入
- 阿里无线11.11 | 手机淘宝移动端接入网关基础架构演进之路
- docker 数据共享,数据复制
- 233,自定义NSOperation
- openfire服务器无法开启问题解决
- 常用Shell基本命令
- <OpenGL>Introduction
- hadoop 第一个程序 wordcount 详解
- 贴段脚本...Linux命令批量执行,免密码登录配置