在线学习算法FOBOS (一)
2015-08-25 16:44
148 查看
FOBOS由John Duchi和Yoram Singer提出,翻译为前进后退分离法。算法主要目的是要在进行在线学习实现以下目标
(1)减少在线学习方法只用一条样本的梯度计算产生的误差
(2)实现特征的稀疏性
算法原理
FOBOS将权重的更新分为两个步骤:
(1)前向标准梯度下降
(2)后向梯度微调
第二个步骤包括两个部分
(1)第一部分保证微调发生在梯度下降结果的附近
(2)第二个部分是进行正则化,产生稀疏性。
从公式可以看出W(t+1)不仅仅和迭代前的W(t)有关,而且与迭代后的W(t+1)有关,这也是FOBOS的由来。
(1)减少在线学习方法只用一条样本的梯度计算产生的误差
(2)实现特征的稀疏性
算法原理
FOBOS将权重的更新分为两个步骤:
(1)前向标准梯度下降
(2)后向梯度微调
第二个步骤包括两个部分
(1)第一部分保证微调发生在梯度下降结果的附近
(2)第二个部分是进行正则化,产生稀疏性。
从公式可以看出W(t+1)不仅仅和迭代前的W(t)有关,而且与迭代后的W(t+1)有关,这也是FOBOS的由来。
相关文章推荐
- mac下安装tomcat
- 排序算法之堆排序
- Android 自定义ListView中的Item样式
- 使用text-overflow对表格中的数据进行隐藏,却不能实现
- 头像图片任意截取
- 36 Valid Sudoku
- 8.3.4 Column Indexes 列索引
- 使用迭代器(Iterator)来实现链表的相关操作
- python学习笔记6—文件操作来生成船只侧面图像的描述文件
- Linux操作系统定时任务系统Cron入门、PHP计划任务以及rpc示例
- servlet第3讲(中集)----同一用户的不同页面共享数据
- 计算机网络系统--TCP/IP OSI模型
- 计算100以内所有正整数的和
- 哪款Linux发行版是你的最佳选择呢?
- C语言求质数
- 理解Java之泛型
- python build in functions
- 目录管理、文件管理、文件查看、文本处理命令
- Introduction to Java Programming编程题9.9<二进制转十六进制>
- Java String的关键点