一种利用 Cumulative Penalty 训练 L1 正则 Log-linear 模型的随机梯度下降法
2014-06-11 14:06
337 查看
Log-Linear 模型(也叫做最大熵模型)是 NLP 领域中使用最为广泛的模型之一,其训练常采用最大似然准则,且为防止过拟合,往往在目标函数中加入(可以产生稀疏性的) L1 正则。但对于这种带 L1 正则的最大熵模型,直接采用标准的随机梯度下降法(SGD)会出现效率不高和难以真正产生稀疏性等问题。
本文为阅读作者 Yoshimasa Tsuruoka, Jun’chi Tsujii 和 Sophia Ananiadou 的论文 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty (2009)后整理的读书笔记,文中提出了一种基于累积惩罚的 SGD 方法,可以克服上述提到的两个问题。作者: peghoty 出处: http://blog.csdn.net/itplus/article/details/30049501欢迎转载/分享, 但请务必声明文章出处.
相关文章推荐
- 一种利用 Cumulative Penalty 训练 L1 正则 Log-linear 模型的随机梯度下降法
- OpenCV 利用命令行(cmd)训练模型
- ubuntu中利用h5py保存训练好的keras 神经网络模型
- caffe利用训练好的模型进行实际测试
- 深度学习-CAFFE利用CIFAR10网络模型训练自己的图像数据获得模型-3结合caffe中的CIFAR10修改相关配置文件并训练
- 深度学习-CAFFE利用CIFAR10网络模型训练自己的图像数据获得模型-2生成图像库的均值文件
- 一种利用并发提高系统数据吞吐率的模型及其分析
- 深度学习与人脸识别系列(5)__利用训练好的vgg模型进行人脸识别(利用摄像头)
- 利用caffe训练好的模型进行测试
- Windows下利用visual studio调用ubuntu下已经训练好的模型
- 利用caffe训练模型的总结(结直肠组织分类)
- 一个用 Cumulative Penalty 培训 L1 正规 Log-linear 型号随机梯度下降
- 利用基因算法训练连续隐马尔柯夫模型的语音识别
- 深度学习与人脸识别系列(4)__利用caffe训练深度学习模型
- 利用Caffe训练模型(solver、deploy、train_val)+python使用已训练模型
- 深度学习与人脸识别系列(4)__利用caffe训练深度学习模型
- 利用队列和定时器构造的一种日志记录模型实现
- 利用caffe训练的模型,写一个测试程序
- 代码笔记:caffereid利用训练好的模型提取特征
- 深度学习与人脸识别系列(3)__利用caffe训练深度学习模型