在线字典学习(Online dictionary learning for sparse coding)-机器学习
2014-01-09 13:18
501 查看
稀疏编码—将数据向量建模为基向量的线性组合,大量地应用于机器学习、神经科学、信号处理及统计学。这篇文章主要学习基向量也就是字典使之适应特定数据,在声音、图像处理领域信号重构与分类是一种近来被证明非常有效的方法。这篇文章基于随机近似,提出了一种新的,可以很容易推广至大数据情形的在线字典学习优化算法。
近来使用学习获得字典的有限原子而不是预先定义的字典如小波对信号进行分解,在大量的低水平数据处理任务如去噪和高水平数据处理如分类方面取得了非常好的结果,说明学习得到的模型对自然信号非常适用。不像基于PCA及其变形的分解,这些方法不需要基向量之间是正交的。在字典学习被证明可有效提高学习效率的同时,有效地求解相对应的优化问题也成为了一个重要的计算上的挑战。最近的字典学习方面的算法是二阶迭代批处理方法,在某些约束下,在每次迭代过程中为了最小化价值函数。与一阶方法梯度法相比,尽管运算速度大大提高,但仍然无法有效地处理大规模训练数据。
经典的字典学习技术研究有限的信号训练集,优化经验损失函数
近来使用学习获得字典的有限原子而不是预先定义的字典如小波对信号进行分解,在大量的低水平数据处理任务如去噪和高水平数据处理如分类方面取得了非常好的结果,说明学习得到的模型对自然信号非常适用。不像基于PCA及其变形的分解,这些方法不需要基向量之间是正交的。在字典学习被证明可有效提高学习效率的同时,有效地求解相对应的优化问题也成为了一个重要的计算上的挑战。最近的字典学习方面的算法是二阶迭代批处理方法,在某些约束下,在每次迭代过程中为了最小化价值函数。与一阶方法梯度法相比,尽管运算速度大大提高,但仍然无法有效地处理大规模训练数据。
经典的字典学习技术研究有限的信号训练集,优化经验损失函数
相关文章推荐
- ICCV Tutorial on Sparse Coding and Dictionary Learning for Image Analysis
- Online Robust Non-negative Dictionary Learning for Visual Tracking 阅读小结
- 在线学习--online learning
- [机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)
- Online Sparse Gaussian Process Based Human Motion Intent Learning for an Electrically Actuated Lower
- RNN语言模型中的在线表示学习Online Representation Learning in Recurrent Neural language models
- Incoherent dictionary learning for sparse representation based image denoising(一)
- 传统方法学习(Sparse coding and ICA model)的过完备字典带来的问题
- ICCV13_log Euclidean kernels for sparse representation and dictionary learning
- 机器学习教程之7-应用机器学习的建议(Advice for Applying Machine Learning)
- 深度学习用于基于内容的图像检索 Deep Learning for Content-Based Image Retrieval
- 『应用机器学习的建议』的学习笔记 2015/04/12 · IT技术 · 机器学习 分享到: 45 本文由 伯乐在线 - mathshelly 翻译,toolate 校稿。未经许可,禁止转载! 英
- 自动驾驶汽车之深度学习 2018 MIT 6.S094 Deep Learning for Self-Driving Cars
- 【深度学习】论文导读:图像识别中的深度残差网络(Deep Residual Learning for Image Recognition)
- TensorFlow官方教程学习笔记之2-用于机器学习初学者学习的MNIST数据集(MNIST For ML Beginners)
- Learning to Divide and Conquer for Online Multi-Target Tracking
- Fast.ai: Practical Deep Learning for coders 课程学习笔记:Part1 Lesson1 (Lesson0)
- 机器学习中的神经网络Neural Networks for Machine Learning:Lecture 5 Quiz
- 机器学习中的神经网络Neural Networks for Machine Learning:Lecture 14 Quiz
- 论文阅读学习 - ResNet - Deep Residual Learning for Image Recognition