从机器学习算法的发展 理解 端到端(end to end)学习
2017-11-09 17:15
295 查看
经典机器学习方式是以人类的先验知识将raw数据预处理成feature,然后对feature进行分类。分类结果十分取决于feature的好坏。
传统机器学习专家将大部分时间花费在设计feature上。那时的机器学习有个更合适的名字叫feature engineering 。
后来人们发现,利用神经网络,让网络自己学习如何抓取feature效果更佳。于是兴起了representation learning。这种方式对数据的拟合更加灵活。 网络进一步加深,多层次概念的representation learning将识别率达到了另一个新高度。
Deep learning 指多层次的特征提取器与识别器统一训练和预测的网络。
end to end的好处:通过缩减人工预处理和后续处理,尽可能使模型从原始输入到最终输出,给模型更多可以根据数据自动调节的空间,增加模型的整体契合度。
拿语音识别为具体实例。普遍方法是将语音信号转成频域信号,并可以进一步加工成符合人耳特点的MFCC进行编码(encode)。也可以选择Convolutional layers对频谱图进行特征抓取。这样可在encode的部分更接近end to end 中的第一个end。 但识别出的结果并不可以告诉我们这段语音到底是什么。DNN-HMM混合模型还需要将DNN识别出的结果通过HMM来解码(decode)。而RNN-CTC就将HMM的对齐工作交给了网络的output layer来实现。在decode的部分更接近end
to end 中的第二个end。
传统机器学习专家将大部分时间花费在设计feature上。那时的机器学习有个更合适的名字叫feature engineering 。
后来人们发现,利用神经网络,让网络自己学习如何抓取feature效果更佳。于是兴起了representation learning。这种方式对数据的拟合更加灵活。 网络进一步加深,多层次概念的representation learning将识别率达到了另一个新高度。
Deep learning 指多层次的特征提取器与识别器统一训练和预测的网络。
end to end的好处:通过缩减人工预处理和后续处理,尽可能使模型从原始输入到最终输出,给模型更多可以根据数据自动调节的空间,增加模型的整体契合度。
拿语音识别为具体实例。普遍方法是将语音信号转成频域信号,并可以进一步加工成符合人耳特点的MFCC进行编码(encode)。也可以选择Convolutional layers对频谱图进行特征抓取。这样可在encode的部分更接近end to end 中的第一个end。 但识别出的结果并不可以告诉我们这段语音到底是什么。DNN-HMM混合模型还需要将DNN识别出的结果通过HMM来解码(decode)。而RNN-CTC就将HMM的对齐工作交给了网络的output layer来实现。在decode的部分更接近end
to end 中的第二个end。
相关文章推荐
- 机器学习中什么是端到端的学习(end-to-end learning)?
- 【论文笔记】如何理解深度学习中的End to End
- 车牌识别中的不分割字符的端到端(End-to-End)识别
- 比较值得学习的sql语句_decode,to_char,TO_CHAR(sysdate,'MM'),(t.end_date,'HH24')>=21
- 对《End-to-End Arguments in System Design》理解文章的整理
- 深度学习笔记1:end-to-end、anchor box解释、人体检测代码
- HTML5学习笔记---Html5简单理解,发展情况...
- 网络中两种种交付方式:节点到节点(node-to-node)、端到端(end-to-end)
- 论文笔记《End-to-End Training of Hybrid CNN-CRF Models for Stereo》用于立体评估的端到端训练的混合CNN-CRF模型
- Java学习之道:关于VO、PO的理解-java的(PO,VO,TO,BO,DAO,POJO)解释
- 什么是end to end 学习
- End-to-End Reinforcement Learning of Dialogue Agents for Information Access 端对端加强学习对话代理信息访问
- 深度学习Tracking(1)——Learning to Track at 100 FPS with Deep Regression Networks(代码理解)
- 从SRCNN到EDSR,总结深度学习端到端超分辨率方法发展历程
- 机器学习算法之SVM学习理解(一)
- 基于循环神经网络(RNN)的端到端(end-to-end)对话系统
- Mcad学习笔记之委托再理解(delegate的构造器,MulticastDelegate,BeginInvoke,EndInvoke,Invoke4个方法的探讨)
- end-to-end 理解
- opencv 12 OCR 端到端识别(end_to_end_recognition) vs2015
- 关于我对软件行业的理解及对自身发展的规划