Spark视频王家林大神第8课:彻底理解大数据机器学习
2018-01-26 21:45
288 查看
Spark视频王家林大神第8课:彻底理解大数据机器学习
本节带领大家快速理解大数据机器学习:第一个问题:机器学习是什么?第二个问题:大数据机器学习到底是什么?
先想一下人正常思考的过程:根据自己的历史经验或者生活经验得出了某种规律,然后在当前的情况下,根据历史经验或者规律来预测当前的情况,下一步该怎么做,这个描述人的思考过程其实就是机器学习的过程。我们可以发现规律或者模型以及当前的情况,规律其实就是模型,当前的情况就是当前具体的数据,根据当前不同的情况结合规律,得出不同的结论来指导下一步的行为,这是数据驱动的决策方式,跟我们编程的时候第一条指令,第二条指令,第三条指令得出一个结果,这是完全不一样的。
机器学习的过程是基于数据统计学的理论得出影响结果的几个变量,变量包括因变量、自变量。例如预测房价,根据房价过去波动的因素判断一下哪些因素影响房价,得出一个影响房价的模型,假设买/卖房子会得出几个变量,当然这几个变量不会那么单一,可以使用回归的方式去处理,计算出模型以后,具体某个地方的房子和具体某个时间去预测房价,机器学习也是从数据中得出某种模型,模型由变量构成,变量变成某种公式,公式就变成某种模型,8月份和10月份的房价是不一样的,不一样是由8月份和10月份的时间,以及经济情况和人们购买力、市场的细节信息决定的,首先是构建一个模型,然后根据当前具体的情况决策出具体房价的过程就是机器学习的过程。机器学习和人的决策过程是一样的,根据过去的数据得出某个模型,模型有个输入就是当前的情况,例如计算今天的房价或这个月的房价,情况不一样得出的房价就不一样,这就是机器学习。
为什么大数据机器学习特别重要呢?无论建立模型还是得出预测结果,都与数据紧密相关,是一个数据驱动的过程,数据显然是一个大数据、分布式的数据,数据更多,经验会更多,得出的模型一般会更合理,当前情况如果有更多的数据,基于我们的模型得出的结论一般也会更准确。所以,大数据机器学习是不可错过的机器学习的领域和范畴,大数据机器学习非常重要,例如电商网站、导航、语音、图像识别背后越来越多的是大数据。
本节带领大家快速理解大数据机器学习:第一个问题:机器学习是什么?第二个问题:大数据机器学习到底是什么?
先想一下人正常思考的过程:根据自己的历史经验或者生活经验得出了某种规律,然后在当前的情况下,根据历史经验或者规律来预测当前的情况,下一步该怎么做,这个描述人的思考过程其实就是机器学习的过程。我们可以发现规律或者模型以及当前的情况,规律其实就是模型,当前的情况就是当前具体的数据,根据当前不同的情况结合规律,得出不同的结论来指导下一步的行为,这是数据驱动的决策方式,跟我们编程的时候第一条指令,第二条指令,第三条指令得出一个结果,这是完全不一样的。
机器学习的过程是基于数据统计学的理论得出影响结果的几个变量,变量包括因变量、自变量。例如预测房价,根据房价过去波动的因素判断一下哪些因素影响房价,得出一个影响房价的模型,假设买/卖房子会得出几个变量,当然这几个变量不会那么单一,可以使用回归的方式去处理,计算出模型以后,具体某个地方的房子和具体某个时间去预测房价,机器学习也是从数据中得出某种模型,模型由变量构成,变量变成某种公式,公式就变成某种模型,8月份和10月份的房价是不一样的,不一样是由8月份和10月份的时间,以及经济情况和人们购买力、市场的细节信息决定的,首先是构建一个模型,然后根据当前具体的情况决策出具体房价的过程就是机器学习的过程。机器学习和人的决策过程是一样的,根据过去的数据得出某个模型,模型有个输入就是当前的情况,例如计算今天的房价或这个月的房价,情况不一样得出的房价就不一样,这就是机器学习。
为什么大数据机器学习特别重要呢?无论建立模型还是得出预测结果,都与数据紧密相关,是一个数据驱动的过程,数据显然是一个大数据、分布式的数据,数据更多,经验会更多,得出的模型一般会更合理,当前情况如果有更多的数据,基于我们的模型得出的结论一般也会更准确。所以,大数据机器学习是不可错过的机器学习的领域和范畴,大数据机器学习非常重要,例如电商网站、导航、语音、图像识别背后越来越多的是大数据。
相关文章推荐
- 第8课:spark机器学习第8课:王家林带您1分钟内彻底理解大数据机器学习
- Spark视频王家林大神第1课: 30分钟彻底理解Spark核心API发展史:RDD、DataFrame、DataSet
- 3000门徒内部训练绝密视频(泄密版)第8课:彻底实战详解使用IDE开发Spark程序
- Spark视频王家林大神第2课:解密spark第二代tungsten引擎测试数据和引擎实现内幕
- Spark视频王家林大神 第7课: Spark机器学习内幕剖析
- 王家林大数据Spark超经典视频
- 3000门徒内部训练绝密视频(泄密版)第4课:Scala模式匹配、类型系统彻底精通与Spark源码阅读
- 王家林 大数据Spark超经典视频链接全集[转]
- 王家林“云计算分布式大数据Hadoop实战高手之路---从零开始”的第一讲Hadoop图文训练课程:10分钟理解云计算分布式大数据处理框架Hadoop
- 第8课:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
- 3000门徒内部训练绝密视频(泄密版)第5课:彻底精通Scala隐式转换和并发编程及Spark源码阅读
- 第8课:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
- 第8课:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
- 大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程
- 王家林 Spark公开课大讲坛第一期:Spark把云计算大数据速度提高100倍以上
- s通过案例彻底详解spark中DAG的逻辑视图的产生机制和过程 -- (视频笔记)(重点)
- 【备忘】徐老师hadoop hbase zookeeper spark kafka大数据视频教程
- 王家林 大数据Spark超经典视频链接全集[转]
- 第8课:彻底实战详解使用IDE开发Spark程序
- 第8课:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考