数据挖掘学习路线【转知乎某人的观点】
2018-01-19 15:38
871 查看
---------------------------浓缩精华版--------------------------------
第一步:数据准备:(70%时间)
获取数据(爬虫,数据仓库)
验证数据
数据清理(缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集)
使用python进行文件读取csv或者txt便于操作数据文件(I/O和文件串的处理,逗号分隔)
抽样(大数据时。关键是随机)
存储和归档
第二步:数据观察(发现规律和隐藏的关联)
单一变量:点图、抖动图;直方图、核密度估计;累计分布函数
两个变量:散点图、LOESS平滑、残差分析、对数图、倾斜
多个变量:假色图、马赛克图、平行左边图
第三步:数据建模
推算和估算(均衡可行性和成本消耗)
缩放参数模型(缩放维度优化问题)
建立概率模型(二项、高斯、幂律、几何、泊松分布与已知模型对比)
第四步:数据挖掘
选择合适的机器学习算法(蒙特卡洛模拟,相似度计算,主成分分析)
大数据考虑用Map/Reduce
得出结论,绘制最后图表
循环到第二步到第四步,进行数据分析,根据图表得出结论完成文章。
第一步:数据准备:(70%时间)
获取数据(爬虫,数据仓库)
验证数据
数据清理(缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集)
使用python进行文件读取csv或者txt便于操作数据文件(I/O和文件串的处理,逗号分隔)
抽样(大数据时。关键是随机)
存储和归档
第二步:数据观察(发现规律和隐藏的关联)
单一变量:点图、抖动图;直方图、核密度估计;累计分布函数
两个变量:散点图、LOESS平滑、残差分析、对数图、倾斜
多个变量:假色图、马赛克图、平行左边图
第三步:数据建模
推算和估算(均衡可行性和成本消耗)
缩放参数模型(缩放维度优化问题)
建立概率模型(二项、高斯、幂律、几何、泊松分布与已知模型对比)
第四步:数据挖掘
选择合适的机器学习算法(蒙特卡洛模拟,相似度计算,主成分分析)
大数据考虑用Map/Reduce
得出结论,绘制最后图表
循环到第二步到第四步,进行数据分析,根据图表得出结论完成文章。
相关文章推荐
- 数据挖掘人员工作领域大致可分为三类【转知乎某人的观点】
- 数据挖掘该怎样的学习路线?
- 学习攻略 | Python数据挖掘学习路线图
- 数据挖掘学习路线图
- R语言学习路线和常用数据挖掘包
- R语言学习路线图以及R数据挖掘包
- 机器学习与数据挖掘的学习路线图
- 数据挖掘学习路线图
- R语言学习路线和常用数据挖掘包
- 数据挖掘学习路线
- 机器学习与数据挖掘的学习路线图
- 大数据云计算学习路线图(纯属个人看法和观点)
- 数据挖掘 学习路线(转)
- R语言学习路线和常用数据挖掘包
- 数据挖掘 学习路线(转)
- 数据挖掘学习路线图
- 机器学习与数据挖掘的学习路线图
- 数据挖掘学习路线图
- [转]机器学习与数据挖掘的学习路线图
- 数据挖掘学习路线