数据分析,比较全的技术能力提升指南
2018-02-04 14:22
405 查看
学习内容:
1. 平台技术1.分布式计算平台 (Hadoop)
Google的论文:hdfs与map-reduce
Yahoo实现的开源版本
三大平台:Cloudera/Hortonworks/DataStax
2. 深度学习平台(GPU)
Nvidia: 显卡
Linux环境
cuda环境
intel-mkl
cudnn
重点:环境搭建,部分做数据分析的人,可能会卡在环境的搭建上,主要需要Linux技能。
2. 全栈基础
1.SQL技术
2.Linux及Shell, vim/find/grep/sed/awk/git
3.统计、概率基础
4.编程能力(以工程为导向)
5.大数据框架
6.数据处理&算法
7.笔记与文档(markdown)
重点:全面的熟悉数据科学中的知识点。
3. 分布式技术
1.hadoop(hdfs&mr)
2.Hive(sql)
3.Spark(rdd,df,sql)
4.Sqoop
5.Hbase/Cassandra
6.采集与消息队列:Flume/Kafka/Storm
7.全文索引(solr, elasticsearch)
重点:熟悉处理海量数据的常用工具,存储与分析,每个工具的适用场景
4. 数据库技术
1.MySQL
2.Postgresql
3.MongoDB
4.Redis
重点:数据库是数据分析中最常用的依托,熟悉SQL语句,以及如果使用Python来进行数据处理。
5. 语言技术
1.SQL语句(常用join语句)
2.python
python2与python3的问题
库:numpy, pandas, scikit-learn,nltk, pyltp, pyspark、anaconda
3.R
学术界,快速建模
4.Scala、java
重点:学习语言,是自动化处理数据和建模的必备工具,SQL必备,Python与R至少需要熟悉一种。要工程应用,Python是必备。
6. 数据挖掘
1.数据采集:rsync, api, MQ, 爬虫(scrapy)
2.数据清洗:SQL,Linux,py,R
3.特征工程:特征选择,特征变换
4.算法建模:各种框架与算法
5.模型评估:precision,recall,f1,mse
6.应用与可视化
重点:了解数据处理的一些常用方法,理解特征工程的方法,熟悉主流挖掘算法的基本过程,会调用相应的库来建模,理解算法评估的常用指标。
7. 机器学习
1.聚类、分类、回归
kmeans, knn, logistic regression, linear regression, navie bayes, 决策树、随机森林、神经网络、Xgboost
2.自然语言处理
CRF、分词、实体识别、语义分析,word2vec,深度学习(cnn,rnn)
3.个性推荐,用户画像
4.深度学习
应用(非结构化):图片,语音,视频,自然语言处理
算法:auto encoder, cnn, rnn, lstm
框架:tf/keras/mxnet/caffe/pytorch
5.遗传算法:优化,ga, gp
重点:理解主流算法的应用场景及其主要参数,熟悉自然语言处理中一些基本的方法,理解深度学习的主要思想,熟悉一、两个深度学习框架,能使用迁移学习做一些图片分类的任务。
8. Web与可视化
1.Excel, matplotlib, seaborn
2.Django/Flask,JS/Html5/css3(Web开发)
3.superset(druid, mysql, postgresql, 简单易用的数据可视化界面)
4.zeppelin(支持分布式环境的Web笔记)
5.beakernotebook(ipython、jupyter,支持多种语言的Web笔记)
6.Orange3(图形化的数据挖掘工具)
7.airflow(Data pipeline监控)
8.DataScienceStudio(基于Web的数据分析、建模工具)
重点:数据可视化工具,数据可视化挖掘工具,交互式笔记工具,事半功倍的工具,数据分析入门的好工具,个人珍藏收集。
9. Spark全栈
1.RDD/DataFrame
2.ML/MLLib
3.SQL
4.Streaming
5.GraphX(PageRank)
6.spark/pyspark/sparkR
重点:当今世界最流行、不可多得的、分布式的,全栈数据处理、分析、挖掘环境。
10. H2O框架
1.h2o-flow(基于Web的自动化建模环境)
2.算法(drf, gbdt, word2vec,glrm)
3.sparkling water(结合Spark的优势)
4.deepwater(深度学习环境)
5.steam(建模与部署一体化)
重点:如生命离不开水一般,简单、优雅的数据挖掘、深度学习环境。高效的算法执行速度,高精度的算法产出。
相关文章推荐
- 干货!谷歌推荐的技术能力提升指南
- 干货!谷歌推荐的技术能力提升指南
- 谷歌推荐的技术能力提升指南
- 干货!谷歌推荐的技术能力提升指南
- 内网安全数据保密技术分析与比较
- 提升大数据数据分析性能的方法及技术(二)
- 提升大数据数据分析性能的方法及技术(一)
- 干货!谷歌推荐的技术能力提升指南
- 干货!谷歌推荐的技术能力提升指南
- 清华大学大数据能力提升项目三名学生斩获2017年中国高校SAS数据分析大赛亚军
- 干货!谷歌推荐的技术能力提升指南
- 【引用】内网安全数据保密技术分析与比较
- 预言家IBM:数据分析提升公司决策应变能力
- 提升大数据数据分析性能的方法及技术(一)
- Java核心技术及面试指南面试题,基本数据类型、封装类和运算操作的面试题
- oracle技术之oracle数据泵不同工作方式性能比较(三)
- Pluto中文文本分析能力的数据挖掘平台
- 三种数据交换技术的比较