大数据工程师之路
2016-07-10 00:17
225 查看
大数据工程师需要的技能点:
大数据通用处理平台
· Spark
· Flink
· Hadoop
· HDFS
· KUDU
分布式内存存储
· Yarn
· Mesos
· Mahout
· Spark
Mlib
· TensorFlow
(Google 系)
· Amazon
Machine Learning
· DMTK
(微软分布式机器学习工具)
· Pig
· Hive
· kylin
· Spark
SQL,
· Spark
DataFrame
· Impala
· Phoenix
· ELK
§ ElasticSearch
§ Logstash
§ Kibana
· Kafka(纯日志类,大吞吐量)
· RocketMQ
· ZeroMQ
· ActiveMQ
· RabbitMQ
· Storm/JStorm
· Spark
Streaming
· Flink
· Scribe
· Flume
· Java
· Python
· R
· Ruby
· Scala
· MATLAB
· SPSS
· SAS
· R
· D3.js
· ECharts
· Excle
· Python
· 聚类
· 时间序列
· 推荐系统
· 回归分析
· 文本挖掘
· 决策树
· 支持向量机
· 贝叶斯分类
· 神经网络
· Mahout
· Spark
Mlib
· TensorFlow
(Google 系)
· Amazon
Machine Learning
· DMTK
(微软分布式机器学习工具)
· paxos
· raft
· gossip
· 栈,队列,链表
· 散列表
· 二叉树,红黑树,B树
· 图
· 排序
§ 插入排序
§ 桶排序
§ 堆排序
§ 快速排序
· 最大子数组
· 最长公共子序列
· 最小生成树
· 最短路径
· 矩阵的存储和运算
· 云服务
§ SaaS
§ PaaS
§ IaaS
· Openstack
· Docker
大数据通用处理平台
· Spark
· Flink
· Hadoop
分布式文件存储
· HDFS· KUDU
分布式内存存储
· Alluxio(Tachyon)
资源调度
· Yarn· Mesos
机器学习工具
· Mahout· Spark
Mlib
· TensorFlow
(Google 系)
· Amazon
Machine Learning
· DMTK
(微软分布式机器学习工具)
数据分析/数据仓库(SQL类)
· Pig· Hive
· kylin
· Spark
SQL,
· Spark
DataFrame
· Impala
· Phoenix
· ELK
§ ElasticSearch
§ Logstash
§ Kibana
消息队列
· Kafka(纯日志类,大吞吐量)· RocketMQ
· ZeroMQ
· ActiveMQ
· RabbitMQ
流式计算
· Storm/JStorm· Spark
Streaming
· Flink
日志收集
· Scribe· Flume
编程语言
· Java · Python
· R
· Ruby
· Scala
数据分析挖掘
· MATLAB · SPSS
· SAS
数据可视化
· R· D3.js
· ECharts
· Excle
· Python
机器学习
机器学习基础
· 聚类· 时间序列
· 推荐系统
· 回归分析
· 文本挖掘
· 决策树
· 支持向量机
· 贝叶斯分类
· 神经网络
机器学习工具
· Mahout· Spark
Mlib
· TensorFlow
(Google 系)
· Amazon
Machine Learning
· DMTK
(微软分布式机器学习工具)
算法
一致性
· paxos· raft
· gossip
数据结构
· 栈,队列,链表· 散列表
· 二叉树,红黑树,B树
· 图
常用算法
· 排序§ 插入排序
§ 桶排序
§ 堆排序
§ 快速排序
· 最大子数组
· 最长公共子序列
· 最小生成树
· 最短路径
· 矩阵的存储和运算
云计算
· 云服务§ SaaS
§ PaaS
§ IaaS
· Openstack
· Docker
相关文章推荐
- Remainders Game CF687B(数论 判断x%k的值)
- POJ 3714 Raid
- mas_makeConstraints && mas_remakeConstraints && mas_updateConstraints 用法与注意事项
- nexus repair或update index 没反应 速度慢 手动配置nexus index
- leetcode.373. Find K Pairs with Smallest Sums
- 安装cocoapods遇到error: RPC failed; curl 56 SSLRead() return error -36问题
- 记一次AD域共享访问错误(There are Currently No Logon Servers Available)的解决过程
- HDU 1401 Solitaire(双向广度优先搜索)
- WAS的异常"webcontainer E com.ibm.ws.webcontainer.WebContainer sendUnavailableException"莫名其妙
- raid0,raid1,raid5及hdd和ssd区别
- 微软人工智能平台开源:利用《我的世界》测试AI软件
- http://jingyan.baidu.com/article/86112f13582848273797879b.html
- 我对CONTAINING_RECORD宏的详细解释
- LeetCode - 70. Climbing Stairs
- [leetcode]Contains Duplicate III
- ChainOfResponsibility--责任链模式
- 在大数据分析/挖掘领域,哪些编程语言应用最多?
- HDFS写入和读取过程
- HDU-1022Train Problem I,简单栈模拟;
- http://jingyan.baidu.com/album/d8072ac47baf0eec95cefdca.html?picindex=4