Spark学习
2015-06-19 21:39
274 查看
Standalone 模式(官网推荐)http://spark.apache.org/
1.下载spark-1.2.1-bin-hadoop2.4.tgz 并解压缩
2.进入conf目录,修改spark-env.sh.template为spark-env.sh 修改slaves.template为slaves
3.修改slaves文件,添加从节点的ip或者主机
4.修改spark-env.sh文件,里面的SPARK_MASTER_IP为主节点IP。在空白处添加exportSPARK_MASTER_IP=XXX
5.将配置文件复制到各个节点
6.执行sbin目录下的start-all.sh启动spark。会分别在主节点启动master进程,在从节点启动worker进程。
7.查看master上启动日志可查看masterwebui地址,可通过网页查看spark集群信息。(http://主节点主机:8080)
8.执行bin目录下spark-shell.sh进入shell环境
如果在windows环境下启动spark学习,可直接执行bin目录下的spark-shell.cmd即可。
spark基础
解压spark-1.3.1-bin-hadoop2.6 bin目录下执行spark-shell.cmd启动本地模式的spark
启动后就可以使用spark的api处理数据
scala> var rdd = sc.textFile("f:/a.txt").collect 代表读取本地f盘文件a.txt,并显示内容 sc=SparkContext
scala> var rdd = sc.textFile("f:/test/*").collect 读取test文件夹下所有文件,并显示内容
执行wordcount
scala> var rdd = sc.textFile("f:/a.txt").flatMap(_.split("\t")).map(x=>(x,1)).reduceByKey(_+_).collect
按每个key排序
scala> var rdd = sc.textFile("f:/a.txt").flatMap(_.split("\t")).map(x=>(x,1)).reduceByKey(_+_).sortByKey().collect
按每个key倒序排序
scala> var rdd = sc.textFile("f:/a.txt").flatMap(_.split("\t")).map(x=>(x,1)).reduceByKey(_+_).sortByKey(false).collect
统计数量
scala> var rdd = sc.textFile("f:/a.txt").flatMap(_.split("\t")).map(x=>(x,1)).reduceByKey(_+_).sortByKey().count
将结果输出到b文件夹下,会自动在文件夹下创建文件并保存
scala> var rdd = sc.textFile("f:/a.txt").flatMap(_.split("\t")).map(x=>(x,1)).reduceByKey(_+_).sortByKey().saveAsTextFile("f:/b/")
相关文章推荐
- sublime text 2自定义代码片段
- 二叉树的前序和中序求后序
- HDU-1251
- Android中View绘制优化二一---- 使用<include />标签复用布局文件
- MFC中char与wchar的相互转换方法
- MFC中char与wchar的相互转换方法
- 深入JVM系列(一)之内存模型与内存分配
- c++抽象类
- 3.1柱状图
- sgu 211
- 设置socket接收和发送超时的一种方式
- sgu 211 分类: sgu 2015-06-19 21:36 33人阅读 评论(0) 收藏
- 接触Matlab10年后的一个总结,随时使用Matlab要掌握的一些要点
- C++标准库学习笔记-5-(Container)
- 随笔
- poj2392解题报告
- HDU 3998 Sequence (最长递增子序列+最大流SAP,拆点法)经典
- chrome主页被篡改为360该溶液的导航
- [nowCoder] 局部最小值位置
- Android中View绘制优化之一---- 优化布局层次