使用IDEA运行Spark程序
2014-09-29 14:04
246 查看
使用IDEA运行Spark程序
1.安装IDEA
从IDEA官网下载Community版本,解压到/usr/local/idea目录下。tar –xzf ideaIC-13.1.4b.tar.gz
mv idea-IC-135.1230/ /usr/local/idea
为了方便使用其bin目录下的命令,把它配置在“/etc/profile”目录下。
export PATH=$PATH:/usr/local/idea/ idea-IC-135.1230/bin
2.安装Scala插件
1. 在终端输入idea.sh进入如下界面:2. 点击”Configure”进入IDEA的配置界面:
3. 选择“Plugins”,进入插件安装界面:
4. 点击左下角的“Install JetBrains plugin”选项进入如下界面在左上方的输入框输入“scala”来查找scala插件,点击右侧的“Install plugin”开始下载插件:
5. 安装完后重启IDEA:
3.使用scala SBT工程
1. 重启之后进入如下界面,选择“Create New Project”,选择左侧列表中的“Scala”选项,为了方便以后的开发,选择右侧的“SBT”选项:2. 设置scala工程的名称和目录,点击Finish:
3. 此时发现没有设置Java的JDK路径,点击进入ProjectStructure目录,点击New,选择JDK路径后,关闭后重新打开项目:
4. 此时IDEA会智能的帮助我们构建SBT工具,IDEA自动完成SBT工具的安装需要一段时间(1-2分钟),SBT会自动帮我们建好一些目录:
5. 点击src下的main下的scala在弹出的“New”下选择“Scala Class,输入文件名称并选择类型:
6. 写入代码:
7. 右击代码区点击运行,第一次运行scala程序会有点缓慢:
8. 运行的结果如下:
4.搭建Spark运行环境
1.导入Spark的包,依次点击File -> Project Structure ->Libraries ->点击“+”号 ->选择Java -> 选择spark lib目录下的assembly包IDEA工作完后发现Spark的jar包导入到我们的工程中
5.运行Spark程序
1.我们这里采用standalone模式运行wordcount作代码演示。数据从hdfs读取,代码如下。2. 下面描述如何打jar包:
配置路径和包名
之后便可在集群上运行spark程序。
注:每次修改代码后都要rebuild jar包。
相关文章推荐
- 使用IDEA运行Spark程序
- 使用IDEA运行Spark程序
- 使用idea编辑sparkSql的程序运行出现java.lang.IllegalArgumentException: java.net.URISyntaxException
- 使用IDEA运行Spark程序
- 第8课:彻底实战详解使用IDE开发Spark程序--集群模式运行
- windows在IDEA环境运行spark程序(spark安装在另一台mac机器)
- Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-02
- Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
- windows环境下IDEA运行spark程序出现的异常问题
- 第94讲, 使用Scala开发集群运行的Spark 实现在线黑名单过滤程序
- 使用IDEA进行Spark开发(二)-第一个scala程序
- Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法
- 孙其功陪你学之——基于IDEA使用Spark API开放Spark程序(1)
- 使用Idea提交Spark程序
- 关于IDEA的基本环境配置以及快速使用(git拉载程序,Jdk安装,tomcat部署,应用程序打包运行)
- 使用IDEA开发spark程序
- 孙其功陪你学之——基于IDEA使用Spark API开放Spark程序(3)
- 基于IDEA使用Spark API开发Spark程序
- 使用IDEA编写基于Scala的spark程序中的常见问题
- 使用IDEA编译spark 1.5并运行example的代码