【数据平台】Eclipse+Scala开发环境(本机和集群两个运行模式)
2017-09-11 16:07
543 查看
1）环境：
集群部署centos+jdk1.8+spark-1.5.0+Scala-2.11.8；
开发端windows+Eclipse Mars.1 Release (4.5.1)
2）安装eclipse-scala-plugin插件
http://scala-ide.org/download/prev-stable.html下载版本：
解压后将features和plugins中的文件放到eclipse对应的目录中。
3）引入SparkJar包，工程示例如下：
加入后Run时提示找不到类，不知道是否是对应的版本问题，在工程属性上调整：
4） 单词计数本机运行：新建Scala Object
5）本机开发提交集群运行
集群部署centos+jdk1.8+spark-1.5.0+Scala-2.11.8；
开发端windows+Eclipse Mars.1 Release (4.5.1)
2）安装eclipse-scala-plugin插件
http://scala-ide.org/download/prev-stable.html下载版本：
解压后将features和plugins中的文件放到eclipse对应的目录中。
3）引入SparkJar包，工程示例如下：
加入后Run时提示找不到类，不知道是否是对应的版本问题，在工程属性上调整：
4） 单词计数本机运行：新建Scala Object
5）本机开发提交集群运行
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 【数据平台】Eclipse+MapReduce开发环境(集群运行模式)
- 数据挖掘入门：Python开发环境搭建（eclipse-pydev模式）
- windows eclipse hadoop 集群开发环境搭建（分布式模式）
- 在spark开发环境中使用Standalone模式调试集群运行
- 【数据平台】Eclipse+Scala远程开发调试关于hostname的问题
- MapReduce程序的3种集群提交运行模式详解---基于Windows与Linux两种开发环境
- Hadoop集群链接_Eclipse开发环境：成功运行mapreduce所遇问题
- 大数据应用之Windows平台Hbase客户端Eclipse开发环境搭建
- java学习之旅15、16--eclipse开发环境的使用_建立java项目_运行java项目，eclipse运行程序的问题(src和bin问题)_debug模式
- (大数据之hadoop)Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
- 大数据应用之Windows平台Hbase客户端Eclipse开发环境搭建
- Local模式下开发第一个Spark程序并运行于集群环境
- win7（64位）平台下Cygwin+Eclipse搭建Hadoop单机开发环境 （四） 导入Hadoop源码+wordcount程序+运行
- IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试（spark集群运行模式）
- Scala-IDE Eclipse（Windows)中开发Spark应用程序，在Ubuntu Spark集群上运行
- 大数据应用之Windows平台Hbase客户端Eclipse开发环境搭建
- spark学习8之eclipse安装scala2.10和spark编译环境并上传到集群运行
- 【iOS-cocos2d-X 游戏开发之三】Mac下配置Android NDK环境并搭建Cocos2d-x环境并Eclipse正常编译运行Cocos2dX自带TestsDemo项目！
- 【iOS-cocos2d-X 游戏开发之三】Mac下配置Android NDK环境并搭建Cocos2d-x环境并Eclipse正常编译运行！
- windows7平台下配置Apache+Python-CGI开发运行环境