您的位置:首页 > 其它

IntelliJ(IDEA)Spark源码阅读环境

2015-09-15 10:40 537 查看
IntelliJ(IDEA)Spark源码阅读环境
依赖:IDEA(IntelliJ,前文已经安装),Scala(前文已经安装),SBT,GIT,Spark源码
1.SBT安装

               1)官网下载压缩包http://www.scala-sbt.org/download.html

               2)本地解压缩

                    
$ tar -zxvf sbt.tar 

         3)配置环境变量

         $ sudo vim /etc/profile 

            添加:

               
# SBT Variables Start

                     exportSBT_HOME=/Users/alina/ComputerScience/sbt

                     exportPATH=${SBT_HOME}/bin:$PATH

                    # SBT Variables End 

          使环境变量生效:

          $ source /etc/profile 

             验证sbt

          $ sbt -h

             运行sbt下载所需要的程序包:

          $ sbt
          

2.Git安装

               官网:http://git-scm.com/download/下载dmg文件,挂载后运行pkg文件,按照安装指示进行。

               在命令行执行$ which git

                显示git的路径即为安装成功。

3.生成源码的.idea项目

               下载spark源码包,在spark根目录下执行 $ ./sbt/sbt gen-idea 生成.idea项目,久的话一个小时,看网速了

               遇到的问题:

               spark-1.4.1版源码,执行./sbt/sbt gen-idea报错

               


               解决:

               sbt-launch-0.13.7.jar应该有1.2M大小,如果没有,则该jar包没有下载成功



              手动下载https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.7/sbt-launch.jar

               move到 sbt/ 内,重命名为sbt-launch-0.13.7.jar

               打开sbt-launch-lib.bash,注释掉在线下载jar包的代码47到68行

               
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  spark源码 IntelliJ