用maven编译spark1.4
2015-08-27 11:54
357 查看
1，解压spark1.4.gz
进入解压目录：
在pom.xml中指定各个插件的版本号
设置maven使用更多内存
To enable Hive integration for Spark SQL along with its JDBC server and CLI, add the -Phive and Phive-thriftserver profiles to your existing build options. By default Spark will build with Hive 0.13.1 bindings.
进入解压目录：
在pom.xml中指定各个插件的版本号
设置maven使用更多内存
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
To enable Hive integration for Spark SQL along with its JDBC server and CLI, add the -Phive and Phive-thriftserver profiles to your existing build options. By default Spark will build with Hive 0.13.1 bindings.
# Apache Hadoop 2.4.X with Hive 13 support mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package
maven测试
mvn -Pyarn -Phadoop-2.4 -DskipTests -Phive -Phive-thriftserver clean package mvn -Pyarn -Phadoop-2.4 -Phive -Phive-thriftserver test
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 一个比较完整的Inno Setup 安装脚本
- [C++] Most Vexing Parse
- 【这里有别人的经验,也有好玩的发现】
- C-5 猜数字游戏
- LoadRunner11学习记录二
- Jquery DIV滚动至浏览器顶部位置固定
- GBRank的问题列表
- Mongodb的安装和简单的使用
- 解决URL二次编码的问题
- File upload example in Jersey
- matlab快速入门，最常用基本函数大全。
- MongoDB知识点
- [CareerCup] 6.6 Toggle Lockers 切换锁的状态
- 2015ucloud校招笔试试题
- App Naver Line 5.3 add new features - "True Delete"
- Highcharts制作统计图表
- hadoop三----基于hadoop伪分布式整合hive和hbase
- 打包可执行程序，检查安装环境
- 这里讨论二个 PHP CURL CURLOPT 参数
- Druid数据库连接池使用