Spark 提升spark1.6提交任务速度+配置spark2.x后hiveserver2运行失败
2017-07-21 20:39
323 查看
spark提升提交任务速度
在spark-defaults.conf中配置一句spark.yarn.jar=hdfs:///lib/spark-assembly-1.6.3-hadoop2.6.0.jar
并把jar包上传到配置的位置，可以避免每次提交任务都重新上传
在spark1.6版中，看启动的控制台日志可以发现，每次提交任务到yarn都会从本地上传一遍此jar包
配置spark2.x后hiveserver2运行失败
提示找不到assembly jar包原因：spark1.6版assembly jar包在lib目录下，而2.X版没有lib目录，改成了jars，在bin/hive 下修改寻找assembly的路径，修改为寻找jars下所有的jar包
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Spark on Yarn：任务提交参数配置
- 缓存jar包来提升spark on Yarn job的提交速度
- Hive on Spark 配置、运行
- 高效提升 中等配置笔记本的运行速度 简单高效 很有效
- Hive hiveserver2 配置运行
- Idea创建maven工程 上传提交Spark运行 WordCount 配置依赖插件文件 全步骤
- Spark on Yarn：任务提交参数配置
- spark-2.1.0提交任务的配置参数说明
- Spark内核介绍：Spark在运行时会把Stage包装成任务提交 （二）
- Spark1.6的部署配置与运行
- hive on spark通过YARN-client提交任务不成功
- 使用java代码提交Spark的hive sql任务，run as java application
- spark源码解析-从提交任务到jar的加载运行（基于2.1.0版本）
- spark history server集群配置与使用（解决执行spark任务之后没有显示的问题）
- spark基础之Spark SQL和Hive的集成以及ThriftServer配置
- 中文教学视频 | 如何提升 Android Studio 在低配置机器上的运行速度
- Spark History Server配置使用
- Spark2.X环境准备、编译部署及运行
- 配置IIS5 运行asp.net时遇到的问题 Server Application Error
- Win2000 Server 上安装配置JDK，Tomcat，SqlServer2000和JDBC，运行管理JSP简单网站的实验