spark hive结合杂记(hive-site.xml)
2014-08-25 09:15
337 查看
1.下载spark源码,在spark源码目录下面有个make-distribution.sh文件,修改里面的参数,使编译后能支持hive,修改后执行该文件。(要预先安装好maven才能编译)。
2.将编译好的spark源码部署到机器上,然后将hive/conf中的hive-site.xml拷贝到spark/conf目录下。然后可以通过spark-shell来测试一下,详见:http://www.cnblogs.com/hseagle/p/3758922.html
3.spark中使用hive要时,要启动hive server服务,在hive/bin目录下建立一个脚步文件,添加 chmod u+x filename
4.在eclipse中编写spark程序时,要将spark/lib中的包倒入,spark-examples。。。.jar不用导入。如果要操作hive可能还要倒入对应的数据库jdbc驱动。
5.在eclipse中直接运行java 版的spark hive程序时可能会会先hive的metastore不正确的,而是链接的默认metastore此时就会出现各种错误eg.no table TABLENAME, can't fetch table ...,类似的错误,我的解决办法是,将java程序打包成jar,将导出的jar包拷贝到spark/lib目录下。,然后通过参考spark/bin中的spark-submit脚本命令来执行jar程序,参考spark/bin/run-examples脚步,做了如下简化,测试后可以进行简单的无参数输入执行:
注意:上面的脚本中需要修改蓝色标注的两行,将红色字体分别改成你所导出的jar包名和你要执行的类名g(格式:YourPacketName.YourClassName)
2.将编译好的spark源码部署到机器上,然后将hive/conf中的hive-site.xml拷贝到spark/conf目录下。然后可以通过spark-shell来测试一下,详见:http://www.cnblogs.com/hseagle/p/3758922.html
3.spark中使用hive要时,要启动hive server服务,在hive/bin目录下建立一个脚步文件,添加 chmod u+x filename
nohup ./hive --service hiveserver >> hiveserver.log 2>&1 & echo $! > hive-server.pid
4.在eclipse中编写spark程序时,要将spark/lib中的包倒入,spark-examples。。。.jar不用导入。如果要操作hive可能还要倒入对应的数据库jdbc驱动。
5.在eclipse中直接运行java 版的spark hive程序时可能会会先hive的metastore不正确的,而是链接的默认metastore此时就会出现各种错误eg.no table TABLENAME, can't fetch table ...,类似的错误,我的解决办法是,将java程序打包成jar,将导出的jar包拷贝到spark/lib目录下。,然后通过参考spark/bin中的spark-submit脚本命令来执行jar程序,参考spark/bin/run-examples脚步,做了如下简化,测试后可以进行简单的无参数输入执行:
SCALA_VERSION=2.10 FWDIR="$(cd `dirname $0`/..; pwd)" export SPARK_HOME="$FWDIR" export SPARK_EXAMPLES_JAR=$SPARK_HOME/lib/YOUR_EXPORT_JAR_NAME.jar EXAMPLE_MASTER=${MASTER:-"local[*]"} EXAMPLE_CLASS=demo.wrencai.cup.SparkHiveDemo "$FWDIR"/bin/spark-submit \ --master $EXAMPLE_MASTER \ --class $EXAMPLE_CLASS \ --name SparkSubmit_Demo \ "$SPARK_EXAMPLES_JAR" \
注意:上面的脚本中需要修改蓝色标注的两行,将红色字体分别改成你所导出的jar包名和你要执行的类名g(格式:YourPacketName.YourClassName)
相关文章推荐
- Spark On Yarn之指定hive-site.xml找不到metastore
- 修改配置文件conf/hive-site.xml
- spark-sql 结合 hive
- hive-site.xml的数据库配置文件
- Spark-sql与hive的结合环境配置
- Hive配置文件hive-site.xml
- hive-site.xml
- hive中设置查询不启动mapreduce作业(默认不启动)hive-site.xml关键配置
- spark hive 结合处理 把多行变成多列
- sparkSQL结合hive的入门程序
- spark 2.0.0与HIVE结合的测试
- Spark,Hive,HBase相互结合--数据读取和计算的几种方式
- hive-site.xml参数
- 杂记:hive报错以及spark中hive应用
- hive-site.xml
- hive-site.xml修改之后不生效与一些beeline,hiveserver2的报错
- 通过Spark结合使用Hive和ORC存储格式
- Caused by: org.xml.sax.SAXParseException; systemId: file:/home/hadoop/hive-0.12.0/conf/hive-site.xml; lineNumber: 5; columnNumber: 2; The markup in the document following the root element must be well
- 配置hive的坑 hive-site.xml:2787:3: The element type "configuration" must be terminated by the matching
- hive 解决hive-site.xml 配置问题