2.2、配置Spark-sql(连接Hive)
2017-03-09 15:14
316 查看
一、复制Hadoop目录下的hdfs-site.xml和Hive目录下的hive-site.xml到/usr/spark/spark-2.1.0/conf目录下
二、cp spark-env.sh.template spark-env.sh，编辑spark-env.sh文件添加如下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_102
export CLASSPATH=CLASSPATH:/usr/hive/hive−2.1.0/libexportHADOOPCONFDIR=/usr/hadoop/hadoop−2.7.2/etc/hadoopexportHIVECONFDIR=/usr/hive/hive−2.1.0/confexportSPARKCLASSPATH=SPARK_CLASSPATH:/usr/hive/hive-2.1.0/lib/mysql-connector-java-5.1.38-bin.jar
二、cp spark-env.sh.template spark-env.sh，编辑spark-env.sh文件添加如下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_102
export CLASSPATH=CLASSPATH:/usr/hive/hive−2.1.0/libexportHADOOPCONFDIR=/usr/hadoop/hadoop−2.7.2/etc/hadoopexportHIVECONFDIR=/usr/hive/hive−2.1.0/confexportSPARKCLASSPATH=SPARK_CLASSPATH:/usr/hive/hive-2.1.0/lib/mysql-connector-java-5.1.38-bin.jar
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- spark sql on hive配置及其使用
- sparksql读取hive数据源配置
- spark sql连接hive时找不到驱动
- Spark-sql与hive的结合环境配置
- 【Spark篇】---SparkSQL on Hive的配置和使用
- spark基础之Spark SQL和Hive的集成以及ThriftServer配置
- 大数据IMF传奇行动绝密课程第57课：Spark SQL on Hive配置及实战
- SparkSQL on Hive配置与实战
- SparkSQL ThriftServer配置及连接测试
- Spark 连接Hive的Cloudera相关配置
- Spark-sql 连接hive中遇到的问题
- Spark-SQL连接Hive
- 分布式sparkSQL引擎应用：从远程通过thriftServer连接spark集群处理hive中的数据
- Spark SQL on Hive配置
- 第57课：Spark SQL on Hive配置及实战
- hive 远端配置及 Oracle sql developer 连接hive
- SQL2005 SQL2008 远程连接配置方法 -erro26
- Spring配置的MS SQLSERVER 2008 JDBC连接
- PL/SQL客户端连接虚拟机（linux）下的oracle服务器配置
- 在与 SQL Server 建立连接时出现与网络相关的或特定于实例的错误。未找到或无法访问服务器。请验证实例名称是否正确并且 SQL Server 已配置为允许远程连接。 (provider: 命名管道提供程序, error: 40 - 无法打开到 SQL