hive加载json格式文件的方法
2016-09-29 16:33
288 查看
前言
很多日志都采用json格式来记录日志,因此hive来读表时候,就需要能解析json格式.
一.下载所需jar包,并且准备测试文件
请到maven的官方仓库去搜索 hive-hcatalog-core ,然后找到自己的hive版本的jar下载下来.
这里假设我们下载下来,并且放到/opt/exlib/hive-hcatalog-core.jar
创建一个文件,放到hdfs任意目录用来测试(假设放在 hdfs下的/tmp/json1/jsontest.txt),文件内容如下:
{"a":"tom","b":22222}
{"a":"jack","b":33333}
二.创建表的语句
进入hive
首先执行:
add jar /opt/exlib/hive-hcatalog-core.jar;
然后就可以创建表了,语句如下:
然后就可以使用select * from my_table 可以查看到数据了.
三.解决每次进入hive或者spark-sql都要add jar的问题
虽然解决了问题,但是每次输入查询sql之前都要add一次jar,很麻烦.因此必须要解决这个问题,方法如下.
Spark-sql:
在/opt/spark/conf 中 加入如下配置:
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/exlib/hive-hcatalog-core-1.1.0-cdh5.5.0.jar
然后就可以直接在spark-sql中使用sql查询了.(如果你使用jdbc连接查询,请重启spark/sbin/start-triftserver.sh,否则新增的jar包读不到会报错)
Hive:
在hive-site.xml中加入如下配置
<property>
<name>hive.aux.jars.path</name>
<value>file:///opt/exlib/hive-hcatalog-core.jar</value>
</property>
这样就可以了 (未验证,因为直接使用spark-sql了)
很多日志都采用json格式来记录日志,因此hive来读表时候,就需要能解析json格式.
一.下载所需jar包,并且准备测试文件
请到maven的官方仓库去搜索 hive-hcatalog-core ,然后找到自己的hive版本的jar下载下来.
这里假设我们下载下来,并且放到/opt/exlib/hive-hcatalog-core.jar
创建一个文件,放到hdfs任意目录用来测试(假设放在 hdfs下的/tmp/json1/jsontest.txt),文件内容如下:
{"a":"tom","b":22222}
{"a":"jack","b":33333}
二.创建表的语句
进入hive
首先执行:
add jar /opt/exlib/hive-hcatalog-core.jar;
然后就可以创建表了,语句如下:
然后就可以使用select * from my_table 可以查看到数据了.
三.解决每次进入hive或者spark-sql都要add jar的问题
虽然解决了问题,但是每次输入查询sql之前都要add一次jar,很麻烦.因此必须要解决这个问题,方法如下.
Spark-sql:
在/opt/spark/conf 中 加入如下配置:
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/exlib/hive-hcatalog-core-1.1.0-cdh5.5.0.jar
然后就可以直接在spark-sql中使用sql查询了.(如果你使用jdbc连接查询,请重启spark/sbin/start-triftserver.sh,否则新增的jar包读不到会报错)
Hive:
在hive-site.xml中加入如下配置
<property>
<name>hive.aux.jars.path</name>
<value>file:///opt/exlib/hive-hcatalog-core.jar</value>
</property>
这样就可以了 (未验证,因为直接使用spark-sql了)
相关文章推荐
- .NET json格式 使用Newtonsoft.Json.JsonConvert类 附读取文件方法
- Java 读写json格式的文件方法详解
- 【jQuery】使用getJSON()方法异步加载JSON格式数据
- cocos2dx 加载cocostudio创建的exportjson文件 不同图片之间会有黑线问题解决方法
- Logstash处理json格式日志文件的三种方法
- IIS ASP.net使用 Newtonsoft.Json插件 未能加载文件或程序集“Newtonsoft.Json”或它的某一个依赖项解决方法。
- json学习六——>Java 读写json格式的文件方法详解
- Logstash处理json格式日志文件的三种方法
- 未能加载文件或程序集“Newtonsoft.Json, Version=4.5.0.0, Culture=neutral, PublicKeyToken=30ad4fe6b2a6aeed”或它的某一个依赖项 解决方法
- VS调试时JSON格式文件加载不了,含有cmd命令(可直接粘贴)
- Android存储与加载JSON格式的本地文件
- Properties的load方法加载的文件格式要求
- 未能加载文件或程序集“XXXXXXX”或它的某一个依赖项。试图加载格式不正确的程序的解决方法
- Android 以JSON格式存储和加载本地文件
- Java 读写json格式的文件方法详解
- 使用getJSON()方法异步加载JSON格式数据
- Logstash处理json格式日志文件的三种方法
- cocos2dx中.json和.plist以及.xml文件格式生成加载的不同
- 使用getJSON()方法异步加载JSON格式数据
- VS调试时JSON格式文件加载不了