ElasticSearch数据导入Hive
2016-05-06 14:17
337 查看
从ES往hive中导入数据其实有很多方式,最基本的方法就是用es-java-api获取数据然后导入到hdfs中,就完了。但这种方式太过复杂,且通用性不高。
下面介绍一种方便的导入方式:
需要用到ES-hadoop插件:
第一次需要安装插件:
下载地址:https://github.com/elasticsearch/elasticsearch-hadoop#readme
add上面的jar包到hive
hive –e “add jarelasticsearch-hadoop-2.1.1.jar;”
(其实前面有写从hive索引数据入ES,其实方式是一样。)
假如在ES中有如下索引,mapping如下:
则在hive中建立一个映射外表:
执行语句
注意事项:
1.es中的字段名称都要是小写,因为在建立hive映射表时,输入的大写字段名会转化成小写;导致字段会以小写的方式去es查找字段名;
2.不要直接使用这个映射外表,应定时从此表中把数据导入正式hive外表;
3.此映射外表没有建分区,当然也用不着,只需对表进行条件判断即可导出你想要的数据,这样更加方便;
下面介绍一种方便的导入方式:
需要用到ES-hadoop插件:
第一次需要安装插件:
下载地址:https://github.com/elasticsearch/elasticsearch-hadoop#readme
add上面的jar包到hive
hive –e “add jarelasticsearch-hadoop-2.1.1.jar;”
(其实前面有写从hive索引数据入ES,其实方式是一样。)
假如在ES中有如下索引,mapping如下:
"mappings": { "keyword": { "properties": { "cnt": { "type": "double" }, "key": { "type": "string" } } } } |
CREATE EXTERNAL TABLE default.test001 ( cnt DOUBLE, key STRING ) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'wordcloud_keyword_ots/keyword','es.nodes'='10.130.2.46','es.port'='9200','es.field.read.empty.as.null'='false'); |
Select cnt,key from default.test001 limit 10 |
1.es中的字段名称都要是小写,因为在建立hive映射表时,输入的大写字段名会转化成小写;导致字段会以小写的方式去es查找字段名;
2.不要直接使用这个映射外表,应定时从此表中把数据导入正式hive外表;
3.此映射外表没有建分区,当然也用不着,只需对表进行条件判断即可导出你想要的数据,这样更加方便;
相关文章推荐
- Android货币单位获取方法
- HTML5要点
- Java高效读取大文件
- Androidstudio Git (对已有项目提交和从远程获取项目到本地)
- 当接口被调用时使用Spring拦截器注入运行时数据
- /usr/bin/ld: cannot find -lmysqlclient
- ReactNative.createElement is deprecated. Use React.createElement from the "react" package instead.
- iOS 中的可遍数组NSMutableArray
- appcompat_v7\res\values-v21\themes_base.xml:158: error: Error: No resource
- bitset 来计算位
- Spring3 + Spring MVC+ Mybatis 3+Mysql 项目整合(注解及源码)
- telosb中的Oscilloscope解析-串口通信
- 第十一周时间项目3.2-警察和厨师(升级版)
- vc++基于颜色直方图的图像检索,含代码
- 安装logstash
- Java中ResourceBundle类的使用
- VMware Workstation 12安装windows server 2003
- Python中的正则表达式(re)
- php获取域名方法
- 【他山之石】大数据时代里,运维工程师的自我修养