elasticsearch + hive环境搭建
2016-07-20 10:18
489 查看
一、环境介绍:
elasticsearch:2.3.1hive:0.12
二、环境搭建
2.1 首先获取elasticsearc-hadoop的jar包链接地址:http://jcenter.bintray.com/org/elasticsearch/elasticsearch-hadoop/2.3.1/elasticsearch-hadoop-2.3.1.jar,下载即可。需要说明的是你的elasticsearch什么版本,那么elasticsearch-hadoop的jar包就什么版本,否则后果难料
2.2 hive集成elasticsearch
将elasticsearch-hadoop-2.3.1.jar拷贝到hive的默认lib目录即可。我的目录是:$HIVE_HOME/auxlib目录
启动hive,查看效果:
/home/q/java/default/bin/java -Xmx256m -Djava.net.preferIPv4Stack=true *** -hiveconf hive.aux.jars.path=file:///home/q/hive/hive-0.12.0-bin/auxlib/elasticsearch-hadoop-2.0.1.jar
只要包含了上面的红色部分说明集成成功
三、插入数据
3.1 建立数据表3.1.1 建立view表
CREATE EXTERNAL TABLE user (id INT, name STRING) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'radiott/artiststt','es.index.auto.create' = 'true','es.nodes' = 'elastisticsearch.*.qunar.com','es.port' = '9222');
有几个参数,es.nodes是配置的es的url地址,默认是localhost。es.port是端口号码,默认是9200
3.1.2 建立数据表
CREATE TABLE user_source (id INT, name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
3.2 加载数据
3.2.1 加载基础数据
数据示例,我放在/tmp/user_source.log
1,medcl 2,lcdem 3,tom 4,jack
加载到user_source表,命令如下:LOAD DATA LOCAL INPATH '/tmp/user_source.log' OVERWRITE INTO TABLE user_source;
3.2.2 加载到es
INSERT OVERWRITE TABLE user SELECT s.id, s.name FROM user_source s;
查看效果:
四、参考文档:
http://blog.csdn.net/sunflower_cao/article/details/39896189https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html#_essential_settings
相关文章推荐
- erlang,elixir安装
- SharedPreference 缓存
- 多消费者与多生产者
- Codeforces Round #363 (Div. 2) D. Fix a Tree (并查集)
- java学习--构造函数
- linux查看硬件信息命令
- 存储过程的基本语法
- spring mybatis多数据源实例详解
- Codeforces Round #361 (Div. 2)
- KVO
- Java中移位操作运算符的理解
- Wayland (二) 代码结构 [FW]
- Codeforces Round #363 (Div. 1) B. Fix a Tree 树的拆环
- gitlab 安装报错:Could not find modernizr-2.6.2 in any of the sources
- Codeforces Round #363 (Div. 2) 题解报告
- linux工作常用命令
- c++11多线程之主线程与子线程数据传输与共享
- Android Volley框架使用(三)
- JavaScript学习笔记二十三:浏览器对象
- Maven项目导入后报错