hadoop hive学习之旅
2011-09-09 18:29
411 查看
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为
MapReduce任务进行运行。
其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库。
hive 的安装与启动
1.首先要确认已经安装好hadoop并且能够正常启动。
2.然后下载hive,我用的是hive-0.3.99.1+0(可以去hadoop官网上去下在)
3.hive的安装基本上不需要配置,直接用tar解压缩,只需要配置简单环境变量
export HIVE_HOME=/home/hadoop/hadoop-0.20.1+120/hive-0.3.99.1+0
export PATH=$HADOOP_HOME/hive-0.3.99.1+0/bin:$PATH
4.先启动hadoop,然后到HIVE_HOME/bin目录下执行hive命令就可以看到
Hive history file=/tmp/hadoop/hive_job_log_hadoop_201109101824_1625716611.txt
hive>
说明初步安装成功了。。。
5.下面就可以体验hive的强大的功能了
hive> create table user(id int,name string)
> row format delimited
> fields terminated by '\t';
OK
Time taken: 0.037 seconds
hive> load data local inpath '/home/hadoop/poke.txt' overwrite into table pokes;
Copying data from file:/home/hadoop/poke.txt
Loading data to table pokes
OK
Time taken: 0.142 seconds
hive> select *from pokes;
OK
12 qiu
123 wen
Time taken: 0.028 seconds
这里有一个问题:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.ExecDriver
这个好像就是建表的时候没有指定格式,然后导入数据的时候,数据格式不对产生的错误。我也是刚刚接触,说错了见谅。但是严格按照官方文档做应该没什么问题。
另外还有一个问题就是hive的web接口还没有配置完成,先到这吧,下回继续。。。
MapReduce任务进行运行。
其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库。
hive 的安装与启动
1.首先要确认已经安装好hadoop并且能够正常启动。
2.然后下载hive,我用的是hive-0.3.99.1+0(可以去hadoop官网上去下在)
3.hive的安装基本上不需要配置,直接用tar解压缩,只需要配置简单环境变量
export HIVE_HOME=/home/hadoop/hadoop-0.20.1+120/hive-0.3.99.1+0
export PATH=$HADOOP_HOME/hive-0.3.99.1+0/bin:$PATH
4.先启动hadoop,然后到HIVE_HOME/bin目录下执行hive命令就可以看到
Hive history file=/tmp/hadoop/hive_job_log_hadoop_201109101824_1625716611.txt
hive>
说明初步安装成功了。。。
5.下面就可以体验hive的强大的功能了
hive> create table user(id int,name string)
> row format delimited
> fields terminated by '\t';
OK
Time taken: 0.037 seconds
hive> load data local inpath '/home/hadoop/poke.txt' overwrite into table pokes;
Copying data from file:/home/hadoop/poke.txt
Loading data to table pokes
OK
Time taken: 0.142 seconds
hive> select *from pokes;
OK
12 qiu
123 wen
Time taken: 0.028 seconds
这里有一个问题:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.ExecDriver
这个好像就是建表的时候没有指定格式,然后导入数据的时候,数据格式不对产生的错误。我也是刚刚接触,说错了见谅。但是严格按照官方文档做应该没什么问题。
另外还有一个问题就是hive的web接口还没有配置完成,先到这吧,下回继续。。。
相关文章推荐
- 大数据学习20:Maven 理解 和 spark、hadoop、hive编译
- Hadoop学习笔记(10)-简述分布式数据仓库Hive原理
- Hive学习笔记 --- return code 1 from org.apache.hadoop.hive
- Hadoop学习笔记(7)-HIVE安装
- Hadoop及HIVE学习宝典收集
- hadoop学习工作总结(五)之从txt文件导数到hive
- Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储(来自学习资料)
- hadoop上安装hive2.3.2学习总结—hive安装+mysql以及碰到坑点
- (5)hadoop学习——hive是什么?
- Hadoop学习之Hive简介
- hadoop学习--基于Hive的Hadoop日志分析
- hadoop学习记录(四)hadoop2.6 hive配置
- Hadoop学习之HBase和Hive的区别
- Hadoop、Pig、Hive、Storm、NoSQL 学习资源收集
- hadoop学习笔记(八)——hadoop整合hive
- Hadoop、Pig、Hive、NOSQL 学习资源收集
- (6)hadoop学习——hive的文件存储和基本数据类型
- Hadoop之Hive学习
- hadoop学习--hive
- hadoop入门学习系列之四hadoop的hive安装和配置