Hive表的数据载入方式
2016-04-02 22:41
316 查看
Hive是基于Hadoop分布式文件系统的数据仓库工具,Hive利用了Hadoop的高可扩展性特点,实现大数据量的数据存储和数据分析。由于Hive是一个数据仓库工具,因此不提供行级别的增、删、改的操作。也就意味着要向Hive的表中写入数据必须是通过大量的数据写入方式。Hive提供了一些方式可以让我们把数据写入到Hive表中。
1、载入本地数据:
如果使用overwrite关键字,Hive会把employees表中原来的数据删除掉(外部表除外),再新增数据,overwrite是可选的。
那么如果没有overwrite关键字,写入的文件如果已经存在了,那么怎么样呢?Hive会重命名新传入的文件,如下所示:
其实就是把local参数去掉,其他与载入本地数据是一样的。
主要的代码如下:
Hive数据存储简介:
Hive数据库及数据库对象,都是以文件夹(命名空间)的形式存在于HDFS上的,而实际的表数据则是以文件的形式存在于表(或分区)目录下的。数据库及数据库对象与数据文件的映射关系(元数据),则存储在一个关系型数据库中,默认是Derby数据库,推荐使用MySql存储。也就是说,要向Hive数据库的表写数据,其实就是对HDFS上文件的数据写入。下面大概介绍一下向Hive表中写数据的方式。通过Hive命令行工具(CLI)载入数据
通过Hive的CLI,可能通过命令,将本地文件系统中的文件或者HDFS中已经存在的文件,载入到Hive表中(其实就是让数据和Hive产生关系)。1、载入本地数据:
<pre name="code" class="sql">load data local inpath '${env:HOME}/t_person.txt' overwrite into table t_person;
如果使用overwrite关键字,Hive会把employees表中原来的数据删除掉(外部表除外),再新增数据,overwrite是可选的。
那么如果没有overwrite关键字,写入的文件如果已经存在了,那么怎么样呢?Hive会重命名新传入的文件,如下所示:
/user/hive/warehouse/t_person/t_person.txt /user/hive/warehouse/t_person/t_person2.txt /user/hive/warehouse/t_person/t_person2_copy_1.txt2、载入HDFS上的数据:
其实就是把local参数去掉,其他与载入本地数据是一样的。
load data inpath '${env:HOME}/t_person.txt' overwrite into table t_person;3、通过select into 的方式载入数据:
hive> insert into table t_person > select * from t_person_temp where id=7;用select into 的方式有点奇怪,执行完上面的语句,在表的目录下会多出2个文件,主要是因为,调用了MR进行数据的写入,MR的output最少是2个文件。如下所示:
/user/hive/warehouse/t_person/000000_0 /user/hive/warehouse/t_person/t_person.txt /user/hive/warehouse/t_person/t_person2.txt
通过Hadoop命令行载入数据
通过Hadoop提供的命令,可以把本地文本或者HDFS上的文件写入到对应的目录,只要把文件把照Hive表的定义模式规则,放到对应的HDFS目录,那么Hive就可以知道如何去处理它。**@Standalone14:~$ hdfs dfs -put 'Documents/hive/test1/test2/t_person4.txt' '/user/hive/warehouse/t_person'上传文件后,如下所示:
/user/hive/warehouse/t_person/000000_0 /user/hive/warehouse/t_person/t_person.txt /user/hive/warehouse/t_person/t_person2.txt接下来,查询一下表,就可以看到写入的新数据了。
/user/hive/warehouse/t_person/t_person4.txt
通过Hadoop提供的API追加数据
hadoop2.x之后的版本,支持对HDFS上的文件内容进行追加,可以追加文件有时候也比较方便,因为过多的小文件会占用大量的NameNode内存,所以对同类的数据,要么合并小文件,要么追加数据。Hadoop提供了一个API可以实现内容的追加。主要的代码如下:
<span style="white-space:pre"> </span>/** * 追加文件 * @param src 本地文件路径 * @param dst HDFS文件路径 * @throws IllegalArgumentException * @throws IOException */ public void append(String src,String dst) throws IllegalArgumentException, IOException{ conf.setBoolean("dfs.support.append", true); InputStream in = new BufferedInputStream(new FileInputStream(src)); OutputStream out = fs.append(new Path(dst)); IOUtils.copyBytes(in, out, 4096,true); out.close(); System.out.println("文件追加成功!"); }
相关文章推荐
- Futurice公司Android开发者总结的经验教训
- 商人小鑫
- 嵌入式
- Struts的Action中获取Request和response对象
- 来自自身的信息——“灵魂暗夜”
- OpenNLP进行中文命名实体识别(上:预处理及训练模型)
- 2016腾讯实现生招聘在线笔试总结(移动开发)
- JS实现全选、不选、反选
- 设计模式
- 基于py3和pymysql查询某时间段的数据
- leetcode_010 Regular Expression Matching
- 腾讯笔试+查漏补缺
- BC#78Div.2 1001
- iOS——图片的两种加载方式
- SpringMVC返回json数据的三种方式
- 三、安卓UI学习(1)
- Oozie 报错的解决方法
- 1014. 福尔摩斯的约会 分析
- Base64编码
- angularJs directives