hive数据导入
2010-02-09 12:37
288 查看
由于很多数据在hadoop平台,当从hadoop平台的数据迁移到hive目录下时,由于hive默认的分隔符是/u0001,为了平滑迁移,需要在创建表格时指定数据的分割符号,语法如下:
create table test(uid string,name string)row format delimited fields terminated by '/t';
通过这种方式,完成分隔符的指定。
然后通过hadoop fs -cp或者hadoop distcp 进行文件夹复制。
由于数据复制的成本比较高,时间比较慢,当不需要复制数据的时候,可以直接采取移动的方式将hadoop数据转移到hive,hadoop fs -mv src dest。
一个比较简单的方法是直接创建 external table,语法如下:
create table test(uid string,name string)row format delimited fields terminated by '/t' location 'hdfs';
通过这种方式,避免数据的移动带来时间损耗,提高运行的效率。
create table test(uid string,name string)row format delimited fields terminated by '/t';
通过这种方式,完成分隔符的指定。
然后通过hadoop fs -cp或者hadoop distcp 进行文件夹复制。
由于数据复制的成本比较高,时间比较慢,当不需要复制数据的时候,可以直接采取移动的方式将hadoop数据转移到hive,hadoop fs -mv src dest。
一个比较简单的方法是直接创建 external table,语法如下:
create table test(uid string,name string)row format delimited fields terminated by '/t' location 'hdfs';
通过这种方式,避免数据的移动带来时间损耗,提高运行的效率。
相关文章推荐
- hive数据导入
- Hive总结(七)Hive四种数据导入方式
- Hive学习笔记 --- hive中导入数据文件的四种方式
- Hive四种数据导入方式介绍
- Hive数据导入——数据存储在Hadoop分布式文件系统中,往Hive表里面导入数据只是简单的将数据移动到表所在的目录中!
- csv文件数据导入到hive操作说明
- 教程 | 使用Sqoop从MySQL导入数据到Hive和HBase
- mongo数据导入到hive里面
- hive 各种表及数据导入
- Hive 导入导出数据
- scoop导入数据从mysql到hive
- sqoop把hive数据导入到DB2
- sqoop把hive数据导入到DB2
- Hive 数据导入HBase的2种方法详解
- hive数据从文本导入
- Hive几种数据导入方式
- 搭建HIVE数据仓库导入带有中文的HQL及查看表数据时遇到的乱码问题
- JDBC实现从Hive抽取数据导入Oracle
- sqoop向hdfs,hive,hbase导入数据