Hive 处理CSV格式文件数据
2014-12-28 15:57
871 查看
一般情况下对于CSV格式文件数据,有多种第三方SerDer来处理。本文采用CSVSerDe:
一、添加第三方SerDe
首先在Hive classpath中添加第三方SerDe JAR包,命令如下:
可以从该链接下载:csv-serde-1.1.2.jar,以某CSV文件为例介绍处理过程
二、某CSV日志文件格式如下:
三、创建Hive表
五、查看Hive中导入的CSV数据
参考:http://ogrodnek.github.io/csv-serde/
一、添加第三方SerDe
首先在Hive classpath中添加第三方SerDe JAR包,命令如下:
hive> add jar /home/hadoopUser/cloud/hive/apache-hive-0.13.1-bin/lib/csv-serde-1.1.2.jar; Added /home/hadoopUser/cloud/hive/apache-hive-0.13.1-bin/lib/csv-serde-1.1.2.jar to class path Added resource: /home/hadoopUser/cloud/hive/apache-hive-0.13.1-bin/lib/csv-serde-1.1.2.jar
可以从该链接下载:csv-serde-1.1.2.jar,以某CSV文件为例介绍处理过程
二、某CSV日志文件格式如下:
1997,Ford,E350,"ac, abs, moon",3000.00 1999,Chevy,"Venture ""Extended Edition""","",4900.00 1999,Chevy,"Venture ""Extended Edition, Very Large""","",5000.00 1996,Jeep,Grand Cherokee,"MUST SELL!air, moon roof, loaded",4799.00以逗号分隔,分别表示:年,制造商,型号,说明,价值
三、创建Hive表
hive> CREATE TABLE serde_csv(year STRING,company STRING,type STRING,description STRING,value STRING) > ROW FORMAT SERDE 'com.bizo.hive.serde.csv.CSVSerde' > STORED AS TEXTFILE ; OK Time taken: 0.072 seconds四、导入数据
hive> LOAD DATA LOCAL INPATH "/home/hadoopUser/data/csv_serde.txt" INTO TABLE serde_csv; Copying data from file:/home/hadoopUser/data/csv_serde.txt Copying file: file:/home/hadoopUser/data/csv_serde.txt Loading data to table hive.serde_csv Table hive.serde_csv stats: [numFiles=1, numRows=0, totalSize=259, rawDataSize=0] OK Time taken: 0.389 seconds
五、查看Hive中导入的CSV数据
hive> select * from serde_csv; OK 1997 Ford E350 ac, abs, moon 3000.00 1999 Chevy Venture "Extended Edition" 4900.00 1999 Chevy Venture "Extended Edition, Very Large" 5000.00 1996 Jeep Grand Cherokee MUST SELL!air, moon roof, loaded 4799.00
参考:http://ogrodnek.github.io/csv-serde/
相关文章推荐
- Python数据处理-将数据保存为txt、csv等文件格式方法
- python处理CSV文件格式数据
- sql读取csv和xls格式的文件,数据源
- txt或者csv数据文件的格式是有要求的,如下shell代码中说明。
- Discuz! 中导出数据为 CSV 格式文件需要注意的事项
- 用Excel打开csv文件时,如何处理数字内容展现会自动转换格式的问题
- Trac - 常见问题 - 导出的csv格式文件在Excel中处理unix时间戳
- Android将SQLite数据表导出到csv格式文件
- 用Excel打开csv文件时,如何处理数字内容展现会自动转换格式的问题
- 【转】warning C4819,该文件保存为 Unicode 格式以防止数据丢失,处理方法
- Android将SQLite数据表导出到csv格式文件 .
- 页面数据导出CSV格式文件
- 批处理、shell 中分析提取多行数据(csv格式)方法
- bcp怎么导出一个表数据为带列名的csv格式文件
- matlab如何导入csv文件及matlab支持的数据格式,相应函数
- Android将SQLite数据表导出到csv格式文件
- MySQL如何导入csv格式数据文件解决方案
- hive数据类型和文件格式
- Jquery调用从ashx文件返回的jsonp格式的数据处理实例
- MySQL如何导入csv格式数据文件解决方案