Hadoop数据传输工具sqoop

概述

sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。

sqoop架构：



sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供并发特性和容错。

sqoop的进一步发展可以参考：A New Generation of Data Transfer Tools for Hadoop: Sqoop 2

sqoop主要通过JDBC和关系数据库进行交互。理论上支持JDBC的database都可以使用sqoop和hdfs进行数据交互。

但是，只有一小部分经过sqoop官方测试，如下：

Database version
--direct support connect string matches

HSQLDB 1.8.0+
No jdbc:hsqldb:*//

MySQL 5.0+
Yes jdbc:mysql://

Oracle 10.2.0+
No jdbc:oracle:*//

PostgreSQL 8.3+
Yes (import only)jdbc:postgresql://

较老的版本有可能也被支持，但未经过测试。

出于性能考虑，sqoop提供不同于JDBC的快速存取数据的机制，可以通过--direct使用。

以下基于sqoop-1.4.3

安装

sqoop安装使用可以参考http://www.54chen.com/java-ee/sqoop-mysql-to-hive.html，测试work

工具

sqoop包含一系列的工具，运行sqoop help可以查看相关帮助，

$ ./sqoop help

usage: sqoop COMMAND [ARGS]

Available commands:

codegen Generate code to interact with database records

create-hive-table Import a table definition into Hive

eval Evaluate a SQL statement and display the results

export Export an HDFS directory to a database table

help List available commands

import Import a table from a database to HDFS

import-all-tables Import tables from a database to HDFS

job Work with saved jobs

list-databases List available databases on a server

list-tables List available tables in a database

merge Merge results of incremental imports

metastore Run a standalone Sqoop metastore

version Display version information

See 'sqoop help COMMAND' for information on a specific command.

使用工具list-tables查看表，如下：

$ ./sqoop list-tables --connect jdbc:mysql://127.0.0.1/test --username root --password 123456

a

t1

可以使用codegen生成代码，但不执行map-reduce，如下：

$ ./sqoop codegen --connect jdbc:mysql://127.0.0.1/test --username root --password 123456 --table a --

class-name zxm_sqoop

......

13/03/21 21:02:01 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-work/compile/29864e3980ab5630b699e8e1e2145369/zxm_sqoop.jar

此处相关代码和java包可在 /tmp/sqoop-work/compile/29864e3980ab5630b699e8e1e2145369/找到

Import

sqoop 数据导入具有以下特点：

1.支持文本文件(--as-textfile)、avro(--as-avrodatafile)、SequenceFiles(--as-sequencefile)。 RCFILE暂未支持，默认为文本

2.支持数据追加，通过--apend指定

3.支持table列选取（--column），支持数据选取（--where），和--table一起使用

4.支持数据选取，例如读入多表join后的数据'SELECT a.*, b.* FROM a JOIN b on (a.id == b.id) ‘，不可以和--table同时使用

5.支持map数定制(-m)

6.支持压缩(--compress)

7.支持将关系数据库中的数据导入到Hive(--hive-import)、HBase(--hbase-table)

数据导入Hive分三步：1）导入数据到HDFS 2）Hive建表 3）使用“LOAD DATA INPAHT”将数据LOAD到表中

数据导入HBase分二部：1）导入数据到HDFS 2）调用HBase put操作逐行将数据写入表

*

示例：

mysql文件内容：

mysql> select * from a;

+------+--------+

| key1 | value1 |

+------+--------+

| 1 | a1 |

| 2 | a2 |

| 3 | a3 |

| 4 | a4 |

| 5 | a5 |

| 6 | a6 |

| 7 | a7 |

| 8 | a8 |

| 9 | a9 |

+------+--------+

编写文件a.conf，内容：

[html]
view plaincopyprint?

import --append -m 3 --connect jdbc:mysql://127.0.0.1/test --username root --password 123456 --table a --target-dir /tmp/a --columns key1 --where 'key1>3'

import

--append

-m
3

--connect
jdbc:mysql://127.0.0.1/test

--username
root

--password
123456

--table
a

--target-dir
/tmp/a

--columns
key1

--where
'key1>3'

运行：

$ ./sqoop --options-file a.conf

查看输出：

$ hadoop fs -ls /tmp/a/

Found 3 items

-rw-r--r-- 1 work supergroup 4 2013-03-21 23:08 /tmp/a/part-m-00000

-rw-r--r-- 1 work supergroup 4 2013-03-21 23:08 /tmp/a/part-m-00001

-rw-r--r-- 1 work supergroup 4 2013-03-21 23:08 /tmp/a/part-m-00002

==》3个文件对应3个mapper

$ hadoop fs -cat /tmp/a/*

4

5

6

7

8

9

Export

sqoop export 能将HDFS上的文件导出到关系数据库。其工作原理是根据用户指定的分隔符(字段分隔符：--fields-terminated-by)读入并解析数据，然后转换成insert/update语句导入数据到关系数据库。
其具有以下特点：

1. 支持将数据导出到表(--table)或者调用存储过程(--call)
2. 支持insert、update模式

3. 支持并发控制（-m）

实例：

$ hadoop fs -cat /tmp/b/*

1,a

2,b

3,c

$ ./sqoop export --connect jdbc:mysql://127.0.0.1/test --table b -username root -password 123456 --ex

port-dir /tmp/b

mysql> select * from b;

+------+--------+

| key1 | value1 |

+------+--------+

| 1 | a |

| 2 | b |

| 3 | c |

+------+--------+

出了上述提到的工具外，sqoop还提供了一些有意思的工具，例如sqoop job，有兴趣的同学可以研究下

其它：

1. 通过使用map-reduce，sqoop提供了良好的并发性和容错，可以作为异构数据库同步工具。

2. Sqoop虽然支持Hive、HBase，但并不完整，某些场景下数据传输后的加工不可避免

3. 大数据传输，也许可以使用--direct

reference：

Apache sqoop

Sqoop User Guide

Apache Sqoop: A Data Transfer Tool for Hadoop

A New Generation of Data Transfer Tools for Hadoop: Sqoop 2

Sqoop使用

大数据异构环境数据同步工具DataX 与Sqoop 之比较