Hadoop第十讲

Hadoop与关系数据库交换数据

文本转换方案(转换为CSV,文本等文件)
自写Java程序(用JDBC读关系数据库中的数据用Hadoop的API写入)
Sqoop(SQL-to-HDFS工具)
厂商提供的解决方案

Hadoop-0.20.2下使用Sqoop：



配置文件



Sqoop命令选项



从MySQL导入数据的例子
操作之前需要创建一个用户以方便Sqoop使用，有权限对数据库进行处理。



导入到Hbase的命令



从Oracle导入数据





Oracle Big Data Conectors
可以将Hadoop中的文件作为外部表，进行直接访问。
Oracle HDFS直接连接器(ODCH)实验



实验环境：具体步骤可以搜索相关官方资料



应用于Hbase的对接：通过Thrift
Thrift是一个跨语言的服务部署架构。Thrift通过一个中间语言(IDL，接口定义语言)来定义RPC的接口和数据类型，然后通过一个编译器生成不同语言的代码，并有生成的代码负责RPC协议层和传输层的实现。
具体的原理和使用可以参见博客：
1. http://dongxicheng.org/search-engine/thrift-framework-intro/
2. http://dongxicheng.org/search-engine/thrift-guide/