kettle案例二抽取mysql数据保存到mongodb

我们在案例一中完成了

kettle案例一抽取gz格式文本内容保存到mongodb

本次尝试从mysql中抽取数据。详细步骤如下:

启动并建立流程

经过案例一的学习，基本使用kettle转换的流程我们已经清楚了，区别只是在于使用的组件不同而已。

我们第一步还是需要先店家Spoon.bat启动kettle。

建立转换流程如下:

表输入—> MongoDB OutPut

配置表输入

配置数据库连接

左键双击表输入配置表输入。

点击新建弹出配置界面。

任意起一个连接名称

主机名称填写mysql的ip

数据库名填写将要连接的数据库名称

端口填写mysql的端口

填写用户名密码

点击测试看看是否能够正确连接。

如果能够正确连接则点击确认。

查询出输入数据

如果对sql熟悉可以直接编辑sql语句，不熟悉的同学可以获取sql查询语句进行可视化的操作，选择表格后点击确定即可。



生成sql语句后，可以预览或者直接确定。

配置MongoDB数据库输出

左键双击MongoDB Output

在configure connection中配置Host和Port

我这里配置的是 内网中的数据库和端口



在Output options中配置Database和Collection，如果每次都清空表的话 选择 Truncate collection。增量更新则不能选择 Truncate collection。



在Mongo document fields中点击Get fields，获取到字段。

启动转换和结果校验

点击界面上的播放按钮即可启动转换。

默认参数点击启动。



如果转换脚本没保存会弹出选择路径框我们先保存，输入任意脚本名称点击保存即可。



启动起来后可以在执行结果的地方看到执行情况

这时候去数据库中查看，已经自动新建了gene库和chip集合，里面不断新增的就是我们抽取的数据



抽取成功。