kettle学习笔记(三)——kettle资源库、运行方式与日志
一、kettle资源库
资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。
资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。
1.ketle资源库元数据
• 资源库
资源库包括文件资源库、数据库资源库
Kettle 4.0 以后资源库类型可以插件扩展
• XML 文件
.ktr 转换文件的XML的根节点必须是 <transformation>
. kjb 作业XML的根节点是<job>
2.kettle资源库类型
数据库资源库:
• 把 Kettle 的元数据串行化到数据库中,如 R_TRANSFORMATION 表保
存了Kettle 转换的名称、描述等属性。
• 在Spoon 里创建和升级数据库资源库
文件资源库:
在文件的基础上的封装,实现了 org.pentaho.di.repository.Repository 接口。
是Kettle 4.0 以后版本里增加的资源库类型
不使用资源库:
直接保存为ktr 或 kjb 文件。
3.资源库操作
新建资源库:
kettle7.0后新建方式略有不同,新建资源库在右上角->connect,
详细新建图文步骤,参考:https://blog.csdn.net/m0_37979608/article/details/77096201
使用默认的admin/admin即可登陆到资源库!
如果使用中文进行了资源库命名,将会出现资源库无法新建的问题。解决方案,参考:https://www.geek-share.com/detail/2714650195.html
导入/导出资源库:
导航栏->工具->导入/导出资源库,或者探索资源库进行指定目录的导出,导出为.xml文件即可!
资源库管理:
kettle新版管理也在右上角:
Error: 只记录错误信息 Nothing: 不记录任何信息,执行效率最高 Minimal: 记录最少的信息 Basic: 记录基本信息 Detailed: 记录详细信息 Debug: 记录调试信息 Rowlevel: 转换过程中的每一行都记录下来,日志最详 细,执行效率最低命令格式:
/参数名:值 或 -参数名=值
新建一个测试作业:
执行作业示例:
./kitchen /rep:r1 /user:admin /pass:admin /job:j1 /dir:/ /logfile:F:/log3.txt
// 更多示例,待补充
三、日志
1.文件日志位置
通过/logfile在命令行中运行Job时设置
linux中通过管道符进行输出重定向
默认的日志文件保存在 java.io.tmpdir 目录下,文件名类似spoon_xxx.log
图形化界面也有日志输出窗口
2.日志参数设置
Spoon中通过工具->选项进行部分日志输出窗口设置
kettle.properties中相关参数设置:
KETTLE_MAX_LOG_SIZE_IN_LINE 变量 KETTLE_MAX_LOG_TIMEOUT_IN_MINUTES变量
3.数据库日志
转换有4个日志表:
• 转换日志表 • 步骤日志表 • 性能日志表 • 日志通道日志表
作业日志表:
• 作业日志表 • 作业项日志表 • 日志通道日志表
转换的日志设置在:编辑->设置;选择日志(作业同理)
选择数据库连接->如果数据库中没有这个表,则可以点击下面的SQL,再通过执行进行新建
转换表配置如下:
其他日志表类似
监控表需要开启监控:
- Kettle配置自动发送邮件并在数据库中记录运行日志
- Kettle与Java集成——Java代码调取运行资源库的Transformation
- Kettle使用资源库日志信息配置
- Kettle与Java集成——Java代码调取运行资源库的Transformation
- kettle 运行方式
- kettle简介(整体架构,运行方式,使用方法)
- Kettle与Java集成——Java代码调取运行资源库的Transformation
- kettle简介(整体架构,运行方式,使用方法)
- 【Kettle从零开始】第十弹之Kettle运行日志介绍
- 你不知道的Kettle学习笔记4--Kettle运行方式
- SQLserver log日志过大不影响运行处理方式
- Windows Service开发日志四(用程序设置服务的运行状态及启动方式)
- linux下kettle网页版执行job方式(作业采用文件资源库存放)
- Kettle与Java集成――Java代码调取运行资源库的Transformation
- hive脚本运行查看错误日志方式
- Kettle4 Repository 操作示例 (登陆资源库,获取模型,运行)
- Kettle与Java集成——Java代码调取运行资源库的Transformation
- Faster rcnn 运行demo出现no import gnu_ms的解决方式
- Mariadb 分布式事务两阶段提交 binlog日志 查询日志 都记录了一些什么内容 以及恢复被丢失数据方式
- 外包 WCF 安全通讯的例子代码,WCF 电子证书,HTTPS方式运行的例子代码