Informatica bulk和normal模式
2015-12-02 15:25
183 查看
转载:http://bestxiaok.iteye.com/blog/1107612
Bulk 方式进行目标数据的Load,是Informatica提供的一种高性能的Load数据方式。它利用数据库底层机制,依靠调用数据库本身提供的Utility来进行数据的加载。
使用Bulk方式 Load时,Informatica调用Utility进行Load,此方式将绕过数据库的 log记录,以此来提高数据库Load性能,因此Bulk方式也就不可能进行Rollback操作,也不可能使用数据库作Recover操作。所以当进行这个属性设置时,需用平衡一下性能提升与系统数据恢复的重要性。
从 Bulk的实现方式上我们即可以知道,Bulk方式主要是进行大数据量Insert的操作时选用,换句话说就是不做Update。当设置了这个选项后,Informatica Sever实际是调用了数据库的Bulk Utility 并忽略log进行加载的。所以在这儿对Bulk方式也可进行调优设置,这就是我们需要调整的“事务提交数”了。Commit Interval的默认值是10000。所以可以调大这个值,以减少事务数(Bulk Load Transaction),提升性能。需要说明的是这个调整只对Oracle和SQL Sever有用。DB2 和Sybase不受这个值影响,只与Write Block的大小有关系,一旦写满即进行提交。
因为Bulk方式只能用来做Insert操作。而大家知道我们如果需要Update操作,在Session的Treat source rows as的设置上需要设置成Data Driven,当我们同时选择了两种设置,会有什么结果呢。如果你同时设置了Data Driven和Bulk模式 PowerCenter Sever将自动切换采用Normal 方式进行Load。
默认Bulk到Normal设置. Workflow Manager Tools Options Miscellaneous Target Load Type
Bulk 方式进行目标数据的Load,是Informatica提供的一种高性能的Load数据方式。它利用数据库底层机制,依靠调用数据库本身提供的Utility来进行数据的加载。
使用Bulk方式 Load时,Informatica调用Utility进行Load,此方式将绕过数据库的 log记录,以此来提高数据库Load性能,因此Bulk方式也就不可能进行Rollback操作,也不可能使用数据库作Recover操作。所以当进行这个属性设置时,需用平衡一下性能提升与系统数据恢复的重要性。
从 Bulk的实现方式上我们即可以知道,Bulk方式主要是进行大数据量Insert的操作时选用,换句话说就是不做Update。当设置了这个选项后,Informatica Sever实际是调用了数据库的Bulk Utility 并忽略log进行加载的。所以在这儿对Bulk方式也可进行调优设置,这就是我们需要调整的“事务提交数”了。Commit Interval的默认值是10000。所以可以调大这个值,以减少事务数(Bulk Load Transaction),提升性能。需要说明的是这个调整只对Oracle和SQL Sever有用。DB2 和Sybase不受这个值影响,只与Write Block的大小有关系,一旦写满即进行提交。
因为Bulk方式只能用来做Insert操作。而大家知道我们如果需要Update操作,在Session的Treat source rows as的设置上需要设置成Data Driven,当我们同时选择了两种设置,会有什么结果呢。如果你同时设置了Data Driven和Bulk模式 PowerCenter Sever将自动切换采用Normal 方式进行Load。
默认Bulk到Normal设置. Workflow Manager Tools Options Miscellaneous Target Load Type
相关文章推荐
- 策略模式+简单工厂模式
- Prism学习笔记-模块之间通信的几种方式
- ps命令
- Ecshop提示Only variables should be passed by reference in错误
- iOS 游戏渠道SDK 抽象工程封装(下)
- Openstack进阶——环境
- /etc/sysctl.conf参数解释
- Android Manifest标签之manifest,meta 4000 -data,path-permission,permission
- slam数据集整合
- js 激活/代码执行阶段 执行顺序!
- Informatica - MD5
- Atom 炫酷插件安装方法
- Mahout安装与配置
- poj1273--Drainage Ditches(最大流Edmond-Karp算法 邻接表实现)
- 控制台不打印日志异常
- LeetCode() Min Stack 不知道哪里不对,留待。
- 调用 java GC
- nginx 虚拟主机+负载均衡
- rsync无密码传输文件
- Codenames, Tags, and Build Numbers