1、影响ETL系统设计和开发的需求
2011-03-23 14:30
260 查看
1、 ETL设计的外部约束:业务需求、源数据系统、预算、处理窗、现有职员的技能状况
2、 影响ETL系统设计和开发的需求:
1) 业务需求:是DW/BI系统用户的信息需求,业务用户在进行业务决策的过程中所需的信息内容。
2) 合规性:说明数据的正确性是如何保证的。一般数据仓库中需要谨慎处理的需求包括,保存数据源和随后数据登台的存档副本;为改变任何数据结果的完整的事务处理流程提供证明;完整记录用于分配、调整和推到的算法;随着时间推移为数据副本的保密性提供证明,包括在线和离线两种。
3) 数据质量:高层最关注的问题之一,数据质量的巨大压力来自于业务用户,并非仅来自于IT本身。数据质量无法由ETL系统独立解决。
4) 安全性:安全性要求对数据进行限制,只有那些需要了解的用户才能访问数据;安全性必须扩展到物理备份中。应当邀请一位经验丰富的安全管理员加入到设计团队中。
5) 数据集成:最终目标是要使所有的系统无缝连接、协调工作。通常表现为数据仓库中的一致性维度和一致性事实。
6) 数据等待时间:源系统数据通过DW/BI系统提交给业务用户的时间。巧妙的处理算法、并行化处理和强有力的硬件支持可以加速处理传统的面向批处理的数据流;另一种更快的方式:流处理方式。
7) 存档和沿袭:建议在ETL管道的每个主要活动之后都进行数据的登台(将其写入磁盘)——当数据被抽取、清洗和一致化,以及提交的时候。所有的登台数据都应当进行存档,除非已经有明确的决策说明某种特定的数据集今后不需要再恢复了。存档时,每个登台/存档数据集都应当有相应的元数据描述其来源和产生该数据的处理步骤。
8) 用户提交界面:不负责任的将数据提交给BI应用程序会大大增加应用程序的复杂度,降低查询和创建报表的速度,并且使业务用户感到数据过于复杂。ETL团队和数据模型师需要和BI应用程序开发人员紧密合作,确定出数据提交的准确需求。
9) 可用的技能:有些ETL设计决策必须基于建立和管理系统时所能获得的人力资源来制定。
10) 遗留许可证
摘自《数据仓库生命周期工具箱(第二版)》
2、 影响ETL系统设计和开发的需求:
1) 业务需求:是DW/BI系统用户的信息需求,业务用户在进行业务决策的过程中所需的信息内容。
2) 合规性:说明数据的正确性是如何保证的。一般数据仓库中需要谨慎处理的需求包括,保存数据源和随后数据登台的存档副本;为改变任何数据结果的完整的事务处理流程提供证明;完整记录用于分配、调整和推到的算法;随着时间推移为数据副本的保密性提供证明,包括在线和离线两种。
3) 数据质量:高层最关注的问题之一,数据质量的巨大压力来自于业务用户,并非仅来自于IT本身。数据质量无法由ETL系统独立解决。
4) 安全性:安全性要求对数据进行限制,只有那些需要了解的用户才能访问数据;安全性必须扩展到物理备份中。应当邀请一位经验丰富的安全管理员加入到设计团队中。
5) 数据集成:最终目标是要使所有的系统无缝连接、协调工作。通常表现为数据仓库中的一致性维度和一致性事实。
6) 数据等待时间:源系统数据通过DW/BI系统提交给业务用户的时间。巧妙的处理算法、并行化处理和强有力的硬件支持可以加速处理传统的面向批处理的数据流;另一种更快的方式:流处理方式。
7) 存档和沿袭:建议在ETL管道的每个主要活动之后都进行数据的登台(将其写入磁盘)——当数据被抽取、清洗和一致化,以及提交的时候。所有的登台数据都应当进行存档,除非已经有明确的决策说明某种特定的数据集今后不需要再恢复了。存档时,每个登台/存档数据集都应当有相应的元数据描述其来源和产生该数据的处理步骤。
8) 用户提交界面:不负责任的将数据提交给BI应用程序会大大增加应用程序的复杂度,降低查询和创建报表的速度,并且使业务用户感到数据过于复杂。ETL团队和数据模型师需要和BI应用程序开发人员紧密合作,确定出数据提交的准确需求。
9) 可用的技能:有些ETL设计决策必须基于建立和管理系统时所能获得的人力资源来制定。
10) 遗留许可证
摘自《数据仓库生命周期工具箱(第二版)》
相关文章推荐
- PSP个人软件开发系统面向对象需求分析与设计文档
- JavaWeb项目开发案例精粹-第6章报价管理系统-001需求分析及设计
- 设计和开发ETL系统(一)——ETL过程综述
- 系统需求分析与OOP——系统设计开发总结(初稿)
- 设计和开发ETL系统(二)——启动
- Python:实用抓图工具开发介绍(含需求分析、设计、编码、单元测试、打包、系统测试、发布各环节)
- Python:实用抓图工具开发介绍(含需求分析、设计、编码、单元测试、打包、系统测试、发布各环节)
- 系统设计与架构笔记:ETL工具开发和设计的建议
- 20145304 20145315 《信息安全系统设计基础》 实验一 开发环境的熟悉
- SSH物流开发系统设计:权限认证实现
- 团队作业3——需求改进&系统设计
- Window XP驱动开发(十一) USB2.0 芯片CY7C68013A+FPGA实现的高速传输系统设计(软件及硬件)
- java web图书商城系统的需求分析及详细设计与代码实现
- 配送平台软件开发|配送管理系统开发功能设计
- SoC嵌入式软件架构设计之一:系统内存需求评估
- 项目、系统开发中的需求分析说明书和需求规格说明书的区别
- 关于快速开发和设计应用系统的一些个人的意见
- Thinkphp5 开发 OA 办公系统 - 原型设计
- TinyReplaySystem回放系统设计和开发
- 系统架构设计之三:系统开发基础知识