杂乱数据点滴笔记

DSS (全称Decision Support System)商业智能决策支持系统
OLTP (全称Online Transaction Processing )在线事务处理系统（主要特征单一、静态、小、当前时间、前端用户、不支持历史访问、不支持批量）
DWH (全称Data Warehouse )数据仓库，必须有能处理几百万条的能力（主要特征多个、动态、大、分析&决策）
ODS (全称Operational Data Store) 业务数据存储系统
CRM
客户关系关系
Kettle \InformaticaPowercenter\ SQL Server Information Services 数据挖掘软件
数据仓库是单一的、大量（历史性），可用来支持企业决策
数据集市可以由终端用户直接访问，以特定的数据分析为目的的。
前面部分称为作业（job），后面部分称为转换（transformation）
Staging area
数据缓存区
数据保存在ASCII文件中比插入数据库表更快.

BI需要敏捷方法
瀑布模型相关方法en.wikipedia.org/wiki/Structured_Analysis
敏捷 Scrum
原意为橄榄球比赛中的争球.
agilemanifesto.org
CI
持续集成
wiki.pentaho.com/display/AGILEBI/Welcome+to+Agile+Business+Intelligence
SAP系统里超过70000张表
Salesforce.com
现在最流行的在线CRM系统
数据格式最恶名昭著的是excel,最好的建议是不要接受excel格式提供的数据,除非你确认excel文件是系统自动生成的而且生成excel的机器和运行转换的机器属于同一个用户,当使用了不同国际化的设置,Excel的数据格式问题更是层出不穷.
CDC
增量数据捕获有两种最基本的分类:侵入式(intrusive)和非侵入式(nonintrusive)
只要对源系统执行了SQL语句,就是侵入式的.
建立全局的业务字典和元数据系统
ETL能通过3种方式处理大数据:并发\分区\集群