元数据质量梳理

任一特定领域开发，如果没有梳理好元数据，则随着一个个项目，会出现各种非标准的表达，最后导致开发成本越来越高，越容易出错，并且本身数据模型的沉淀也是一种技术资产。原来老东家有专门的元数据平台，可惜没有和开发过程联动导致实施效果很差，后面原来所在小部门的技术leader创建了辅助开发工具，实现一部分的元数据管理和联动，但是由于维护成本有点高，各产品线也没有完全投入。

从理性角度看 ， 设计 ---》元数据定义---》积累 ----》联动辅助开发---》测试---》总结梳理再次落地元数据 ---》设计 ...是一个良性的循环。从实施步骤看，一般也会先从数据模型这一层开始梳理，然后后应用层等，涉及的思路基本是词频统计，语法分析等（后面可以通过antlr进行语法或者元数据分析检查 纠正不合理设计）

一、数据模型层

1） 根据使用频度等特点，确定技术层面基础数据类型，包括日期、序列号等；业务数据，包括业务类型，金额，价格，等；

2） 基于上述数据类型，确定基本常用的元数据定义，包括number，varchar，date等常用的定义

3） 确认基本的元数据选型和基本数据类型
4） 定义扩展和匹配方式（使用范围 和 归类范围）

下面记录了一开始从获取数据库相关模型数据的基本语句

oracle

---获取表和字段集合，后面进行统计分析词频

select a.table_name, c.comments,a.column_name,b.comments data_type,data_length,data_precision,data_scale

from user_tab_columns a,user_col_comments b, user_tab_comments c

where a.table_name = b.table_name

and a.column_name = b.column_name

and a.table_name = c.table_name

mysql

--获取表和字段信息

SELECT table_name ,table_comment,table_rows,data_length,create_time FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA= 'exchangerate' order by CREATE_time