DB:包括OA、HR、ERP等业务系统,该数据各自为战,自成一套标准,可能存储在不同数据库。
要求:提供数据清单,并说明数据内容及更新机制,尽可能配合做好数据模板与时间戳(方便抽取)
手工数据:一般是未规范到系统的Excel数据。
要求:统一数据模板,数据无公式,粘贴为数值,规定日期格式。
抽取:将各个应用系统,线下手工数据抽取到ODS存储;
1、可以配置不同数据源数据抽取(如Oracle、mysql、接口等);
2、可以支持Excel等手工数据导入;
3、可以控制抽取方式,定时、实时、增量及全量替换;
4、可以整理相关抽取日志,并形成BI报表;
5、配合各个系统及业务要求,对抽取数据进行检查,异常错误等数据可以返回,并邮件或企业微信通知到负责人员;
6、针对数据抽取、导入等,可以提前自动通知相关人员,超时数据自动预警;
7、可以方便的增加或修改抽取数据及配置,相关操作尽可能可视化;
ODS:存储原始数据,协助相应层级的分析应用,抽取主数据,配合检查数据质量,反馈异常数据源,清洗原始数据。
1、作为原始数据抽取存储地,可以为数据开发进行参考,避免错误;
2、为各个应用系统等相关部门提供BI支持;
3、结合主数据,对各原始数据进行深度清洗,并反馈清洗不成功数据,确保推送至数据仓库的数据标准统一;
DW:OLAP支持,为数据分析挖掘提供支持,所有数据标准统一,并结合主数据及业务形成各个维度的数据支持。
1、创建客户、人员、产品等画像;
2、结合业务进行数据集中分析应用;
3、提供数据决策支持,调配、预测相关资源环境;
4、为各应用系统提供数据支持;
5、提升企业数字化进程,规范统一制度流程;
DM:数据集市,为相关业务系统形成数据集,确保数据查询应用速度。
1、数据源由数据仓库支持,相当于数据仓库的子集;
2、为相关用户或系统,单独提供数据集,确保访问简单、快捷;
主数据:人员、客户、产品、指标等相关数据,以及与不同业务系统之间的对应关系,清洗参照标准。
1、主数据由相关人员自行维护,支持增删改查;
2、主数据符合业务逻辑,允许结构重构;
3、主数据严格、统一、逻辑性强,并有一套完整的自检程序;
BI:数据可视化,搭建业务报表,并搭建数据模型,详细阐述数据逻辑关系,提供决策支持。
1、数据抽取、主数据变更、数据清洗等各个流程可视化;
2、数据字典,支持分析人员使用相关工具自由分析(类似tableau);
3、固定数据分析应用,结合地图、钻透等最大化的满足人员使用的清晰便捷;
其他:
1、全部数据权限管理方式完备;
2、数据备份机制完善;
3、相关系统配合使用单点登录;
4、相关数据提供接口;
5、相关系统与企业微信、邮箱、手机号等实现互通;