数据治理与数据仓库建模培训课程

培训目标：

通过培训，学员可以理解并掌握如下技能：

如何对企业的现有复杂的数据进行分析、建模，诊断数据存在的风险和问题
如何设计理想的数据基础架构，包括：元数据模型，元数据类型。
如何针对各种应用需求，设计数据应用架构模型，包括：数据模型，数据类型。
如何基于元数据模型定制应用数据模型
如何对数据的存储空间、数据仓库进行规划，以便容纳不断增长的数据量。
如何建立各个数据之间的结构一致性，
如何建立各个数据存储空间之间的数据流，包括：数据同步和数据备档。
如何对数据的质量进行监控，包括：建立数据质量质量，监控方法和工具。

培训模块	培训内容
数据治理概览	什么是数据治理为什么要进行数据治理数据治理都有哪些工作如何设计理想的数据基础架构。如何针对各种应用需求，设计数据应用架构模型。如何基于元数据模型定制应用数据模型。如何对数据的存储空间、数据仓库进行规划。如何建立各个数据之间的结构一致性，如何建立各个数据存储空间之间的数据同步。如何对数据的质量进行监控。某企业数据整理实例回顾与分析
现有的数据建模与问题诊断	结合案例讲解：现有数据建模和诊断现有的数据调查数据现状建模数据问题诊断与分析确定数据整理的目标确定数据治理的策略
设计数据架构框架	结合案例讲解：设计数据架构框架方法与实践数据架构的构成：元数据层数据规范层数据应用层建立元数据层框架建立数据规范简历数应用层框架
元数据的定义与设计	结合案例讲解：元数据的定义与设计方法与实践元数据的定义元数据的使用场景元数据的分类如何从现有业务数据中提炼元数据元数据的分类元数据的聚集元数据的关系建模元数据的结构建模元数据的存储设计元数据的管理方法建立从元数据到应用数据的配置过程指南
主数据的结构治理	结合案例讲解：主数据的结构治理方法与实践什么是主数据结合实例讲解主数据的建立方法：如何基于业务识别主数据识别主数据的关系建模主数据的结构建模如何基于元数据配置主数据结构主数据的逻辑设计主数据的物理设计主数据的管理方法主数据管理系统和技术支持架构多个主题数据的集成方法主数据案例练习与讨论
数据标准的指定	结合案例讲解：数据标准的指定的方法与实践数据标准定义数据标准管理规范数据标准建设模型，过程案例介绍
数据质量的评价与优化	结合案例讲解：数据质量的评价与优化的方法与实践控制数据质量的方法数据质量管理模型数据知识库利用知识库对数据进行清洗，匹配自动化进行数据质量控制的方法数据质量产品介绍
数据采集	结合案例讲解：数据采集的方法与实践数据采集方法数据采集常用工具讲解，SSIS，Kettle 实时数据采集数据采集定期自动化数据采集日志和错误管理方法
数据存储空间的治理	结合案例讲解：数据存储空间的治理的方法与实践数据存储空间典型的划分模式数据存储空间要考虑的问题如何分析数据容量增长需求规划数据存储空间策略典型的数据存储空间治理原则各个数据存储空间之间的数据同步策略数据仓库的数据备档和应用分析设计
数据扩展设计	结合案例讲解：数据扩展设计的方法与实践数据存在哪些扩展需求数据扩展带来的变更成本分析数据扩展对业务和应用的影响分析数据结构扩展的设计方法数据容量的扩展设计方法如何建立具有可持续扩展能力的数据架构
数据安全设计	结合案例讲解：数据安全设计的方法与实践数据安全管理范围分析整个数据架构存在哪些安全风险数据安全的建模数据资源使用场景分析数据入侵的风险和检测方法数据并发造成的不一致问题数据安全设计原则数据安全的典型处理策略数据安全技术架构数据安全生命周期管理
数据仓库的建模与设计	结合案例讲解：数据仓库的建模与设计的方法与实践数据仓库的建模方法数据仓库模型解决什么问题? 数据仓库环境的数据结构是什么? 为什么多维模型是整个数据仓库的模型基础? 数据仓库中还需要E-R模型吗? 星型模式解决的问题雪花模式解决的问题结合案例讲解：元数据的定义与设计方法与实践数据仓库的设计如何从分析业务定义业务模型执行策略分析的方法使用业务处理矩阵分析业务模型如何从业务中识别业务测量指标和维如何定义颗粒度确定业务定义和规则的重要性编制元数据业务元数据元素
数据建模的逻辑模型	结合案例讲解：数据建模的逻辑模型方法与实践数据建模逻辑模型定义逻辑模型定义维模型星型维模式星型维模式优点实事表的特征非可加性事实和半可加性事实的设计方法事实表事实如何选取识别基本事实指标和驱动事实指标维表特点缓慢变化维数据库键类型定义维的层次明细业务事实粒度选取如何对事实进行汇总数据钻取
数据建模的物理模型	结合案例讲解：数据建模的物理模型的方法与实践数据建模物理模型定义物理模型转换维模型到物理模型物理模型架构要求硬件设计(cpu架构,ssd,?内存) 大数据存储设计和性能设计大数据评估数据库容量大数据数据分区优化技术大数据索引优化设计星型查询优化大数据并行数据处理优化技术大数据使用聚合优化技术设计数据仓库的安全性
数据治理案例介绍	案例介绍案例需求分析数据仓库设计与数据治理