4.2.1 数据管理
略。
在通常情况下,数据管理是指通过规划、控制与提供数据和信息资产的职能,包括开发、执行和监督有关数据的计划、策略、方案、项目、流程、方法和程序,以获取、控制、保护、交付和提高数据和信息资产价值。国际数据管理协会(DAMA)指出,数据资源管理致力于发展和处理组织数据全生命周期的适当的构建、策略、实践和程序。数据管理框架是对组织的管理平台或者能够产生业务数据的平台产生的数据进行统一的跟踪、协调、管理的功能模型。本部分主要讨论数据管理的基本框架、主要活动和管理要点,使用工程的方法,开展组织数据能力建设与实施,见本书5.2节的数据工程。
数据管理能力成熟度评估模型(Data Management Capability Maturity Assessment Model, DCMM)是国家标准GB/T36073《数据管理能力成熟度评估模型》中提出的,旨在帮助组织利用先进的数据管理理念和方法,建立和评价自身数据管理能力,持续完善数据管理组织、程序和制度,充分发挥数据在促进组织向信息化、数字化、智能化发展方面的价值,如图4-6所示
图4-6 数据管理能力模型
DCMM定义了数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期8个核心能力域。
1. 数据战略
组织的数据战略能力域通常包括数据战略规划、数据战略实施和数据战略评估三个能力项。
(1) 数据战略规划。
数据战略规划是在组织所有利益相关者之间达成共识的结果。从宏观及微观两个层面确定开展数据管理及应用的动因,并综合反映数据提供方和消费方的需求。数据战略规划主要活动和工作要点包括:
- 识别利益相关者:明确利益相关者的需求。
- 数据战略需求评估:组织对业务和信息化现状进行评估,了解业务和信息化对数据的需求。
- 数据战略制定:主要包括①愿景陈述,其中包含数据管理原则、目的和目标;②规划范围,其中包含重要业务领域、数据范围和数据管理优先权;③所选择的数据管理模型和建设方法;④当前数据管理存在的主要差距;⑤管理层及其责任,以及利益相关者名 单:⑥编制数据管理规划的管理方法;⑦持续优化路线图。
- 数据战略发布:以文件、网站、邮件等方式正式发布审批后的数据战略。
- 数据战略修订:根据业务战略、信息化发展等方面的要求,定期进行数据战略的修订。
(2) 数据战略实施。
数据战略实施是组织完成数据战略规划后,逐渐实现数据职能框架的过程。实施过程中依据组织数据管理和数据应用的现状,确定与愿景、目标之间的差距;依据数据职能框架制定阶段性数据任务目标,并确定实施步骤。数据战略实施主要活动和工作要点包括:
- 评估准则:建立数据战略规划实施课估标准,规范评估过程和方法。
- 现状评估:对组织当前数据战略落头情况进行分析,评估各项工作开展情况。
- 评估差距:根据现状评估结果与组织数据战略规划进行对比,分析存在的差异。
- 实施路径:利益相关者结合组织的共同目标和实际业务价值进行数据职能任务优先级排序。
- 保障计划:依据实施路径,制定开展各项活动所需的预算。
- 任务实施:根据任务开展工作。
- 过程监控:依据实施路径,及时对实施过程进行监控。
(3) 数据战略评估。
组织在数据战略评估过程中需要建立对应的业务案例和投资模型,并在整个数据战略实施过程中跟踪进度,同时做好记录供审计和评估使用。数据战略评估主要活动和工作要点包括:
- 建立任务效益评估模型:从时间、成本、效益等方面建立数据战略相关任务的效益评估模型。
- 建立业务案例:建立基本的用例模型、项目计划、初始风险评估和项目描述,能确定数据管理和数据应用相关任务(项目)的范围、活动、期望的价值以及合理的成本收益分析。
- 建立投资模型:作为数据职能项目投资分析的基础性理论,投资模型确保在充分考虑成本和收益的前提下对所需资本合理分配,投资模型要满足不同业务的信息科技需求以及对应的数据职能内容,同时要广泛沟通以保障对业务或技术的前瞻性支持,并符合相关的监管及合规性要求。
- 阶段评估:在数据工作开展过程中,定期从业务价值、经济效益等维度对已取得的成果进行效益评估。
2. 数据治理
组织的数据治理能力域通常包括数据治理组织、数据制度建设和数据治理沟通三个能力项。
(1) 数据治理组织。
数据治理组织需要包括组织架构、岗位设置、团队建设、数据责任等内容,它是各项数据职能工作开展的基础。数据治理组织对组织在数据管理和数据应用行使职责规划和控制,并指导各项数据职能的执行,以确保组织能有效落实数据战略目标。数据治理组织主要活动和工作要点包括:
- 建立数据治理组织:建立数据体系配套的权责明确且内部沟通顺畅的组织,确保数据战略的实施。
- 岗位设置:建立数据治理所需的岗位,明确岗位的职责、任职要求等。
- 团队建设:制订团队培训、能力提升计划,通过引入内部、外部资源定期开展人员培训,提升团队人员的数据治理技能、
- 数据归口管理:明确数据所有人,管理人等相关角色以及数据的归口的具体管理人员。
- 建立绩效评价体系:根据团队人员职费、管理数据范围的划分,制定相关人员的绩效考核体系。
(2) 数据制度建设。
为保障数据管理和数据应用各项功能的规范化运行,组织需要建立对应的制度体系。数据制度体系通常分层次设计,遵循严格的发布流程并定期检查和更新。数据制度建设是数据管理和数据应用各项工作有序开展的基础,是数据治理沟通和实施的依据。数据制度建设主要活动和工作要点包括。
- 制定数据制度框架:根据数据职能的层次和授权决策次序,数据制度框架可分为策略、办法、细则三个层次,该框架规定了数据管理和数据应用的具体领域、各个数据职能领域内的目标、遵循的行动原则、完成的明确任务、实行的工作方式、采取的一般步骤和具体措施等。
- 整理数据制度内容:数据管理策略与数据管理办法、数据管理细则共同构成组织数据制度体系,其基本内容包括:①数据策略说明数据管理和数据应用的目的,明确其组织与范围;②数据管理办法是为数据管理和数据应用各领域内活动开展而规定的相关规则和流程;③数据管理细则是为确保各数据方法执行落实而制定的相关文件。
- 数据制度发布:组织内部通过文件、邮件等形式发布审批通过的数据制度。
- 数据制度宣贯:定期开展数据制度相关的培训与宣传工作。
- 数据制度实施:结合数据治理组织的设置,推动数据制度的落地实施。
(3) 数据治理沟通。
数据治理沟通旨在确保组织内全部利益相关者都能及时了解相关策略、标准、流程、角色、职责、计划的最新情况,开展数据管理和应用相关的培训,掌握数据管理相关的知识和技能。数据治理沟通旨在建立与提升跨部门及部门内部数据管理能力,提升数据资产意识,构建数据文化。数据治理沟通主要活动和工作要点包括:
- 沟通路径:明确数据管理和应用的利益相关者,分析各方的诉求,了解沟通的重点内容。
- 沟通计划:建立定期或不定期沟通计划,并在利益相关者之间达成共识。
- 沟通执行:按照沟通计划安排实施具体沟通活动,同时对沟通情况记录。
- 问题协商机制:包括引入高层管理者等方式,以解决分歧。
- 建立沟通渠道:在组织内部明确沟通的主要渠道,例如邮件、文件、网站、自媒体、研讨会等。
- 制订培训宜贯计划:根据组织人员和业务发展需要,制订相关的培训宜贯计划。
- 开展培训:根据培训计划的要求,定期开展相关培训。
3. 数据架构
组织的数据架构能力域通常包括数据模型、数据分布、数据集成与共享和元数据管理四个能力项。
(1) 数据模型。
数据模型是使用结构化的语言将收集到的组织业务运行、管理和决策中使用的数据需求进行综合分析,按照模型设计规范将需求重新组织。数据模型主要活动和工作要点包括:
- 收集和理解组织的数据需求:包括收集和分析组织应用系统的数据需求和实现组织的战略,满足内外部监管,与外部组织互联互通等的数据需求等。
- 制定模型规范:包括模型的管理工具命名规范、常用术语以及管理方法等。
- 开发数据模型:包括开发设计组织级数据模型、系统应用级数据模型。
- 数据模型应用:根据组织级数据模型的开发,指导和规范系统应用级数据模型的建设。
- 符合性检查:检查组织级数据模型和系统应用级数据模型的一致性。
- 模型变更管理:根据需求变化实时地对数据模型进行维护。
(2) 数据分布。
数据分布职能域是钎对组织级数据模型中数据的定义,明确数据在系统、组织和流程等方面的分布关系,定义数据类型,明确权威数据源,为数据相关工作提供参考和规范。通过数据分布关系的梳理,定义数据相关工作的优先级,指定数据的责任人,并进一步优化数据的集成关系。数据分布主要活动和工作要点包括:
- 数据现状梳理:对应用系统中的数据进行梳理,了解数据的作用,明确存在的数据问题。
- 识别数据类型:将组织内的数据根据其特征分类管理,一般类型包括主数据、参考数据、交易数据、统计分析数据、文档数据、元数据等类型。
- 数据分布关系梳理:根据组织级数据模型的定义,结合业务流程梳理的成果,定义组织中数据和流程、数据和组织机构、数据和系统的分布关系。
- 梳理数据的权威数据源:对每类数据明确相对合理的唯一信息采集和存储系统。
- 数据分布关系的应用:根据数据分布关系的梳理,对组织数据相关工作进行规范,包括定义数据工作优先级、优化数据集成等。
- 数据分布关系的维护和管理:根据组织中业务流程和系统建设的情况,定期维护和更新组织中的数据分布关系,保持及时性。
(3) 数据集成与共享。
数据集成与共享职能域是建立起组织内各应用系统、各部门之间的集成共享机制,通过组织内部数据集成共享相关制度、标准、技术等方面的管理,促进组织内部数据的互联互通。数据集成与共享主要活动和工作要点包括:
- 建立数据集成共享制度:指明数据集成共享的原则、方式和方法。
- 形成数据集成共享标准:依据数据集成共享方式不同,制定不同的数据交换标准。
- 建立数据集成共享环境:将组织内多种类型的数据整合在一起,形成对复杂数据加工处理和便捷访问的环境。
- 建立对新建系统的数据集成方式的检查。
(4) 元数据管理。
元数据管理是关于元数据的创建、存储、整合与控制等一整套流程的集合。元数据管理主要活动和工作要点包括:
- 元模型管理:对包含描述元数据属性定义的元模型进行分类并定义每一类元模型,元模型可采用或参考相关国家标准。
- 元数据集成和变更:基于元模型对元数据进行收集,对不同类型、不同来源的元数据进行集成,形成对数据描述的统一视图,并基于规范的流程对数据的变更进行及时更新和管理。
- 元数据应用:基于数据管理和数据应用需求,对于组织管理的各类元数据进行分析应用,如查询、血缘分析、影响分析、符合性分析、质量分析等。
4. 数据应用
数据应用能力域通常包括数据分析、数据开放共享和数据服务三个能力项。
(1) 数据分析。
数据分析是对组织各项经营管理活动提供数据决策支持而进行的组织内外部数据分析或挖掘建模,以及对应成果的交付运营、评估推广等活动。数据分析能力会影响到组织制定决策、创造价值、向用户提供价值的方式。数据分析主要活动和工作要点包括:
- 常规报表分析:按照规定的格式对数据进行统一的组织、加工和展示。
- 多维分析:各分类之间的数据度量之间的关系,从而找出同类性质的统计项之间数学上的联系。
- 动态预警:基于一定的算法、模型对数据进行实时监测,并根据预设的阈值进行预警。
- 趋势预报:根据客观对象已知的信息对事物在将来的某些特征、发展状况的一种估计、测算活动,运用各种定性和定量的分析理论与方法,对发展趋势进行预判。
(2) 数据开放共享。
数据开放共享是指按照统一的管理策略对组织内容的数据进行有选择的对外开放,同时按照管理策略引入外部数据供组织内部使用。数据开放共享是实现数据跨组织、跨行业流转的重要前提,也是数据价值最大化的基础。数据开放共享主要活动和工作要点包括:
- 梳理开放共享数据:组织需要对其开放共享的数据进行全面的梳理,建立清晰的开放共享数据目录。
- 制定外部数据资源目录:对组织需要的外部数据进行统一梳理,建立数据目录,方便内部用户的查询和应用。
- 建立统一的数据开放共享策略:包括安全、质量等内容。
- 数据提供方管理:建立对外数据使用策略、数据提供方服务规范等。
- 数据开放:组织可通过各种方式对外开放数据,并保证开放数据的质量。
- 数据获取:按照数据需求进行数据提供方的选择。
(3) 数据服务。
数据服务是通过对组织内外部数据的统一加工和分析,结合公众、行业和组织的需要,以数据分析结果的形式对外提供跨领域、跨行业的数据服务。数据服务是数据资产价值变现最直接的手段,也是数据资产价值衡量的方式之一,通过良好的数据服务对内提升组织的效益,对外更好的服务公众和社会。数据服务的提供可能有多种形式,包括数据分析结果、数据服务调用接口、数据产品或数据服务平台等,具体服务的形式取决于组织数据的战略 和发展方向。数据服务主要活动和工作要点包括:
- 数据服务需求分析:需要有数据分析团队来分析外部的数据需求,并结合外部的需求提出数据服务目标和展现形式,形成数据服务需求分析文档,
- 数据服务开发:数据开发团队根据数据服务需求分析对数据进行汇总和加工,形成数据产品。
- 数据服务部署:部署数据产品,对外提供服务。
- 数据服务监控:能对数据服务有全面的监控和管理,实时分析数据服务的状态、调用情况、安全情况等。
- 数据服务授权:对数据服务的用户进行授权,并对访问过程进行控制。
5. 数据安全
组织的数据安全能力域通常包括数据安全策略、数据安全管理和数据安全审计三个能力项。
(1) 数据安全策略。
数据安全策略是数据安全的核心内容,在制定的过程中需要结合组织管理需求、监管需求以及相关标准等统一制定。数据安全策略主要活动和工作要点包括:
- 了解国家、行业等监管需求,并根据组织对数据安全的业务需要,进行数据安全策略规划,建立组织的数据安全管理策略。
- 制定适合组织的数据安全标准,确定数据安全等级及覆盖范围等。
- 定义组织数据安全管理的目标、原则、管理制度、管理组织、管理流程等,为组织的数据安全管理提供保障。
(2) 数据安全管理。
数据安全管理是在数据安全标准与策略的指导下,通过对数据访问的授权、分类分级的控制、监控数据的访问等进行数据安全的管理工作,满足数据安全的业务需要和监管需求,实现组织内部对数据生存周期的数据安全管理。数据安全管理主要活动和工作要点包括:
- 数据安全等级的划分:根据组织数据安全标准,充分了解组织数据安全管理需求,对组织内部的数据进行等级划分并形成相关文档。
- 数据访问权限控制:制定数据安全管理的利益相关者清单,围绕利益相关者需求,对其数据访问、控制权限进行授权。
- 用户身份认证和访问行为监控:在数据访问过程中对用户的身份进行认证识别,对其行为进行记录和监控。
- 数据安全的保护:提供数据安全保护控制相关的措施,保证数据在应用过程中的隐私性。
- 数据安全风险管理:对组织已知或潜在的数据安全进行分析,制定防范措施并监督落实。
(3) 数据安全审计。
数据安全审计是一项控制活动,负责定期分析、验证、讨论、改进数据安全管理相关的策略、标准和活动。审计工作可由组织内部或外部审计人员执行,审计人员应独立于审计所涉及的数据和流程。数据安全审计的目标是为组织以及外部监管机构提供评估和建议。数据安全审计主要活动和工作要点包括:
- 过程审计:分析实施规程和实际做法,确保数据安全自标、策略、标准、指导方针和预期结果相一致。
- 规范审计:评估现有标准和规程是否适当,是否与业务要求和技术要求相一致。
- 合规审计:检索和审阅组织相关监管法规要求,验证其是否符合监管法规要求。
- 供应商审计:评审合同、数据共享协议,确保供应商切实履行数据安全义务。
- 审计报告发布:向高级管理人员、数据管理专员以及其他利益相关者报告组织内的数据安全状态。
- 数据安全建议:提出数据安全的设计、操作和合规等方面的改进工作建议。
6. 数据质量
组织的数据质量能力域通常包括数据质量需求、数据质量检查、数据质量分析和数据质量提升四个能力项。
(1)数据质量需求。
数据质量需求是明确数据质量目标,并根据业务需求及数据要求制定用来衡量数据质量的规则,包括衡量数据质量的技术指标、业务指标以及相应的校验规则与方法。数据质量需求是度量和管理数据质量的依据,需要依据组织的数据管理目标、业务管理的需求和行业的监管需求并参考相关标准来统一制定与管理。数据质量需求主要活动和工作要点包括:
- 定义数据质量管理目标:依据组织管理的需求,参考外部监管的要求,明确组织数据质量管理目标。
- 定义数据质量评价维度:依据组织数据质量管理的目标,制定组织数据质量评估维度,指导数据质量评价工作的开展。
- 明确数据质量管理范围:依据组织业务发展的需求以及常见数据问题的分析,明确组织数据质量管理的范围,梳理各类数据的优先级以及质量需求。
- 设计数据质量规则:依据组织的数据质量管理需求及目标,识别数据质量特性,定义各类数据的质量评价指标、校验规则与方法,并根据业务发展需求及数据质量检查分析结果对数据质量规则进行持续维护与更新。
(2) 数据质量检查。
数据质量检查是根据数据质量规则中的有关技术指标和业务指标、校验规则与方法对组织的数据质量情况进行实时监控,从而发现数据质量问题,并向数据管理人员进行反馈。数据质量检查主要活动和工作要点包括:
- 制订数据质量检查计划:根据组织数据质量管理目标的需要,制订统一的数据质量检查计划。
- 数据质量情况剖析:根据计划对系统中的数据进行剖析,查看数据的值域分布、填充率、规范性等,切实掌握数据质量实际情况。
- 数据质量校验:依据预先配置的规则、算法,对系统中的数据进行校验。
- 数据质量问题管理:包括问题记录、问题查询、问题分发和问题跟踪。
(3)数据质量分析。
数据质量分析是对数据质量检查过程中发现的数据质量问题及相关信息进行分析,找出影响数据质量的原因,并定义数据质量问题的优先级,作为数据质量提升的参考依据。数据质量分析主要活动和工作要点包括:
- 数据质量分析方法和要求:整理组织数据质量分析的常用方法,明确数据质量分析的要求。
- 数据质量问题分析:深入分析数据质量问题产生的根本原因,为数据质量提升提供参考。
- 数据质量问题影响分析:根据数据质量问题的描述以及数据价值链的分析,评估数据质量对于组织业务开展、应用系统运行等方面的影响,形成数据质量问题影响分析报告。
- 数据质量分析报告:包括对数据质量检查、分析等过程累积的各种信息进行汇总、梳理、统计和分析。
- 建立数据质量知识库:收集各类数据质量案例、经验和知识,形成组织的数据质量知识库。
(4) 数据质量提升。
数据质量提升是对数据质量分析的结果,制定、实施数据质量改进方案,包括错误数据更正、业务流程优化、应用系统问题修复等,并制定数据质量问题预防方案,确保数据质量改进的成果得到有效保持,数据质量提升主要活动和工作要点包括:
- 制定数据质量改进方案:根据数据质量分析的结果,制定数据质量提升方案。
- 数据质量校正:采用数据标准化、数据清洗、数据转换和数据整合等手段和技术,对不符合质量要求的数据进行处理,并纠正数据质量问题。
- 数据质量跟踪:记录数据质量事件的评估、初步诊断和后续行动等信息,验证数据质量提升的有效性。
- 数据质量提升:对业务流程进行优化,对系统问题进行修正,对制度和标准进行完善,防止将来同类问题的发生。
- 数据质量文化:通过数据质量相关培训、宣贯等活动,持续提升组织数据质量意识,建立良好的数据质量文化。
7. 数据标准
组织的数据标准能力域通常包括业务术语、参考数据和主数据、数据元和指标数据四个能力项。
(1) 业务术语。
业务术语是组织中业务概念的描述,包括中文名称、英文名称、术语定义等内容。业务术语数据管理就是制定统一的管理制度和流程,并对业务术语的创建、维护和发布进行统一的管理,进而推动业务术语的共享和组织内部的应用。业务术语是组织内部理解数据、应用数据的基础。通过对业务术语的管理能保证组织内部对具体技术名词理解的一致性。
业务术语主要活动和工作要点包括:
- 制定业务术语标准:同时制定业务术语管理制度,包含组织、人员职责、应用原则等。
- 业务术语字典:组织中已定义并审批和发布的术语集合。
- 业务术语发布:业务术语变更后及时进行审批并通过邮件、网站、文件等形式进行发布。
- 业务术语应用:在数据模型建设、数据需求描述、数据标准定义等过程中引用业务术语。
- 业务术语宣贯:组织内部介绍、推广已定义的业务术语。
(2) 参考数据和主数据。
参考数据和主数据是用于将其他数据进行分类的数据。参考数据管理是对定义的数据值域进行管理,包括标准化术语、秋码值和其他唯一标识符,每个取值的业务定义,数据值域列表内部和跨不同列表之间的业务关系的控制,并对相关参考数据的一致、共享使用。主数据是组织中需要跨系统、跨部门共享的核心业务实体数据。主数据管理是对主数据标准和内容进行管理,实现主数据跨系统的一致、共享使用。参考数据和主数据主要活动和工作要点包括:
- 定义编码规则:定义参考数据和主数据唯一标识的生成规则。
- 定义数据模型:定义参考数据和主数据的组成部分及其含义。
- 识别数据值域:识别参考数据和主数据取值范围。
- 管理流程:创建参考数据和主数据管理相关流程。
- 建立质量规则:检查参考数据和主数据相关的业务规则和管理要求,建立参考数据和主数据相关的质量规则。
- 集成共享:参考数据、主数据和应用系统的集成。
(3) 数据元。
通过对组织中核心数据元的标准化,可以使数据的拥有者和使用者对数据有一致的理解。数据元主要活动和工作要点包括:
- 建立数据元的分类和命名规则:根据组织的业务特征建立数据元的分类规则,制定数据元的命名、描述与表示规范。
- 建立数据元的管理规范:建立数据元管理的流程和岗位,明确管理岗位职责。
- 数据元的创建:建立数据元的创建方法,进行数据元的识别和创建。
- 建立数据元的统一目录:根据数据元的分类及业务管理需求,建立数据元管理的目录,对组织内部的数据元分类存储。
- 数据元的查找和引用:提供数据元查找和引用的在线工具。
- 数据元的管理:提供对数据元以及数据元目录的日常管理。
- 数据元管理报告:根据数据元标准定期进行引用情况分析,了解各应用系统中对数据元的引用情况,促进数据元的应用。
(4) 指标数据。
指标数据是组织在经营分析过程中衡量某一个目标或事物的数据,一般由指标名称、时间和数值等组成,指标数据管理指组织对内部经营分析所需要的指标数据进行统一规范化定义、采集和应用,用于提升统计分析的数据质量。指标数据主要活动和工作要点包括:
- 根据组织业务管理需求,制定组织内指标数据分类管理框架,保证指标分类框架的全面性和各分类之间的独立性。
- 定义指标数据标准化的格式,梳理组织内部的指标数据,形成统一的指标字典。
- 根据指标数据的定义,由相关部门或应用系统定期进行数据的采集、生成。
- 对指标数据进行访问授权,并根据用户需求进行数据展现。
- 对指标数据采集、应用过程中的数据进行监控,保证指标数据的准确性、及时性。
- 划分指标数据的归口管理部门、管理职责和管理流程,并按照管理规定对指标标准进行维护和管理。
8. 数据生存周期
组织的数据生存周期能力域通常包括数据需求、数据设计和开发、数据运维和数据退役四个能力项。
(1) 数据需求。
数据需求是指组织对业务运营、经营分析和战略决策过程中产生和使用数据的分类、含义、分布和流转的描述。数据需求管理过程识别所需的数据,确定数据需求优先级并以文档的方式对数据需求进行记录和管理。数据需求主要活动和工作要点包括:
- 建立数据需求管理制度:明确组织数据需求的管理组织、制度和流程。
- 收集数据需求:需求人员通过各种方式分析数据应用场景,并识别数据应用场景中的数据分类、数据名称,数据含义、数据创建、数据使用、数据展示、数据质量、数据安全、数据保留等需求,编写数据需求文档。
- 评审数据需求:组织人员对数据需求文档进行评审,评审关注各项数据需求是否与业务目标、业务需求保持一致,数据需求是否使用已定义的业务术语、数据项、参考数据等数据标准,干系人对数据需求是否达成共识。
- 更新数据管理标准:对于已有数据管理标准中尚未覆盖的数据需求以及经评出后达到需要变更数据标准的,由数据管理人员根据相关流程更新数据标准,保证数据标准与实际数据需求的一致性。
- 集中管理数据需求:各方数据用户的数据需求应集中由数据管理人员进行收集和管理,确保需求的汇总分析和历史回顾。
(2) 数据设计和开发。
数据设计和开发是指设计、实施数据解决方案,提供数据应用,持续满足组织的数据需求的过程。数据解决方案包括数据库结构、数据采集、数据整合、数据交换、数据访问及数据产品(报表、用户视图)等。数据设计和开发主要活动和工作要点包括:
- 设计数据解决方案:包括概要设计和详细设计,其设计内容主要是面向具体的应用系统设计逻辑数据模型、物理数据模型、物理数据库、数据产品、数据访问服务、数据整合服务等,从而形成满足数据需求的解决方案。
- 数据准备:梳理组织的各类数据,明确数据提供方,制定数据提供方案。
- 数据解决方案质量管理:数据解决方案设计应满足数据用户的业务需求,同时也应满足数据的可用性、安全性、准确性、及时性等数据管理需求,因此需要进行数据模型和设计的质量管理,主要内容包括开发数据模型和设计标准,评审概念模型、逻辑模型和物理模型的设计,以及管理和整合数据模型版本变更。
- 实施数据解决方案:通过质量评审的数据解决方案进入实施阶段,主要内容包括开发和测试数据库、建立和维护测试数据、数据迁移和转换、开发和测试数据产品、数据访问服务、数据整合服务、验证数据需求等。
(3) 数据运维。
数据运维是指数据平台及相关数据服务建设完成上线投入运营后,对数据采集、数据处理、数据存储等过程的日常运行及其维护过程,保证数据平台及数据服务的正常运行,为数据应用提供持续可用的数据内容。数据运维主要活动和工作要点包括:
- 制定数据运维方案:根据组织数据管理的需要,明确数据运维的组织,制定统一的数据运维方案。
- 数据提供方管理:建立数据提供的监控规则、监控机制和数据合格标准等服务水平协议和检查手段,持续监控数据提供方的服务水平,确保数据平台和数据服务有持续可用、高质量、安全可靠的数据,数据提供方管理包括对组织的内部和外部数据提供方的管理。
- 数据平台的运维;根据数据运维方对数据库、数据平台、数据建模工具、数据分析工具、ETL工具、数据质量工具、元数据工具、主数据管理工具的选型、部署、运行等进行管理,确保各技术工具的选择符合数据架构整体规划,正常运行各项指标满足数据需求。
- 数据需求的变更管理:数据雷求实现之后,需要及时跟踪数据应用的运行情况,监控数据应用和数据需求的一致性,同时对用户提出的需求变更进行管理,确保设计和实施的一致性。
(4) 数据退役。
数据退役是对历史数据的管理,根据法律法规、业务、技术等方面需求,对历史数据的保留和销毁,执行历史数据的归档、迁移和销毁工作,确保组织对历史数据的管理符合外部监管机构和内部业务用户的需求,而非仅满足信息技术需求。数据退役主要活动和工作要点包括:
- 数据退役需求分析:向组织管理层、各领域业务用户调研内部和外部对数据退役的需求,明确外部监管要求的数据保留和清除要求,明确内部数据应用的保留和清除要求,同时兼顾信息技术对存储容量、访问速度、存储成本等需求。
- 数据退役设计:综合考虑合规、业务和信息技术需求,设计数据退役标准和执行流程,明确不同类型数据保留策略,包括保留期限、保留方式等,建立数据归档、迁移、获取和清除的工作流程和操作规程,确保数据退役符合标准和流程规范。
- 数据退役执行:根据数据退役设计方案执行数据退役操作,完成数据的归档、迁移和清除等工作,满足法规、业务和技术需要,同时根据需要更新数据退役设计。
- 数据恢复检查:数据退役之后需要制定数据恢复检查机制,定期检查退役数据状态,确保数据在需要时可恢复。
- 归档数据查询:根据业务管理或监管需要,对归档数据的查询请求进行管理,并恢复相关数据以供应用。
9. 理论框架与成熟度
国内外常用的数据管理模型包括:数据管理能力成熟度模型(DCMM)、数据治理框架(Data Governance Institute,DGI)、数据管理能力评价模型(Data Management capability Assessment Model,DCAM)以及数据管理模型(DAMA定义的模型)等。
(1) 数据管理能力成熟度模型。
DCMM将组织的管理成熟度划分为5个等级,分别是:初始级、受管理级、稳健级、量化管理级和优化级。
- 初始级:数据需求的管理主要是在项目级体现,没有统一的管理流程,主要是被动式管理。
- 受管理级:组织意识到数据是资产,根据管理策略的要求制定了管理流程,指定了相关人员进行初步管理。
- 稳健级:数据已被当做实现组织绩效目标的重要资产,在组织层面制定了系列的标准化管理流程,促进数据管理的规范化。
- 量化管理级:数据被认为是获取竞争优势的重要资源,数据管理的效率能量化分析和监控。
- 优化级:数据被认为是组织生存和发展的基础,相关管理流程能实时优化,能在行业内进行最佳实践分享。
(2) 数据治理框架。
国际数据治理协会发布了DGI数据治理框架,是组织在进行数据治理的操作层面的框架体系,为组织做出缺策和采取行动的复杂活动提供的方法,此框架从组织结构、治理规则和治理过程这三个维度提出了关于数据治理活动的10个关键通用组件,并在这些 要素的基础上构建了数据治理框架,如图4-7所示。
(3)数据管理能力评价模型。
企业数据管理协会(EDM)是制定和实施数据标准、最佳实践以及全面培训和认证项目的重要倡导者。基于众多实际案例的经验总结来进行编写数据管理能力成熟度评估模型,提供了用于建立和评估组织数据管理计划的关键维度,主要强调团队协作(流程)、标准执行和资金支持,目前最新DCAM2.2版有4个组件:①基础组件包含数据战略与业务案例、数据管理流程与资金职能域;②执行组件包含业务和数据架构、数据和技术架构、数据质量管理、数据治理职能域;③分析组件包含数据控制环境职能域;④应用组件包含分析管理职能域。
(4) 数据管理模型。
国际数据管理协会DAMA(DAMA International)在2018年发行了DAMA-DMBOK(数据管理知识体系指南)第2版,用于指导组织的数据管理职能和数据战略 的评估工作,并建议和指导刚起步的组织去实施和提升数据管理。DAMA-DMBOK2理论框架由11个数据管理职能领域和7个基本环境要素共同构成“DAMA数据管理知识体系”,每项数据职能领域都在7个基本环境要素约束下开展工作。DAMA-DMBOK2职能框架图表4-4所示。
图4-7 DGI数据治理框架
表4-4 DAMA-DMBOK2职能框架(示意)


