数据治理--华为FusionInsight--华为开发者社区

数据治理
功能特点

灵活

提供灵活的在线编辑元模型的能力,方便快捷支持各种类型的数据模型和业务管理流程。

标准

提供完备的数据标准,支持从满足业务管控的角度设计逻辑模型。

智能

自动建立逻辑模型和物理对象的映射关系。在数据的抽取、加载、清洗等加工过程中,自动完成质量检核和去隐私处理等。

统一

大数据平台各个分析服务将采用统一的逻辑模型,提升大数据平台的综合能力。

功能视图
功能描述
  • 数据质量管理收起
    • 数据质量管理从数据有效性、一致性、准确性维度对数据质量进行衡量。

      数据治理套件提供一体化数据质量稽核能力,支持在数据生产流程中进行数据质量稽核,通过稽核结果控制数据生产,从根本上解决了数据质量管理的难题。

    • 质量规则
    • 通过配置数据质量稽核规则,将通用质量规则和各数据库、数据库表(含字段)建立关联关系,为数据质量分析提供依据。

      配置质量规则

    • 质量稽核
    • 配置数据质量规则之后,DG后台会自动向统一调度上报稽核任务信息。在统一调度中配置和执行对应流程的调度后,即完成了对相应流程的数据稽核,可以通过数据质量监控功能查看稽核结果。

      质量稽核结果

    • 质量监控
    • 实时监控数据质量状况,以便及时发现质量问题。支持从不同纬度查看各个数据分层以及具体数据实体的质量状况。

      质量维度和分层数据质量详情

      质量监控状态

    • 质量知识库
    • 提供图形化界面将生产运维过程产生的问题、人员报告的问题、维护发现的问题、业务人员反馈的问题经过处理过程转到知识库,对问题的原因和解决方法进行手工分类记录,提供历史经验沉淀和查询。

      质量知识库

  • 数据安全管理展开
    • 隐私策略管理
    • 数据安全隐私管理是数据开放的必要选项,是保障运营商数据资产安全、信息安全及用户隐私的重要保障。

      去隐私策略管理主要用于设置数据去隐私算法、各算法的秘钥管理,并基于数据模型配置去隐私算法等。

      隐私策略管理

    • 数据加解密
    • 数据加密是实现数据脱敏的常用方法。被授权访问明文的用户,可通过数据解密服务获得数据的明文信息。

      数据加解密

      − 加密服务

      数据入库或数据导出的时候,可根据已设定的去隐私策略进行数据的加密处理。

      加密服务由DG提供实现,第三方调用。第三方提供明文信息,DG返回密文。

      − 解密服务

      被授权访问明文的用户,可通过数据解密服务获得数据的明文信息。

      由DG提供实现,第三方调用。第三方提供密文信息,DG返回明文。

      − 加密算法密钥管理

      每种加密算法均有各自的密钥,所有密钥在数据库中均加密存储,读取的时候需要提供当前用户的登录密码。

    • 数据访问权限控制
    • 数据治理支持将当前用户所属租户新建的数据分层或模型的访问权限赋予其他租户。

      数据访问权限控制

  • 数据模型管理展开
    • 构建统一的元数据库,存储各模块的生成的元数据(包括实体元数据、流程元数据、管控规则元数据),并基于统一存储的元数据进行分析,实现元数据生产与分析的实时一致。

    • 物理实体管理
    • 创建数据模型之后,DG根据数据模型的数据结构和存储规则自动创建物理实体,自动完成物理实体和数据模型之间的映射关系。

      数据模型间的关系

    • 数据云图
    • 数据云图从宏观上提供了全局的数据资产地图。通过数据云图可以直观的了解到管理的数据,用户可以方便快捷的掌握数据分布和进行数据价值分析。

      数据云图支持钻取功能,点击某一数据分层,即进入了下一层数据分层,直至钻取到数据模型。

      数据云图

    • 生命周期管理
    • 可设置数据存储周期,自动执行数据的老化。即数据设置了老化周期后,待数据到达预定的数据老化时间时,系统自动在后台删除已老化的数据。

      设置数据模型的存储周期

    • 特征管理
    • 特征指某一物质自身所具备的特殊性质,是区别于其他物质的基本象征和标志。如用户的基本信息中,性别、年龄、身高等都是用户的特征。Universe大数据分析平台中的特征是在数据模型的基础上提取得到的。

      数据治理支撑建立域和特征。ISAE基于特征取数,不需要关注数据模型,也不需要关注数据模型之间的关联关系,用户选取相应的特征字段,设置计算字段,即可以提取相应业务实体的数据。

      特征环

    • 模型发布
    • 数据模型提交后,模型审核人员可对其进行审核。只有审核通过的模型才能被其他模块使用。

      审核模型

    • 模型开发报告
    • 提供数据模型的开发记录及模型使用情况,包括:

      − 模型操作人

      − 操作时间

      − 操作类型

      模型开发报告

    • 数据模型同步
    • 在配置数据模型时,可以复制数据模型,或者将数据模型导出至其他环境中使用。

      导出模型数据给第三方元数据管理平台时,需要提前配置第三方元数据管理平台的相关信息。目前支持的第三方元数据管理平台主要为普元元数据。

    • 对接第三方元数据管理工具
    • 通过开放元数据相关接口,可将数据治理套件集成到第三方系统中,方便用户适配第三方的大数据平台。

  • 数据标准管理展开
    • 完善的数据管控规则可以帮助客户管理基于统一的标准管理数据资产,保证企业范围数据资产的一致性。

      数据治理支持设置数据分层设计标准、实体设计标准、业务术语、码表库。

    • 业务术语
    • 业务术语统一定义并发布公司内部的业务语言(业务口径),主要供用户查阅,对业务逻辑没有技术上的约束。

      业务术语

    • 码表管理
    • 码表统一定义了业务元数据设置项的下拉框备选值,一般用于对某些数据表的相关列做值域检查。

      码表管理

    • 数据质量标准
    • 质量规则可以是基于数据库字段的,也可以是基于数据库表的,也可能是跨表的。

      针对每种质量规则,可指定一个默认的质量阈值。数据质量超过此阈值将触发后续处理动作,包括记录日志、触发告警。

    • 数据分层标准
    • 数据治理提供分层分域的模型管理模式。一个逻辑实体只允许隶属于某一个层。 提供数据分层配置功能,可根据业务需要随时增删改层(最多可支持5层)或域信息。

      数据分层标准用于定义数据分层设计过程中的规范。通过编写检核语句实现,可制定数据分层的命名规范。命名规范包括名称和缩写的规范。

      数据分层标准

    • 数据模型设计标准
    • 用于定义模型设计过程中的规范。

      通过编写检核语句实现,可制定数据模型命名规范和数据结构中的字段的命名规范。命名规范包括名称和缩写的规范。

      数据分层标准

    • 文档管理
    • 统一管理文档资源,包括文档的存储、查询、下载、更新等。相关文档主要供用户查阅,对业务逻辑没有技术上的约束。

      文档管理