DMS数据管理系统

数据管理服务DMS是一款支撑数据全生命周期的一站式数据管理平台。DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成（上云迁移、容灾、多活、ETL）、数据开发及数据消费服务等能力，致力于帮助企业高效、安全的挖掘数据价值，助力企业数字化转型。

数据管理系统项目需要做的事情主要分为以下几步:

步，建立数据依赖引擎，实现依赖图谱。依赖图谱用于构建数据仓库表之间的分层级依赖关系，然后存入 MYSQL表并能支持可视化展现。

第二步，计算数据准备情况。各个表、各个分区的数据准备就绪时间按天，小时级进行汇总。根据Hive仓库的Meta信息可以获取Hive表各个分区的创建时间，根据创建时间确定数据的实效性，用来分析展现每天、每小时的状态和瓶颈。如果需要对 MYSQL进行验证则通过SOL语句査询的方式获取对应时间在MYSQL中是否存在。

第三步，建立数据计算引。根据定义的小时级指标、天级别指标规则，结合数据表各个分区的准备就绪时间，调用 Spark SQL计算核心指标。

第四步，建立数据比较引。根据表和表之间核心指标的关系、表和表之间的规则进行比较验证。例如，A＝＝B，A+B＝＝C，B/A＜0.95 等逻辑判断。

数据管理系统的功能主要分为数据流管理、任务管理、数据管理三大功能。

3.1数据流管理，也可以叫血缘分析。

单从字面上来看，它属于一种数据关系的分析，用来解释数据之间相互影响的一种描述。数据流管理，对于当前大数据背景下的数据治理具有十分重要的意义，它能让你快速了解数据组成结构，并制定有效的管理方式。
例如，有一天，我们发现大数据分析平台某个业务指标的数据没有产出，就要去查看到底哪里出了向题，是数据集市里的表、主题层的表还是基础层的表出了问题。而在更多的时候，数据集市的表会依赖多张表，那么这个排査问题的过程就会变得很麻烦，而且很浪费时间。有一个简单的思路就是，通过业务场景，在数据管理系统中设计解析每一个计算过程的链路关系，自动绘制出图表，动态获取执行情况，并做出预警。对于日常的监控，可以将每一个元数据的引用情况做出明暗度显示，绘制出数据连接图。

数据血缘关系会首先通过指标对应的库表关系，找出它所属的表，再根据计算关系找到计算过程中与它有关联的表，最终把整个链路上的相关表展现出来。这样就清晰地展现出了它从数据源头开始，一层一层的链路关系，并且可以用颜色区分正常、延迟、未处理等各种状况，清楚地知道任务异常情况，并在任务延退情况下触发报警机制，以短信方式提醒负责人排査问题，确保数据正常产出。

血缘分析可以清晰地帮助我们了解所维护的数据的使用与被使用情况，犹如资产一般，便于维护定位与统一管理。一个管理者如果掌握了数据资产的使用与被使用情况，就可以更加清晰地了解管理与维护的重点，并做出合理的风险预警，基于业务重点做一些资源的调整与再分配。

3.1.1血缘管理

3.2任务管理

任务管理会对每天的任务执行情况进行管理，展现每张表的任务完成时间任务延时情况以及延时的原因等，一且任务出现问题，可以快速联系到数据表的负责人。同时，能够方便查看每张表的依赖关系、完成时长的历史情况以及表的字段信息，让数据分析平台变得清晰。　　

3.2.1完成时长趋势

在数仓中每张表的完成时长每天都是不一样的，因此在数据关系系统中，有必要把表的每天完成时长记录下来，然后展示在系统中，方便查询近况时间内的完成趋势。

还可以针对数据流程进行优化，减少任务延迟时间情况，需要分负责人和表名称两个维度去对数据延迟情况进行统计，可以查看每个负责人的延迟次数，延迟时间等情况。

3.3数据管理

数据管理功能会展示数仓表的信息，包括所属数据库，存储类型，负责人，产出状态，数据库地址，标签，备注等，并可以进行编辑和操作。点击表名，业务组可以跳转到血缘关系页面，对应表所在的血缘图进行查看。数据管理功能的作用还能根据表名，标签，产品状态，业务组快速查找相关表。

功能

变更稳定功能仅稳定变更和安全协同模式支持，数据安全和研发高效功能仅安全协同模式支持。

数据资产

帮助企业“找得到”数据，“用得好”数据

全域数据资产支持27种数据源，包括OLTP/OLAP/NoSQL/对象存储/数据湖；支持跨IDC、跨云厂商的数据源；提供免费、稳定、高效的数据库网关打通网络接入。快速查找数据支持物理元数据及业务术语；基于图谱能力，可快速搜索、发现可用数据。数据质量治理覆盖数据生产、集成、加工到消费的端到端血缘能力；支持定义数据质量规则，进行数据质量检测与校验。数据安全治理敏感数据自动分级分类；异常访问风险识别。

数据安全

助力企业轻松应对各种合规、等保审查

企业管理实时联动基于OpenAPI实践，可有效保障企业员工流转时，域账号及权限的全自动化管理；避免账号清理不及时潜在数据泄露风险。细粒度权限管控支持实例、数据库、表、字段、数据行级不同粒度；面向个人账号（支持域账号对接），审计到人，避免账号混用的审计困扰；支持人员不接触数据库账号密码，权限到期自动失效回收；人员的入职/离职/转岗支持OpenAPI自动化联动权限管理。敏感数据保护多法律法规覆盖，数据分类分级全面覆盖中华人民共和国网络安全法、GDPR、SOX、PCIDSS、HIPAA等法律法规；精细分类与脱敏，内置40+分类识别规则，支持用户自定义；支持哈希、遮掩、替换、变换、加密等常用脱敏算法。合规审计支持企业上市合规审计、常规内审等，基于DMS统一纳管可支持人员权限、数据库变更与访问的详细流水审计。

数据库设计与开发

保障安全的同时，提升企业研发效率

稳定可控通过无锁变更、变更前备份及变更异常自动回滚等策略，保障开发过程中数据库稳定可控；基于CBO的智能诊断，研发可自助完成SQL质量审核与改进。安全可信内置阿里巴巴研发规范，规避无主键等不合理设计带来潜在风险，目前支持200+设计及审核规范，可按需调整。高效敏捷基于设计规范，研发人员全自助即可完成合规的数据库开发；效能上非生产环境可做到免审批，仅生产环境需要审核；保障安全的同时，实现跨部门之间的高效协同。

数据传输与加工

助力解决企业数据孤岛痛点

丰富的数据源支持覆盖主流的关系型数据库、NoSQL数据库、数据仓库、消息队列的迁移、订阅与同步；支持多种引擎，客户通过统一的方式对这些引擎进行开发，无需考虑引擎的差异性。多场景与服务支持支持定期全量/增量的周期性集成（最细调度周期可低至5分钟间隔）、秒级实时集成；流批一体：支持流式数据加工、批量数据加工，数据实时性/处理效率高；覆盖数据加工/数据开发、数据血缘、数据质量、数据服务、数据可视化等众多功能。开发与运维简单低代码开发：只要懂SQL就能通过画布快速实现流/批数据处理任务，自带Flink/Spark计算能力实现数据处理效率；支持分布式集成架构，突破单机瓶颈，提供限流手段，按需限流保护数据源；一个平台管理所有开发任务，提供智能监控告警和任务的自动处理机制，实现极低运维门槛。

优势

全域数据资产

支持企业全域数据资产管理，提供贯穿数据生命周期的质量治理与安全治理，帮助企业不仅“找得到”数据，还能“用得好”数据

实时数据集成

支持26种常见数据源的实时及离线数据集成，且数据集成过程中，支持灵活自定义的数据处理逻辑，助力解决企业数据孤岛的痛点

简单易用

提供覆盖数据全生命周期的数据流转及处理能力。通过图形化/向导式的开发模式、智能预警及自主诊断修复等能力，降低企业数据价值挖掘门槛

高效协同

提供覆盖数据全生命周期的DataOps，内置阿里巴巴大规模时间的数据流转管控体系。保障数据安全的同时，提升企业研发效率