为了更好的分析当前大淘宝的数据问题，我们进行了详细的数据分析，分享一下我们的数据模型治理的项目经验。
（欢迎点击头像关注我们，后续分享更多一线干货）
——————————————————————————————————————————
为了更好的分析当前大淘宝的数据问题，我们进行了详细的数据分析，首先进行数字化。（整个问题分析有详细的数据支撑，涉及到数据安全，因此只抽象问题，不展示具体数据细节）。
表命名不规范，缺乏管控：随着数据量增长，大淘宝的表出现了大量命名未遵循阿里大数据体系的情况，难以管控。
通用层表复用性不高：通用层表下游引用少于2个的数量非常多；
通用层建设不足或通用层透出不足：cdm引用下降，ads引用上升；
较多的ads表共性逻辑未下沉：出现很多ads表代码重复，字段相似度高的情况；
临时表多，影响数据管理：出现了很多TDDL临时表、PAI临时表、机器临时表、压测临时表等；
通用层表在各团队分布不合理：散布多个团队；
较多的ads表共性逻辑未下沉；
部分ads表层内依赖深度较深：很多ads表在应用层的深度超过10层；
应用层跨集市依赖问题明显：不同集市间ads互相依赖，不仅影响了数据稳定性，而且数据准确性也难以保障；
存在大量的可交接的通用层表：不同团队的通用层数据与大淘宝数据混合在一起；
表人员分配不均衡：表owner管理的表数量分布很不均匀，有些owner名下只有几十张，有些owner名下有几千张；
通过对当前数据问题的数字化，我们发现问题涉及到数据的评、建、管、用各个环节。
评：缺乏一套统一数据评估体系。数据问题的发现以往主要通过专家经验、开发使用环节发现和离散型的数据分析得到，缺乏一套统一的数字化评估体系。数据量有多少？不同层次的数据分布如何？表的命名规范性如何？表的复用性如何？表的加工效率和消费效率如何？如何评价数据建设、使用和维护的好不好？好的数据应该通过哪些指标评估出来？
建：基于数据问题分析我们发现：在统一进行通用层构建和治理的时间段，数据在规范性、复用性、链路复杂度、使用效率等方面表现较好，但是在没有进行统一构建和治理的时间，数据在各方面都表现不好。原因在于：我们有一套阿里大数据体系规范，但是我们并没有一套覆盖设计、评审、开发、管控、治理的建模开发产品。
管：数据构建完成后后，并没有有效的对数据进行成本、复用性、效率、健康情况的管理，通常依赖于集中治理、专项治理或推送治理。成本高、迭代慢。同时还存在表管理分布不均的问题，有些owner承担了大量的管理和运维工作，数据交接后难以维护，导致数据使用难度高。
用：数据最终是为了使用，通过数据分析和调研问卷来看，普遍存在以下问题：找数难、不会用、不敢用等问题。就导致除了一些非常核心的模型数据外，很多开发者宁愿重新开发也不愿去花费很大精力去找数和理解数据，造成恶性循环。
针对对问题的分析，我们确定了以下目标：
为了实现以上目标，我们进行了模型治理整体设计：
DataWorks是基于MaxCompute/EMR/Hologres等大数据计算引擎，提供专业高效、安全可靠的一站式大数据开发与治理平台。通过与DataWorks团队进行深度共建，利用大淘宝技术多年积累的模型、开发、运维等数据经验提供输入和DataWorks强大的产品研发能力，进行智能建模、开发助手、数据地图等功能的升级，实现数据设计、开发、管控、使用全链路产品化，解决长久以来的数据问题。
目前，DataWorks智能数据建模产品完成了数仓规划、数据标准、维度建模、数据指标四大产品模块的重大产品功能迭代，具备逆向建模、正向可视化建模、excel建模、代码建模等产品能力，并完成了DataWorks智能数据建模产品在2021年云栖大会的新功能重磅发布。
DataWorks智能数据建模产品全新发布的核心产品功能主要包含以下内容：
数仓规划
维度建模
以上产品功能能很好的解决模型建设规范性和提效的目的。
开发助手可以在代码开发中进行权限提醒、发布管控、临时表自动构建等。
我们将模型分评估在内部通过数字大盘的形式展示，并将对应的治理建议通过治理跳转的方式直接跳转到相应的产品页面进行操作。
为了更好的实现复用，模型分支持快速配置接入，只要提供project清单即可通过修改配置快速接入对应BU的数据，产出表级别、owner级别、BU级别模型分及治理动作。
模型大盘的治理项使用了全链路血缘和标签能力，可以比较精准的实现针对性治理。
找数提效方案：
目前，数据地图上线了团队常用表、猜你会用、热门浏览、热门读取、数据专辑、搜索优化、表说明升级等，表说明功能已完成升级；数据专辑的多人协作维护、展示和修改收藏备注发布、专辑增加使用说明功能。对于找数、用数、数据维护具有重要的意义。
搜索推荐
数据专辑
数据专辑中将核心表集中展示，可以有效实现核心表的查找和使用。
专辑说明
将结构化的知识集中管理，支持语雀知识导入，更好的管理和维护数据。
数据百晓生
将数据知识进行算法处理，透过机器人问答实现找表、用表等。为此我们结合内部机器人产品构建了智能答疑机器人。
经过FY22大淘宝技术模型治理专项，通过大淘宝内部开发、与DataWorks团队&数据安全生产平台共建，实现了以下重要能力：
目前，大淘宝技术数据模型治理已经取得了非常好的阶段性成果，在产品共建、模型分评估、找数提效方面都有很好的效果产出。但仍然存在一些未解决问题：
下阶段将针对尚未解决的问题进一步深入解决：
DataWorks智能数据建模产品帮助文档：https://help.aliyun.com/document_detail/276018.html
（本篇回答作者：阿里巴巴大淘宝技术 剑萧）
——————————————————————————————————————————
阿里巴巴集团大淘宝技术官方账号。
点击下方主页关注我们，你将收获更多来自阿里一线工程师的技术实战技巧&成长经历心得。另，不定期更新最新岗位招聘信息和简历内推通道，欢迎各位以最短路径加入我们。
