当前位置：网站首页>QCon 回顾 | Data Fabric：逻辑统一、物理分散

QCon 回顾 | Data Fabric：逻辑统一、物理分散

2022-08-08 16:16:00 【InfoQ】

Data Fabric（数据编织）

，自 2019 年开始就在 Gartner 年度技术趋势榜单上安家，并在 2022 年被列为数据分析领域十大技术趋势之首，它究竟有哪些价值？又如何在企业落地？

在近日举办的全球软件开发大会 QCon 广州站上，

网易数帆大数据产品技术负责人郭忆

做了题为《基于 Data Fabric 的逻辑数据湖架构实践》的分享，介绍了 Data Fabric 的最新实践。

Data Fabric：好处与误区

Data Fabric，Gartner 将其定义为一种设计理念——构建一个数据和连接过程的集成层（Fabric），以支持数据系统跨平台的设计、部署和使用，实现灵活的数据交付。网易数帆在Data Fabric方向上，进行了落地实践，我们将其称之为逻辑数据湖，网易数帆认为，这个集成层就是跨平台的逻辑模型，我们认为通过逻辑模型，可以帮助业务人员屏蔽底层复杂的数据架构，业务人员在逻辑模型层之上，只需要选择数据集合，即可达到开箱即用的目的。从结果来看，无论数据存储在何处，这种架构模式都可以帮助企业低成本、及时地获得正确的数据，并且实现数据端到端的治理。郭忆总结了 Data Fabric 的两大关键词：

逻辑统一、物理分散

——这也是

网易数帆逻辑数据湖

实践的指导思想。

Data Fabric 的好处显而易见。郭忆介绍道，首先，它可以帮助我们节省 70% 的工作量，包括在数据发现、数据分析以及数据开发工作；其次，可以帮助我们的业务人员更快速的使用数据进行商业分析，不需要所有的数据只有入湖才能进行分析；再次，它在业务人员和数据团队之间构建了一个统一的界面，也就是逻辑模型层，让数据团队和业务团队之间的协作更加高效；此外，它支持业务人员可以自助完成数据的消费，使得数据使用的范围大幅度扩大。

实现这些效果，Data Fabric 自然需要一系列完善的核心能力，贯穿数据源到数据消费。

有了真香的 Data Fabric，是否意味着企业之前耗费大量精力与资源建设的数据湖、数据仓库就没用了？并非如此！

结合网易数帆的实践经验，郭忆给出了4点提醒：首先，

Data Fabric 并不是真的要去湖或者去仓

，而是构建一个去中心化的数据访问层，湖或者仓可以作为其中的一个数据源存在。其次，在数据量大的情况下，Data Fabric 会有性能问题，我们可以按需将数据固化到湖或者仓中，

Data Fabric 并不是一定要直接去访问数据源

。再次，

Data Fabric 只是提供了一种更丰富的数据访问界面，

既可以直接去访问数据源，也可以通过固化的方式，提供更加高效的访问。还有很重要的一点，Data Fabric 并不是要去除 ETL，恰恰相反，

DataOps 和数据治理是 Data Fabric 基础

。

网易数帆逻辑数据湖：元数据管理是关键

逻辑数据湖是网易数帆落地 Data Fabric 的技术方案。驱动网易数帆研发逻辑数据湖的因素，是支撑网易业务时面临的复杂数据架构、数据分析效率问题、数据部门成为瓶颈以及资源利旧的问题。郭忆分享了网易数帆的逻辑数据湖架构，包括数据源管理、数据目录、元数据管理、DataOps 全生命周期开发、数据模型层、物化视图等重要模块，覆盖数据的

管、算、用

。

其中

元数据管理

是连接不同数据源实现 Data Fabric 的关键。网易数帆逻辑数据湖通过流程引擎、指标系统、安全中心、数据地图、数据标准、模型设计中心和数据质量中心等七大组件来支撑元数据管理，并严格定义了湖外和湖内元数据发布的核心流程，以前述组件确保这些流程得以执行。

客户实践证明了网易数帆逻辑数据湖架构的价值。以一家大型企业客户为例，客户引入逻辑数据湖构建一站式开发运营模式，以中台集约数据开发推动数据作业五统一：统一逻辑入湖、统一开发、统一调度、统一治理、统一服务，提升数据交付效率和共享能力，从而获得多方面的收益。从平台能力来看，客户成功引入了成熟的数据中台产品，以及配套相关的管理规范。从数据工作模式来看，逻辑数据湖

让业务人员由需求者成为生产者

，让数据开发人员

没有难找的数据

。

运营目标的实现，首先是

开发效率提升

，报表开发效率提升 50%，可视化数据应用页面开发效率提升 1倍；其次是

数据自助分析能力

，自助模式占各部门所有取数分析工作的比例到 30%，并培养 200 个自助分析的业务人员；而长期运营目标方面，客户通过数据中台能力提升，割接本地网部署的数据集市和数据平台，改变省内当前 1+N 的模式，进一步提升

作业效率和数据安全

。

小结