Data Governance (5): Metadata Management

​元数据管理

一、大数据中为什么要元数据管理

二、元数据管理工具-Atlas

三、Atlas架构原理

• Metadata Sources:

• Atlas支持与许多元数据源的集成,将来还会添加更多集成.目前,Atlas 支持从Hive、Sqoop、Storm、HBase获取和管理元数据.

• Integration:

• 用户可以使用两种方法管理 Atlas 中的元数据：

• API
  ：Atlas 的所有功能都可以通过 REST API 提供给最终用户,允许创建,更新和删除类型和实体.它也是查询和发现通过 Atlas 管理的类型和实体的主要方法.

• Messaging
  ：除了 API 之外,用户还可以选择使用基于 Kafka 的消息接口与 Atlas 集成.这对于将元数据对象传输到 Atlas 以及从 Atlas 使用可以构建应用程序的元数据更改事件都非常有用.如果希望使用与 Atlas 更松散耦合的集成,这可以允许更好的可扩展性,可靠性等,消息传递接口是特别有用的.

• Apps:

• Ranger Tag Based Policies:
   Apache Ranger 是针对 Hadoop 生态系统的高级安全管理解决方案,与各种 Hadoop 组件具有广泛的集成.通过与 Atlas 集成,Ranger 允许安全管理员定义元数据驱动的安全策略,以实现有效的治理.

• Atlas Admin UI:
   该组件是一个基于 Web 的应用程序,允许我们发现和注释元数据.Admin UI提供了搜索界面和 类SQL的查询语言,可以用来查询由 Atlas 管理的元数据类型和对象.Admin UI 使用 Atlas 的 REST API 来构建其功能.

• Business Taxonomy:
  从元数据源获取到 Atlas 的元数据对象主要是一种技术形式的元数据.为了增强可发现性和治理能力,Atlas 提供了一个业务分类界面,允许用户首先定义一组代表其业务域的业务术语,并将其与 Atlas 管理的元数据实体相关联.业务分类法是一种 Web 应用程序,目前是 Atlas Admin UI 的一部分,并且使用 REST API 与 Atlas 集成.

• Core:

• Atlas Core包含以下几个部分：

• Ingest/Export
  ：Ingest 组件允许将元数据添加到 Atlas.类似地,Export 组件暴露由Atlas检测到的元数据更改,以作为事件引发,消费者可以使用这些更改事件来实时响应元数据更改.

• Type System
  : Atlas 允许用户为他们想要管理的元数据对象定义一个模型.该模型由称为 "Type" 的定义组成."类型" 的 实例被称为 "实体" 表示被管理的实际元数据对象.类型系统是一个组件,允许用户定义和管理类型和实体.由 Atlas 管理的所有元数据对象（例如Hive表）都使用类型进行建模,并表示为实体.

• Graph Engine：
  在内部,Atlas通过使用图模型管理元数据对象.以实现元数据对象之间的巨大灵活性和丰富的关系.图引擎是负责在类型系统的类型和实体之间进行转换的组件,以及基础图形模型.除了管理图对象之外,图引擎还为元数据对象创建适当的索引,以便有效地搜索它们.

• JanusGraph：
  目前,Atlas 使用 JanusGraph图数据库来存储元数据对象. JanusGraph使用两个存储：默认情况下元数据存储配置为 HBase ,索引存储配置为 Solr

四、Atlas特性

1、元数据类型 & 实例

• 各种Hadoop和非Hadoop元数据的预定义类型.

• 能够为要管理的元数据定义新类型.

• 类型可以具有原始属性,复杂属性,对象引用;可以继承其他类型.

• 类型(type)实例（称为实体entities）捕获元数据对象详细信息及其关系.

• 可以更轻松地进行集成用于处理类型和实例的REST API.

2、分类

• 能够动态创建分类 - 如PII,EXPIRES_ON,DATA_QUALITY,SENSITIVE.

• 分类可以包含属性 - 例如EXPIRES_ON分类中的expiry_date属性.

• 实体(entities)可以与多个分类(classifications)相关联,从而实现更轻松的发现和安全实施.

• 通过血缘传播分类 - 自动确保分类在进行各种处理时遵循数据.

3、血缘

• 直观的UI,用于在数据流转时,通过各种流程时查看数据.

• 用于访问和更新血缘的REST API.

4、搜索/发现

• 直观的UI,按类型(type),分类(classification),属性值(attribute)或自由文本搜索实体.

• 丰富的REST API,可按复杂条件进行搜索.

• SQL搜索实体的查询语言 - 域特定语言（DSL）.

5、安全和数据屏蔽

• 用于元数据访问的细粒度安全性,实现对实体实例的访问控制以及添加/更新/删除分类等操作.

• 与Apache Ranger集成可根据与Apache Atlas中的实体相关的分类对数据访问进行授权/数据屏蔽.例如：

• 谁可以访问分类为PII,SENSITIVE的数据.

• 客户服务用户只能看到分类为NATIONAL_ID的列的最后4位数字.