使用 Amazon Glue、Amazon Neptune 和 Spline 为数据湖构建数据沿袭

{"value":"数据沿袭是数据湖数据治理策略中最关键的组成部分之一。数据沿袭有助于确保使用准确、完整和值得信赖的数据来推动业务决策。虽然数据目录提供了元数据管理功能和搜索功能，但数据沿袭可以更详细地捕获数据源之间的真实关系、数据来源以及数据的转换和汇集方法，从而显示数据的完整上下文。数据湖工作中涉及的不同角色可受益于数据沿袭：\n\n- 对于数据科学家来说，在数据从源流动到目标的过程中查看和跟踪数据流的功能，有助于轻松地了解特定指标或数据集的质量和来源\n- 数据平台工程师可以更深入地了解数据管道以及数据集之间的相互依赖关系\n- 数据管道中的更改更易于应用和验证，因为工程师可以识别作业的上游依赖关系和下游使用情况，从而正确评估服务影响\n随着数据环境复杂性的增加，客户在以经济高效且一致的方式捕获沿袭时，面临着巨大的可管理性挑战。在这篇文章中，我们将向您介绍为数据湖构建端到端的自动化数据沿袭解决方案的三个步骤：沿袭捕获、建模和存储，最后是可视化。\n\n在此解决方案中，我们捕获粗粒度和细粒度数据沿袭。粗粒度数据沿袭通常以业务用户为目标，侧重于捕获高级业务流程和整体数据工作流。通常，它可以捕获并直观显示数据集之间的关系及其在存储层之间的传播方式，包括提取、转换和加载（ETL, Extract, Transform, and Load）作业及操作信息。细粒度数据沿袭则可用于查看列级别的沿袭以及处理和分析管道中的数据转换步骤。\n\n### **解决方案概览**\n\nApache Spark 是在数据湖中进行大规模数据处理的最流行的引擎之一。我们的解决方案使用 [Spline 代理](https://github.com/AbsaOSS/spline-spark-agent)从 Spark 作业中捕获运行时沿袭信息，由 [Amazon Glue](https://aws.amazon.com/glue/) 提供支持。我们使用 [Amazon Neptune](https://aws.amazon.com/neptune/) 对沿袭数据建模以便进行分析和可视化，这是专为存储和查询高度关联的数据集而优化的专用图数据库\n\n下图展示了该解决方案的架构。我们使用 Amazon Glue Spark ETL 作业来执行数据摄入、转换和加载。每个 Amazon Glue 作业中都配置了 Spline 代理，用于捕获沿袭和运行指标，并将此类数据发送到沿袭 REST API。该后端由生产者和使用者终端节点组成，由 [Amazon API Gateway](https://aws.amazon.com/cn/api-gateway/?trk=cndc-detail) 和 Amazon Lambda 函数提供支持。在将传入的沿袭对象存储到 Neptune 数据库之前，生产者终端节点会对其进行处理。我们通过使用者终端节点提取特定的沿袭图，用于前端应用程序中的不同可视化。我们通过 Neptune 笔记本对图表进行临时交互式分析。\n\n\n\n我们在 [GitHub ](https://github.com/aws-samples/data-lineage-for-data-lake-example)上提供了示例代码和 Terraform 部署脚本，可用于将此解决方案快速部署到 Amazon 云。\n\n### **数据沿袭捕获**\n\nSpline 代理是一个开源项目，可以在运行时自动从 Spark 作业中获取数据沿袭，而无需修改现有 ETL 代码。它监听 Spark 的查询运行事件，从作业运行计划中提取沿袭对象，并将它们发送到预配置的后端（例如 HTTP 终端节点）。代理还会自动收集作业运行指标，例如输出行数。截至撰写本文时，Spline 代理仅适用于 Spark SQL（DataSet/DataFrame API），而不适用于 RDDs/DynamicFrames。\n\n以下屏幕截图显示了如何将 [Spline 代理](https://github.com/AbsaOSS/spline-spark-agent)与 Amazon Glue Spark 作业集成。Spline 代理是一个需要添加到 Java 类路径中的 uber JAR。设置 Spline 代理需要以下配置：\n\n- ```spark.sql.queryExecutionListeners``` 配置用于在 Spline 侦听器初始化期间注册它。\n- ```spark.spline.producer.url``` 指定 Spline 代理应向其发送沿袭数据的 HTTP 服务器的地址。\n\n\n\n我们构建了一个与 Spline 代理兼容的数据沿袭 API。此 API 可协助将沿袭数据插入到 Neptune 数据库，以及进行图形提取用于可视化。Spline 代理需要三个 HTTP 终端节点：\n\n- **/status** – 用于运行状况检查\n- **/execution-plans** – 用于在提交作业供运行后发送捕获的 Spark 执行计划\n- **/execution-events** – 用于在作业完成时发送作业的运行指标\n\n我们还创建了其他终端节点来管理数据湖中的各种元数据，例如存储层的名称和数据集分类。\n\n运行 Spark SQL 语句或调用 DataFrame 操作时，Spark 的优化引擎（即 Catalyst）会生成不同的查询计划：逻辑计划、优化的逻辑计划和物理计划，可以使用 [EXPLAIN 语句](https://spark.apache.org/docs/latest/sql-ref-syntax-qry-explain.html)对其进行检查。在作业运行中，Spline 代理解析已分析的逻辑计划，用于构建 JSON 沿袭对象。该对象由以下部分组成：\n\n- 唯一的作业运行 ID\n- 引用架构（属性名称和数据类型）\n- 操作列表\n- 其他系统元数据，例如 Spark 版本和 Spline 代理版本\n\n\n运行计划指定 Spark 作业执行的步骤，从读取数据源、应用不同的转换到最终将作业的输出保留到存储位置。\n\n总而言之，Spline 代理不仅捕获作业的元数据（例如作业名称以及运行日期和时间）、输入和输出表（例如数据格式、物理位置和架构），还捕获有关业务逻辑的详细信息（作业执行的类 SQL 操作，例如联接、筛选、预测和聚合）。\n\n### **数据建模和存储**\n\n数据建模始于业务需求和使用场景，然后将这些需求映射到用于存储和组织数据的结构中。在数据湖的数据沿袭中，数据资产（作业、表和列）之间的关系与这些资产的元数据同样重要。因此，图数据库适合对这种高度关联的实体进行建模，从而可以高效地理解数据中复杂而深入的关系网络。\n\nNeptune 是一项快速可靠的完全托管式图数据库服务，可帮助您轻松构建和运行具有高度互连数据集的应用程序。您可使用 Neptune 创建复杂的交互式图形应用程序，在几毫秒内查询数十亿个关系。Neptune 支持三种流行的图形查询语言：用于属性图的 [Apache TinkerPop Gremlin](https://github.com/apache/tinkerpop) 和 [openCypher](https://s3.amazonaws.com/artifacts.opencypher.org/openCypher9.pdf)，以及用于 W3C 的 RDF 数据模型的 [SPARQL](https://www.w3.org/TR/sparql11-query/)。在此解决方案中，我们使用属性图的基元（包括顶点、边、标注和属性）来建模对象，并使用 [gremlinpython ](https://pypi.org/project/gremlinpython/)库与图形进行交互。\n\n数据模型的目标是为数据资产及其在数据湖中的关系提供抽象概念。在生产者 Lambda 函数中，我们首先解析 JSON 沿袭对象，用于构造作业、表和操作之类的逻辑实体，然后在 Neptune 中构建最终的图表。\n\n\n\n如前所述，通过这种数据模型，我们能够轻松地遍历图形，提取粗粒度和细粒度的数据沿袭。\n\n### **数据沿袭可视化**\n\n您可以使用由 Lambda 函数支持的使用者终端节点，从 Neptune 中提取沿袭图的特定视图。沿袭在不同级别的分层视图使得最终用户可以轻松地分析信息。\n\n以下屏幕截图显示了所有作业和表的数据沿袭视图。\n\n\n\n以下屏幕截图显示了特定作业计划的视图。\n\n\n\n以下屏幕截图详细显示了作业所执行的操作。\n\n\n\n这些图表使用 [vis.js](https://visjs.org/) 网络开源项目进行可视化。您可以与图形元素交互，以了解有关实体属性的更多信息，例如数据架构。\n\n### **结论**\n\n在这篇文章中，我们向您展示了架构设计选项，利用这些选项可以在多账户 Amazon 环境中，使用 Neptune 和 Spline 代理，跨数据湖自动收集 Amazon Glue Spark ETL 作业的端到端数据沿袭。这种方法实现了对元数据的搜索，有助于获取洞察并更好地了解整个组织的数据沿袭状况。建议的解决方案使用 Amazon 托管和[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)服务，这些服务具有扩展能力且可配置，可实现高可用性和高性能。\n\n有关此解决方案的更多信息，请参阅 [Github](https://github.com/aws-samples/data-lineage-for-data-lake-example)。您可以修改代码以扩展数据模型和 API。\n\n### **本篇作者**\n\n\n\n#### **hoa Nguyen**\n\nKhoa Nguyen 是 Amazon Web Services 的高级大数据架构师。他与大型企业客户和 Amazon 合作伙伴合作，提供大数据和 AWS 服务方面的专业知识，加快客户实现业务成果的速度。\n\n\n\n#### **Krithivasan Balasubramaniyan**\n\nKrithivasan Balasubramaniyan 是 Amazon Web Services 的首席顾问。他为全球企业客户的数字化转型之旅提供支持，并帮助构建云原生的解决方案。\n\n\n\n#### **Rahul Shaurya**\n\nRahul Shaurya 是 Amazon Web Services 的高级大数据架构师。他帮助客户并与企业客户密切合作，在 Amazon 上构建数据湖和分析应用程序。","render":"<p>数据沿袭是数据湖数据治理策略中最关键的组成部分之一。数据沿袭有助于确保使用准确、完整和值得信赖的数据来推动业务决策。虽然数据目录提供了元数据管理功能和搜索功能，但数据沿袭可以更详细地捕获数据源之间的真实关系、数据来源以及数据的转换和汇集方法，从而显示数据的完整上下文。数据湖工作中涉及的不同角色可受益于数据沿袭：</p>\n<ul>\\n<li>对于数据科学家来说，在数据从源流动到目标的过程中查看和跟踪数据流的功能，有助于轻松地了解特定指标或数据集的质量和来源</li>\n<li>数据平台工程师可以更深入地了解数据管道以及数据集之间的相互依赖关系</li>\n<li>数据管道中的更改更易于应用和验证，因为工程师可以识别作业的上游依赖关系和下游使用情况，从而正确评估服务影响<br />\\n随着数据环境复杂性的增加，客户在以经济高效且一致的方式捕获沿袭时，面临着巨大的可管理性挑战。在这篇文章中，我们将向您介绍为数据湖构建端到端的自动化数据沿袭解决方案的三个步骤：沿袭捕获、建模和存储，最后是可视化。</li>\n</ul>\\n<p>在此解决方案中，我们捕获粗粒度和细粒度数据沿袭。粗粒度数据沿袭通常以业务用户为目标，侧重于捕获高级业务流程和整体数据工作流。通常，它可以捕获并直观显示数据集之间的关系及其在存储层之间的传播方式，包括提取、转换和加载（ETL, Extract, Transform, and Load）作业及操作信息。细粒度数据沿袭则可用于查看列级别的沿袭以及处理和分析管道中的数据转换步骤。</p>\n<h3><a id=\\"_9\\"></a><strong>解决方案概览</strong></h3>\\n<p>Apache Spark 是在数据湖中进行大规模数据处理的最流行的引擎之一。我们的解决方案使用 <a href=\\"https://github.com/AbsaOSS/spline-spark-agent\\" target=\\"_blank\\">Spline 代理</a>从 Spark 作业中捕获运行时沿袭信息，由 <a href=\\"https://aws.amazon.com/glue/\\" target=\\"_blank\\">Amazon Glue</a> 提供支持。我们使用 <a href=\\"https://aws.amazon.com/neptune/\\" target=\\"_blank\\">Amazon Neptune</a> 对沿袭数据建模以便进行分析和可视化，这是专为存储和查询高度关联的数据集而优化的专用图数据库</p>\\n<p>下图展示了该解决方案的架构。我们使用 Amazon Glue Spark ETL 作业来执行数据摄入、转换和加载。每个 Amazon Glue 作业中都配置了 Spline 代理，用于捕获沿袭和运行指标，并将此类数据发送到沿袭 REST API。该后端由生产者和使用者终端节点组成，由 Amazon API Gateway 和 Amazon Lambda 函数提供支持。在将传入的沿袭对象存储到 Neptune 数据库之前，生产者终端节点会对其进行处理。我们通过使用者终端节点提取特定的沿袭图，用于前端应用程序中的不同可视化。我们通过 Neptune 笔记本对图表进行临时交互式分析。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/80fdc9b303a64a7b957d9e37318290ff_image.png\\" alt=\\"image.png\\" /></p>\n<p>我们在 <a href=\\"https://github.com/aws-samples/data-lineage-for-data-lake-example\\" target=\\"_blank\\">GitHub </a>上提供了示例代码和 Terraform 部署脚本，可用于将此解决方案快速部署到 Amazon 云。</p>\\n<h3><a id=\\"_19\\"></a><strong>数据沿袭捕获</strong></h3>\\n<p>Spline 代理是一个开源项目，可以在运行时自动从 Spark 作业中获取数据沿袭，而无需修改现有 ETL 代码。它监听 Spark 的查询运行事件，从作业运行计划中提取沿袭对象，并将它们发送到预配置的后端（例如 HTTP 终端节点）。代理还会自动收集作业运行指标，例如输出行数。截至撰写本文时，Spline 代理仅适用于 Spark SQL（DataSet/DataFrame API），而不适用于 RDDs/DynamicFrames。</p>\n<p>以下屏幕截图显示了如何将 <a href=\\"https://github.com/AbsaOSS/spline-spark-agent\\" target=\\"_blank\\">Spline 代理</a>与 Amazon Glue Spark 作业集成。Spline 代理是一个需要添加到 Java 类路径中的 uber JAR。设置 Spline 代理需要以下配置：</p>\\n<ul>\\n<li><code>spark.sql.queryExecutionListeners</code> 配置用于在 Spline 侦听器初始化期间注册它。</li>\\n<li><code>spark.spline.producer.url</code> 指定 Spline 代理应向其发送沿袭数据的 HTTP 服务器的地址。</li>\\n</ul>\n<p><img src=\\"https://dev-media.amazoncloud.cn/0b4bbe5e92ac4293a7ea4bf7fb8b1b49_image.png\\" alt=\\"image.png\\" /></p>\n<p>我们构建了一个与 Spline 代理兼容的数据沿袭 API。此 API 可协助将沿袭数据插入到 Neptune 数据库，以及进行图形提取用于可视化。Spline 代理需要三个 HTTP 终端节点：</p>\n<ul>\\n<li><strong>/status</strong> – 用于运行状况检查</li>\\n<li><strong>/execution-plans</strong> – 用于在提交作业供运行后发送捕获的 Spark 执行计划</li>\\n<li><strong>/execution-events</strong> – 用于在作业完成时发送作业的运行指标</li>\\n</ul>\n<p>我们还创建了其他终端节点来管理数据湖中的各种元数据，例如存储层的名称和数据集分类。</p>\n<p>运行 Spark SQL 语句或调用 DataFrame 操作时，Spark 的优化引擎（即 Catalyst）会生成不同的查询计划：逻辑计划、优化的逻辑计划和物理计划，可以使用 <a href=\\"https://spark.apache.org/docs/latest/sql-ref-syntax-qry-explain.html\\" target=\\"_blank\\">EXPLAIN 语句</a>对其进行检查。在作业运行中，Spline 代理解析已分析的逻辑计划，用于构建 JSON 沿袭对象。该对象由以下部分组成：</p>\\n<ul>\\n<li>唯一的作业运行 ID</li>\n<li>引用架构（属性名称和数据类型）</li>\n<li>操作列表</li>\n<li>其他系统元数据，例如 Spark 版本和 Spline 代理版本</li>\n</ul>\\n<p>运行计划指定 Spark 作业执行的步骤，从读取数据源、应用不同的转换到最终将作业的输出保留到存储位置。</p>\n<p>总而言之，Spline 代理不仅捕获作业的元数据（例如作业名称以及运行日期和时间）、输入和输出表（例如数据格式、物理位置和架构），还捕获有关业务逻辑的详细信息（作业执行的类 SQL 操作，例如联接、筛选、预测和聚合）。</p>\n<h3><a id=\\"_50\\"></a><strong>数据建模和存储</strong></h3>\\n<p>数据建模始于业务需求和使用场景，然后将这些需求映射到用于存储和组织数据的结构中。在数据湖的数据沿袭中，数据资产（作业、表和列）之间的关系与这些资产的元数据同样重要。因此，图数据库适合对这种高度关联的实体进行建模，从而可以高效地理解数据中复杂而深入的关系网络。</p>\n<p>Neptune 是一项快速可靠的完全托管式图数据库服务，可帮助您轻松构建和运行具有高度互连数据集的应用程序。您可使用 Neptune 创建复杂的交互式图形应用程序，在几毫秒内查询数十亿个关系。Neptune 支持三种流行的图形查询语言：用于属性图的 <a href=\\"https://github.com/apache/tinkerpop\\" target=\\"_blank\\">Apache TinkerPop Gremlin</a> 和 <a href=\\"https://s3.amazonaws.com/artifacts.opencypher.org/openCypher9.pdf\\" target=\\"_blank\\">openCypher</a>，以及用于 W3C 的 RDF 数据模型的 <a href=\\"https://www.w3.org/TR/sparql11-query/\\" target=\\"_blank\\">SPARQL</a>。在此解决方案中，我们使用属性图的基元（包括顶点、边、标注和属性）来建模对象，并使用 <a href=\\"https://pypi.org/project/gremlinpython/\\" target=\\"_blank\\">gremlinpython </a>库与图形进行交互。</p>\\n<p>数据模型的目标是为数据资产及其在数据湖中的关系提供抽象概念。在生产者 Lambda 函数中，我们首先解析 JSON 沿袭对象，用于构造作业、表和操作之类的逻辑实体，然后在 Neptune 中构建最终的图表。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/6abb2f0bc20d47e7abaf49bce84b12a6_image.png\\" alt=\\"image.png\\" /></p>\n<p>如前所述，通过这种数据模型，我们能够轻松地遍历图形，提取粗粒度和细粒度的数据沿袭。</p>\n<h3><a id=\\"_62\\"></a><strong>数据沿袭可视化</strong></h3>\\n<p>您可以使用由 Lambda 函数支持的使用者终端节点，从 Neptune 中提取沿袭图的特定视图。沿袭在不同级别的分层视图使得最终用户可以轻松地分析信息。</p>\n<p>以下屏幕截图显示了所有作业和表的数据沿袭视图。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/32a3bc24b4f54664ab925e6b274d274f_image.png\\" alt=\\"image.png\\" /></p>\n<p>以下屏幕截图显示了特定作业计划的视图。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/4256ee2ff303488282a7b11ad5863104_image.png\\" alt=\\"image.png\\" /></p>\n<p>以下屏幕截图详细显示了作业所执行的操作。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/8a1ea794aadd415e83223830e43c922c_image.png\\" alt=\\"image.png\\" /></p>\n<p>这些图表使用 <a href=\\"https://visjs.org/\\" target=\\"_blank\\">vis.js</a> 网络开源项目进行可视化。您可以与图形元素交互，以了解有关实体属性的更多信息，例如数据架构。</p>\\n<h3><a id=\\"_80\\"></a><strong>结论</strong></h3>\\n<p>在这篇文章中，我们向您展示了架构设计选项，利用这些选项可以在多账户 Amazon 环境中，使用 Neptune 和 Spline 代理，跨数据湖自动收集 Amazon Glue Spark ETL 作业的端到端数据沿袭。这种方法实现了对元数据的搜索，有助于获取洞察并更好地了解整个组织的数据沿袭状况。建议的解决方案使用 Amazon 托管和无服务器服务，这些服务具有扩展能力且可配置，可实现高可用性和高性能。</p>\n<p>有关此解决方案的更多信息，请参阅 <a href=\\"https://github.com/aws-samples/data-lineage-for-data-lake-example\\" target=\\"_blank\\">Github</a>。您可以修改代码以扩展数据模型和 API。</p>\\n<h3><a id=\\"_86\\"></a><strong>本篇作者</strong></h3>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/7a272d3534c54718976d574c07374074_image.png\\" alt=\\"image.png\\" /></p>\n<h4><a id=\\"hoa_Nguyen_90\\"></a><strong>hoa Nguyen</strong></h4>\\n<p>Khoa Nguyen 是 Amazon Web Services 的高级大数据架构师。他与大型企业客户和 Amazon 合作伙伴合作，提供大数据和 AWS 服务方面的专业知识，加快客户实现业务成果的速度。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/5e942dcb65cd45e1a5b30bf1ea576769_image.png\\" alt=\\"image.png\\" /></p>\n<h4><a id=\\"Krithivasan_Balasubramaniyan_96\\"></a><strong>Krithivasan Balasubramaniyan</strong></h4>\\n<p>Krithivasan Balasubramaniyan 是 Amazon Web Services 的首席顾问。他为全球企业客户的数字化转型之旅提供支持，并帮助构建云原生的解决方案。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/5002a93a8bab46abb73619c89cb48f61_image.png\\" alt=\\"image.png\\" /></p>\n<h4><a id=\\"Rahul_Shaurya_102\\"></a><strong>Rahul Shaurya</strong></h4>\\n<p>Rahul Shaurya 是 Amazon Web Services 的高级大数据架构师。他帮助客户并与企业客户密切合作，在 Amazon 上构建数据湖和分析应用程序。</p>\n"}