使用 LeapLogic 自动将传统 ETL 现代化为 Amazon Glue（由 Impetus Technologies Inc.）

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/ENT328-S-Automate_the_modernization_of_legacy_ETL_to_AWS_Glue_using_LeapLogic__sponsored_by_Impetus_Technologies_Inc____Impetus_Technologies_Inc_-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 传统的 ETL 系统通常运营和维护成本高昂，不是为广泛的用户群设计的，而且无法扩展以支持现代实时和流式应用。在本闪电讲座中，您将了解如何加快 ETL 现代化进程，实现云原生基础架构的现代化，围绕云原生原则对 ETL 环境进行现代化，并将 ETL 代码和其他数据集成资产模块化，以实现最大程度的重复使用。探索如何自动转换传统 ETL 工作负载、弹性扩展工作负载并实现集中可视性。此外，还将了解如何优化云原生迁移后 ETL 工作负载的管理成本。本讲座由亚马逊云科技合作伙伴 Impetus Technologies Inc. ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 视频开始，Impetus Technologies的Mohan Raj向观众介绍了演讲者，其中包括来自亚马逊云科技的Y、Grace和Abhishek Sheikh。此次演讲的主题为“利用Impetus的LeapLogic产品实现传统ETL工作负载现代化的现代化ETL至亚马逊云科技Glue加速器”。 Y首先对今年有机会在re:Invent上再次发表演讲表示感谢。作为亚马逊云科技Glue的市场专家，Y解释道，演讲的重点将放在如何使用Impetus的LeapLogic产品自动化传统的ETL工作负载上。 许多客户在应对传统ETL解决方案时仍面临一些挑战。Y从三个关键利益相关者的角度概述了这些挑战：IT领导层、数据管理团队和业务团队。 从IT领导层的视角来看，尽管没有提供多人支持，但传统ETL解决方案每年都在变得越来越昂贵。客户感到陷入长期承诺和专有代码。对于数据工程师来说，无论是基于集群的还是基于本地的，都存在基础设施管理问题。可扩展性有限，员工流动需要不断学习新工具。业务团队希望更快的SLA和更灵活的解决方案。 这正是亚马逊云科技Glue能够完美解决的问题。由于其按使用量计价的定价方式，亚马逊云科技Glue具有成本效益，可以无限扩展而无硬限制，避免了对Spark和Python等开源引擎的锁定，并能够通过Glue Studio的可视化界面支持更多用户。最棒的是，它完全[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)，所以无需管理基础设施。 Y简短地介绍了一下亚马逊云科技Glue——一款[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)的数据集成服务，使得发现、准备和组合数据分析、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和应用程序开发的数据变得更加简单。 亚马逊云科技Glue的优点包括许多内置转换以便于使用，自动扩展以避免许可证成本和闲置基础设施，以及在一统服务中支持强大的引擎如Spark和Python。它支持所有用户角色（从开发者到业务分析师）和各种工作负载（从批量到实时）。 随着越来越多的客户转向云端，许多人寻求从各种来源摄入数据。亚马逊云科技致力于根据客户需求不断扩大Glue中原生支持的连接器数量。在2022年，他们增加了Iceberg、Delta Lake和Apache Hudi等开放式表格式。为了支持ETL和ELT方法，还为[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)推出了新的Spark连接器。随后，又为Redshift Spectrum、Google BigQuery和Snowflake添加了连接器，从而能够在这些数据仓库上使用相同的ETL/ELT框架。 在re:Invent前夕，亚马逊云科技又添加了7个原生Glue连接器，包括Teradata、Vertica、亚马逊OpenSearch服务、SAP HANA、Azure Cosmos DB和Azure SQL数据库，这大大扩展了Glue可以原生集成的数据源。 除了原生连接器外，亚马逊云科技Glue还提供来自亚马逊云科技市场的合作伙伴创建的付费连接器，并可以使用JDBC和已暴露的API构建自定义连接器。这几乎可以解锁任何来源的数据摄入。 许多客户由于需求高涨而寻求帮助，将从传统ETL解决方案迁移到Glue。为此，亚马逊云科技去年推出了ETL现代化计划，以评估工作负载，通过转移到Glue来降低成本，并加速迁移过程。该计划提供免费的无偿评估和用于将遗产ETL代码转换为Glue的自动化测试的概念验证。亚马逊云科技与客户紧密合作，进行总拥有成本比较、架构设计和即将推出的路线图见解，以支持成功的迁移。 Impetus创建了一个名为LeapLogic的解决方案，用于自动化从Informatica、Talend、SAS、DataStage和Ab Initio等遗产解决方案到亚马逊云科技Glue的代码转换。根据成功客户活动的数据，这可以解锁高达80%的自动化代码转换，从而加速迁移过程。 接下来，来自亚马逊云科技的Grace Sage将讨论在现场看到的客户趋势以及他们如何采用亚马逊云科技Glue从遗产ETL工具迁移。第一个主要趋势是对摆脱需要按许可证收费的遗产专用ETL工具的兴趣日益增长。客户希望像Glue这样的云服务的灵活性、弹性并按使用情况付费的经济性。其次，一些客户已经迁移到云数据仓库如Snowflake，但仍然在这些系统上使用ETL。Grace解释道,将ETL与数据仓库分离并转向Glue可以通过优化20-30%的成本来实现。 此外，Glue的无限制可扩展性和按需付费模式也吸引了众多客户。他们热衷于摆脱对现场解决方案需求的维护和对补丁升级的需求。 另一个主要趋势是客户需要与各种数据源进行广泛连接。为此，亚马逊云科技推出了数百个原生Glue连接器，以实现对各种数据源的访问。 随着生成性AI的发展，客户还希望将这些工作负载的数据源混合在一起，并利用Glue的集成数据质量功能以确保完整性。 最后，避免每次许可费用的开放源代码ETL对于寻求优化成本的客户来说具有很大吸引力。 亚马逊云科技的一个客户实例是某大型金融服务公司，该公司拥有3000-5000个运行了15-20年的DataStage作业，希望实现ETL现代化。在评估了几个合作伙伴后，他们选择了Impetus，因为LeapLogic工具可以提供对代码复杂度、转换努力和自动化水平的免费评估。 这个评估给了客户信心，80%的现有ETL可以自动转换为Glue。它还可以为迁移提供准确的成本和努力估计，以及预测的性能改进和成本节省。 亚马逊云科技、Impetus和客户共同努力，调整迁移工作的规模，构建获得高管批准的业务案例，并开始成功地向亚马逊云科技Glue的现代转型。 接下来，来自Impetus的Abhishek Sheikh概述了LeapLogic工具。他解释了现代工作负载的常见挑战，这些工作负载已经运行了15-20年，几乎没有文档。 通常，公司有两个极端选择 - 将遗留的ETL按原样提升到云端，这不会实现云的益处，或者从头开始完全重新设计，这非常耗时。 Impetus的方法在两者之间找到了平衡，使用LeapLogic以自动化的方式现代化遗留的ETL。这个[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)引擎分析代码作品，如Informatica映射和数据舞台作业配置，以识别业务逻辑、依赖关系和复杂性。 然后，它可以编程地将Informatica PowerCenter等遗留ETL转换为亚马逊云科技Glue笔记本和Glue Studio的可视化工作流程。LeapLogic方法包括四个阶段: 1. 评估 - LeapLogic扫描所有代码作品，客观地评估迁移的复杂性、努力目标和目标架构。这将产生一个固定报价、固定期限的项目计划。 2. 转换过程 - LeapLogic引擎能够自动识别并提取业务逻辑，将遗留ETL系统的85-95%顺利转换为亚马逊云科技的Glue代码。Impetus工程师会处理剩余的部分，以确保实现100%的代码转换。 3. 验证 - 在转换前后，LeapLogic会对代码语法和数据完整性进行验证，确保准确性。 4. 运营化 - Impetus能够将Glue代码与现有的CI/CD和部署管道无缝集成。 这种方法的核心优势在于显著提高了自动化程度，从而减少了工作和时间表。同时，相较于传统手动编码的ETL，它还能强制实施一致性和最佳实践。此外，经过转换的Glue代码在性能上达到了甚至超过了旧系统的标准。 Abhishek通过一个客户成功案例对此进行了说明，该案例涉及对350多个Informatica工作流的评估。LeapLogic自动完成了超过80%的转换工作，使迁移速度远超客户预期。 最后，Abhishek强调Impetus能与亚马逊云科技专业服务紧密合作，为客户提供全方位的迁移支持。他表示，Impetus是亚马逊云科技的MAP合作伙伴，LeapLogic不仅能转换ETL任务，还能处理更广泛的工作负载。 Abhishek邀请与会者参观Impetus展台观看演示，并探讨他们遗留系统的潜在迁移评估。他感谢大家的关注。 总的来说，这个视频详细阐述了Impetus的LeapLogic如何与亚马逊云科技携手，将过时的ETL系统自动化升级为基于亚马逊云科技Glue的数据集成。视频中提供了多个实际案例，展示了金融服务等行业在自动化、性能提升和成本节省方面的显著成果。对于希望将老化的ETL工作现代化的任何组织，LeapLogic都为其提供了一条可靠地迁移至[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)亚马逊云科技Glue数据集成系统的道路。 **下面是一些演讲现场的精彩瞬间：** 在演讲过程中，领导将演讲稿传递给下一位发言人，这标志着演讲的一个关键转折点。  亚马逊云科技的Glue提供了一种经济高效、可扩展且[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)的数据集成解决方案，通过开源引擎和灵活的用户界面来增强用户功能。  亚马逊云科技的Glue为ETL工作负载带来了易用性、可扩展性和开箱即用的强大引擎。  生成式人工智能正利用亚马逊云科技的Glue优化数据质量，以实现客户将其数据无缝整合到用于实际应用的LLM模型中的目标。  一家大型金融服务公司希望将其ETL环境现代化，以便迁移到亚马逊云科技的Glue，但需要了解相关复杂性、时间表和性能优势方面的帮助。  Leap Logic分析代码，以根据数据和指标推荐将DataStage迁移到基于Glue的ETL的最佳亚马逊云科技服务。  欢迎莅临展位981，了解更多关于工作量评估和亚马逊云科技功能的演示。  ## 总结 本视频探讨了如何利用Impetus Technologies的自动化代码转换工具Leap Logic，将传统的ETL（提取、转换、加载）工作负载进行现代化改造，以便将其迁移至亚马逊云科技的Amazon Glue服务。该视频强调了传统ETL解决方案所面临的挑战，以及转向Amazon Glue所带来的优势。 关键观点1：随着Informatica、Talend和数据舞台等传统ETL解决方案变得越来越昂贵，且不提供多人协作支持，这些解决方案还通过专有代码和长期承诺将客户锁定。相比之下，Amazon Glue通过成本效益、可扩展性、开源和[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)功能解决了这些问题。 关键观点2：Impetus Technologies的Leap Logic是一款基于[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的引擎，能够分析传统ETL代码并自动将其转换为Amazon Glue笔记本。这种转换可以实现80-95%的自动化，从而减少超过50%的手动工作量。此外，Leap Logic还能对转换后的代码进行验证，以确保其正确性。 关键观点3：采用Leap Logic的优势包括更短的上市时间、降低的成本、更高的性能和代码的一致性。Impetus Technologies可以提供从评估到Amazon Glue生产部署的端到端服务。 总之，对于希望对其遗留ETL进行现代化的组织来说，Impetus Technologies的Leap Logic提供了一个将代码自动转换为Amazon Glue的方法，从而在提高敏捷性和性能的同时降低了成本和人工努力。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")