用零ETL打破数据管道瓶颈(由Slalom赞助)

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/ANT348-S-Breaking_the_data_pipeline_bottleneck_with_zero_ETL__sponsored_by_Slalom___Slalom_-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 传统的数据集成流程面临着云数据世界中的新流程:零ETL(提取、转换、加载)。零ETL集成是一种自动化数据流水线的每一部分的方法,帮助构建者克服数据集成和流水线中的常见挑战,实现近实时分析。在这次闪电式演讲中,Slalom 探索了亚马逊云科技的零ETL愿景以及相关的亚马逊云科技服务和技术,包括[Amazon Aurora](https://aws.amazon.com/cn/rds/aurora/?trk=cndc-detail)与[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)的零ETL集成。本次演示由亚马逊云科技合作伙伴Slalom提供。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共700字，阅读时间大约是4分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> Rob Koch，作为Slalom公司的一员，非常荣幸地成为了亚马逊云科技首批Data Heroes之一，已经开始学习零ETL的相关知识。他的目标是让数据在没有复杂的转换过程中被提取并加载到不同的地点。在将数据从交易型数据库移动到分析型数据库时，有许多特定的需求。为了展示这一点，Rob准备了一个演示，展示了如何使用预录的控制台视频集成[Amazon Aurora](https://aws.amazon.com/cn/rds/aurora/?trk=cndc-detail) MySQL数据库和[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)。 Rob解释说，传统的ETL管道通常需要协调、维护和故障排除，而且可能容易出错，修复起来耗时费力。零ETL简化了数据移动，只需点击一下按钮即可实现。它允许在原地查询数据，然后将其移动以避免延迟、拥堵和问题交付时间等问题。零ETL增强了DevOps实践，如源控制、部署和安全。 为了展示零ETL的实际应用，Rob准备了一个演示，向观众展示了如何设置新的Aurora数据库以及指定参数，如数据库名、密码和实例大小。他选择了一个db.t3.small实例以节省费用。公共可访问性允许通过DBeaver等工具进行查询。 接着，Rob展示了如何使用服务器无数据共享创建与Aurora集成的[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)集群。这包括创建命名空间和工作组、设置IAM角色以及将Aurora数据库添加为集成源。然后在Redshift中查询来自Aurora的近实时复制数据。罗伯提到，在刷新之后，Aurora中的插入、更新和删除等更改将在几秒钟内同步到Redshift。binlog复制功能使这种平滑同步成为可能。 最后，Rob通过在Aurora中使用DBeaver更新记录进行了演示，然后在刷新后将其复制到Redshift。他将城市名称从Lufkin更改为华盛顿州的西雅图。他还展示了在Aurora中添加和删除记录，而Redshift保持同步。只有来源Aurora数据库中的更改将在Redshift中反映。直接对Redshift进行的更改可能导致同步问题。 零ETL的优势包括节省数据管道维护时间、简化数据移动、防止ETL日志引发的存储问题、减少资源使用以及一个集成的管道出现问题需要解决的较少。通过在Redshift上进行分析方面的转换，可以避免因像Aurora这样的交易数据库的性能影响。它利用Redshift快速的分析能力并向现代的湖仓架构发展。 然而，Rob提到的一些缺点是目前的定制化程度不足和复制过程的可见性欠缺。复杂的数据类型（如地理空间）可能无法正常工作，而在出现问题时迅速调整也可能受到内部情况不了解的限制。尽管如此，零ETL还是改善了许多方面的好构架框架，包括安全和运营。它在现代数据平台中占据着重要的地位。 总的来说，亚马逊云科技的服务器无数据共享的零ETL大大减少了将数据从像Aurora这样的数据库移动到像Redshift这样的分析引擎的复杂性。它消除了传统ETL的负担，同时改进了架构。易用性和自动化的便利性提供了大量的时间节省。虽然在一些定制和调整方面存在一些缺点，但零ETL显然对于许多数据管道用例是有益的。 **下面是一些演讲现场的精彩瞬间：** 演讲者，作为亚马逊云科技的Data Hero，将探讨其关于打破管道瓶颈的零ETL的演讲主题。  亚马逊云科技的数据集成解决方案可以轻松实现自动化数据管道，从而简化分析过程。  领导者成功地将其MySQL数据库与[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)功能集成在一起。  通过采用零ETL方法，领导者能够节省时间并简化数据处理流程。  尽管领导者承认亚马逊云科技的零ETL数据管道中存在诸如缺乏定制性和透明度等缺点，但他相信这些缺陷将会得到改善。  此外，领导者强调了解决在将复杂数据类型与亚马逊云科技服务集成过程中可能遇到的挑战的重要性。  ## 总结 亚马逊云科技和re:Invent是亚马逊云科技发布重大消息并分享新服务见解的重要场合。在这些活动中，重点介绍了一项名为零ETL的全新功能，旨在简化数据管道。 据演讲者Rob Koch表示，零ETL能够自动将数据从类似Aurora的关系型数据库同步到类似Redshift的分析型数据库，从而免除手动协调和维护复杂ETL过程的困扰。 这项技术带来了一系列优势，如节省工程时间、减轻基础设施负担以及对源系统性能的潜在影响。在演示过程中，实时展示了MySQL数据库与Redshift之间的同步，而无需进行任何自定义编码操作。 然而，由于数据移动由亚马逊云科技内部管理，因此零ETL在可定制性方面存在局限。演讲者也承认，它可能无法完美处理所有复杂数据。尽管如此，零ETL还是简化了数据集成，并与亚马逊云科技的最佳实践保持一致。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")