零开销获取Amazon Redshift数据洞察的秘密武器

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/DAT341-Unlock_insights_on_Amazon_RDS_data_with_zero_ETL_to_Amazon_Redshift-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 利用亚马逊RDS for MySQL与亚马逊Redshift的全新零ETL集成,无缝解锁您的数据,并使其在亚马逊Redshift中可用。数据进入亚马逊Redshift后,您可以通过物化视图、跨多个数据存储的联邦访问以及与亚马逊SageMaker、亚马逊QuickSight等的无缝集成,为分析和AI/ML工作负载提供动力。在本次会议中,了解亚马逊RDS for MySQL与亚马逊Redshift的零ETL集成如何帮助您解决构建和运营数据管道的典型挑战。观看零ETL设置、持续的数据和模式复制以及监控的演示。了解为什么以及何时应该使用这一强大功能来加速您的数据战略。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 大数据的出现与高级分析技术使得数据成为了企业寻求竞争优势的关键资产。然而，许多组织往往难以充分利用日益增长的数据库的全部潜力。原因在于将不同数据源和孤立的数据库整合成集成的整体。这通常需要通过构建和维护复杂的ETL（提取、转换、加载）管道来实现数据的移动和重构。据IDC统计，目前企业数据中有90%是在过去两年内创建的，但实际上只有32%的组织能够从这些数据洪流中获得有价值的见解。 亚马逊云科技以其实现“零ETL”未来的宏伟愿景进入了市场。正如Sudipta Das（[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)的高级首席工程师）和Jim Tran（RDS的产品经理）所解释的那样，该公司已经开始了一项消除对繁琐ETL过程需求的雄心勃勃的旅程。其目标是让客户能够轻松直接地分析所在位置的交易数据，而不必承担昂贵且耗时的数据集成项目。 这个策略的核心是亚马逊Redshift，这是亚马逊云科技的专为大数据分析设计的云数据仓库解决方案。它具有先进的查询优化、列式存储和大规模并行处理功能，使客户能够在太字节级的结构化和半结构化数据上运行复杂查询。作为一项完全托管的服务，它还抽象掉了所有无差别的繁重工作，如供应、配置、扩展、保护和维护基础设施。这使得客户可以专注于仅仅从他们的数据中发现改变游戏的见解。 Redshift为来自所有主要行业的数万家客户提供了从定向营销到供应链优化的一切服务。例如，金融服务公司使用Redshift进行欺诈检测、风险管理和实时财务报告。媒体和娱乐公司分析消费者观看习惯以推动内容创作和个人化。医疗保健组织揭示患者洞察以改善临床结果。消费者品牌基于Redshift中的客户数据优化数字广告的相关性和影响。 亚马逊云科技（Amazon Web Services）的Redshift服务已经发展成为分析领域的核心组件。这款服务与各种数据源、分析工具和下游应用程序进行了原生集成。这些选项包括流处理、文件、数据库、数据湖、商业智能、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和数据目录等。在价格性能指标方面，Redshift的表现尤为出色。根据行业基准测试结果显示，Redshift在单次查询方面的性能相较于竞争对手的云计算数据仓库产品高出6倍，而在并发工作负载方面则高出7倍。 另一方面，[Amazon RDS](https://aws.amazon.com/cn/rds/?trk=cndc-detail)为在云端部署、操作和扩展关系数据库提供了一个全面托管的体验。其中，RDS for MySQL成为了最受欢迎的数据库引擎之一。它为客户提供了开源MySQL和MariaDB的兼容性，以及版本定向和自动补丁功能。通过处理备份、软件更新、高可用性和容量调配等常规管理任务，RDS for MySQL使得开发人员能够专注于应用逻辑。 RDS MySQL支持许多行业的关键任务工作负载。例如，金融服务公司使用RDS MySQL进行支付处理、移动银行应用和市场分析。游戏公司依赖RDS MySQL来处理来自热门在线游戏的数百万交易和TB级数据。媒体公司使用RDS MySQL存储驱动视频流应用的内容元数据和用户分析。网络规模公司（如Airbnb）使用RDS MySQL管理全球范围内的预订和房源数据。 这两个服务满足了非常不同的但互补的使用场景。RDS为高性能交易应用程序提供了理想的数据库基础。而Redshift则是一个现代分析平台，用于从大量数据集中得出洞察。然而，要跨越这些环境通常需要构建复杂的ETL管道以同步RDS和Redshift之间的数据。这可能会耗费专业工程师和数据科学家几周或几个月的时间，并且还需要随着架构演变和新数据流入而不断维护。这将导致宝贵的时间和资源从实际使用数据中被转移出去。 原文与译文基本一致，未做修改。 数据安全对于任何组织来说都至关重要。在整个数据处理过程中，无论是静态还是传输状态，都会对数据进行加密。保持数据的准确性至关重要。全面的数据类型映射以及对MySQL DDL语法的支持可以确保数据在迁移到Redshift时保持真实。弹性和适应性同样重要。检查机制、自我修复功能和重新同步功能确保了在发生中断时可以继续运行。提高性能同样关键。通过大规模并行加载和流式CDC，最大程度地减少了对MySQL事务性数据库的影响。实现低延迟以实现实时处理。低于20秒的复制延迟使实时分析成为可能。监控选项包括Redshift系统表、控制台集成和CloudWatch指标，用于追踪复制状态至表级。 尽管当前发布的版本主要针对RDS MySQL到Redshift的集成，但这只是更广泛零ETL战略的第一步，旨在简化亚马逊云科技生态系统中的数据分析。其目标是让客户能够轻松连接不同的数据源，消除复杂的数据整理逻辑，并专注于挖掘数据的价值。我们欢迎客户就零ETL路线图提供反馈，以帮助我们不断完善这一方案。 总的来说，寻求从数据中提取更多价值的组织可以通过使用RDS MySQL和Redshift之间新的零ETL集成来改变游戏规则。这种集成让操作数据轻松地移动到高性能的分析引擎中，从而实现实时洞察，而不需要复杂的管道过程。这正是亚马逊云科技以客户为中心的方法的体现：抽象出不同的工作负载，给予建设者力量。尽管零ETL仍处于初期阶段，但这种解决方案已经能为客户提供即时价值。它还为将来分析成为应用程序的自然组成部分而非附加组件奠定了基础。最终，消除繁琐的ETL使得客户可以将精力集中在最重要的任务上：释放数据的力量，以改变产品、企业和生活。 **下面是一些演讲现场的精彩瞬间：** 数据是实现组织更高价值和收入增长的关键因素。  通过实时业务洞察，数据提供了竞争优势。  亚马逊云科技的Redshift集成了诸如EMR、Glue、Athena和Spark等服务，实现了广泛的分析功能。  领导者们强调了亚马逊云科技如何使客户能够轻松快速地设置安全、可靠的数据管道，避免复杂的操作。  领导者们进一步阐述了Zero ETL与Redshift的集成如何在工作流程中发挥作用，从而实现从MySQL到Redshift的无持续监督的自动化和持续数据流。  领导者们还解释了亚马逊云科技Redshift如何高效迁移数据，同时不影响源数据库的性能。  最后，领导者们表示，尽管Zero ETL仍处于初期阶段，但他们仍然欢迎客户反馈，以便为其未来发展提供指导。  ## 总结 亚马逊Redshift与RDS MySQL的集成虽然强大且复杂，但却需要使用管道。然而，全新的零ETL集成已经消除了这种复杂性。现在，数据从MySQL流向Redshift的速度只需几分钟，而不是几个月。初始同步过程使用备份快照进行并行数据传输，而不会影响到MySQL的性能。持续的数据变更捕获技术会捕捉binlog更改并将其快速复制到Redshift。这个集成还处理数据映射、DDL更改、系统更新以及故障恢复等任务，使得数据在Redshift中得以神奇地呈现。 借助SQL、物化视图和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)等功能，Redshift能够在这些数据上实现强大的分析能力。它可以与数据湖、目录和商业智能工具等进行集成。零ETL集成的未来目标是简化分析过程，以便您可以更专注于挖掘洞察力。现在就查看预览并提供您的反馈吧。毕竟，零ETL才刚刚开始其发展之路。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")