通过将数据仓库迁移到 Amazon Redshift，实现分析现代化

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/ANT322-Modernize_analytics_by_moving_your_data_warehouse_to_Amazon_Redshift-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 您是否在硬件配置、软件修补、性能调试和可扩展性等数据仓库管理工作上花费了太多时间，导致没有足够的时间来构建应用程序和进行数据创新？数以万计的亚马逊云科技客户每天都依赖 [Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail) 在数秒内对其所有数据进行运行和扩展分析，而无需管理数据仓库基础设施。参加本次讲座，聆听亚马逊云科技客户分享他们使用 [Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail) 迁移到现代云数据仓库和分析的历程。了解构建强大的分析和 ML 应用程序以及在保持低成本的同时进行大规模操作的最佳实践。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 针对不同工作负载（如交易数据库和数据仓库）提供专为特定目标定制的数据库和数据分析服务，紧密整合各类服务以实现无缝的数据流程，以及内置治理、安全性和合规性功能，使客户能够专注于创新。在这幅亚马逊云科技的数据愿景画卷中，[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)作为一款核心的云计算数据仓库服务，正被全球各地的数千家企业每天都在使用。它能够处理数TB规模的结构化和半结构化数据，支持复杂的SQL查询以及各种分析方法。自问世以来，Redshift已在市场上走过了10多个年头，始终紧跟客户需求，推出新功能以实现最大价值。 在2013年首次推出Redshift时，随着数据量的爆炸式增长，客户需要高性能且极具成本效益的云数据仓库。作为首家在云端提供大规模并行处理数据仓库的厂商，Redshift以每年每TB仅1000美元的价格提供了无与伦比的价格性能。这仅为传统内部企业数据仓库成本的一小部分。 几年后，随着各行业数据量持续呈指数级增长，Redshift增加了诸如并发性扩展等功能，以允许无限制的用户和并发查询而不会性能下降。此外，Redshift还添加了针对位于[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail)数据湖中的原始数据的直接SQL分析的数据湖分析功能，以及存储和计算分离，以实现灵活的扩展。 最近，Redshift团队专注于投资四个关键领域以创造价值： 首先，继续打造最佳的全托管数据仓库，提高易用性、价格性能、可靠性和可用性。 其次，使用如Zero ETL等功能轻松地将所有数据统一在一起，实现在各种数据库、数据仓库和数据湖之间实时访问，而无需复制数据。 第三，不断扩充数据仓库内的高级分析功能，如与Spark的开放源代码分析和与Redshift ML的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)集成。 第四，通过内置的安全、治理和合规功能以及新的数据共享功能，加速创新。 许多令人兴奋的新功能是在2022年的re:Invent上发布的，包括用于跨亚马逊云科技数据库进行数据集成的Zero ETL、新的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)产品、高弹性的多区域可用性、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)集成以及对核心SQL分析的增强功能。 Manan随后分享了Redshift如何被客户以创新方式使用的真实世界示例，以从他们的数据和分析中实现巨大价值。 他们将其系统从单一的Redshift集群扩展为一个多集群架构，这个架构拥有中央供应数据仓库，为多个[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)轮辐数据仓库提供支持。这样的设计不仅提供了工作负载的隔离，还实现了自动暂停未使用集群的自动暂停功能，从而带来了显著的成本节省。 另一个例子是Fannie Mae，这是一家支持房屋所有权的抵押贷款融资公司。为了在业务部门之间实现创新并共享数据，Fannie Mae采用了基于Redshift和亚马逊云科技Glue Catalog的多账户策略。这种“数据网格”架构为去中心化提供了灵活性，同时也保持了共享治理和数据访问。这使得业务部门能够在独立创新的同时发现和协作共享数据。 最后是Moderna，这是一家制药公司，在mRNA疫苗领域处于领先地位。他们改变了自己获取真实世界临床试验和研究数据的过程。他们从耗时超过8天的特定、手动过程转变为了利用Redshift数据共享和亚马逊云科技Data Exchange的简化架构。这使得他们将新的试验和研究数据的上载速度从8天缩短到了不到3天。更快地访问数据帮助Moderna加速了高效COVID-19疫苗的开发和发布。 Manan随后介绍了两家航空公司行业的客户——联合航空公司和GE航空航天公司，分享了它们迁移到Redshift和现代化分析架构的过程。 来自联合航空公司的Sanjay Nayar首先介绍了United Next的背景，这是他们的雄心勃勃的增长计划，计划在未来几年内通过添加700多个新飞机来扩大其机队规模。他指出，联合航空公司将自己视为有翅膀的技术公司，而数据正是驱动其复杂全球运营不可或缺的动力。然而，他们的数据被困在跨多个遗留系统的孤岛中，使得在不同业务部门之间建立联系变得非常困难。为了解决这个问题，联合航空公司与亚马逊云科技合作设计了一个现代的基于云的数据湖和数据访问层，该层由[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)提供支持。他们在迁移过程中关注了四个关键支柱：确保数据质量，通过可观察性提高可靠性，使业务连续性具备恢复能力，并在迁移过程中谨慎规划容量，以确保性能不会下降。 一种新的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)架构将数据集中到[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail)中，随后可以借助联邦查询等功能高效地处理这些数据并将其用于Redshift。在他们的数据湖基础上，他们构建了一个[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)平台，并采用了数据网格的方法来支持用户的自主分析。因此，随着数据仓库规模扩大3倍，批量处理管道扩张6倍，以及流处理管道增加3倍，他们的数据处理管道得以大规模扩展。这还加快了跨业务部门的时间洞察能力的实现。 接下来，来自GE Aerospace的Alun Morris讲述了Redshift在他们分析架构现代化过程中的作用。他提供了关于GE Aerospace推动安全可持续飞行未来任务背景的信息。他们的本地数据湖为数千名用户提供服务，支持300多个来源系统，存储超过100TB的数据，但同时也面临着灵活性、孤立性和集中化方面的挑战。通过两年前迁移到Redshift的湖泊房屋模式，他们实现了灵活且可扩展的存储，支持分布式数据，以及针对统一数据访问的生态系统集成。 这有助于打破孤立性，支持去中心化的数据网格架构，与他们的业务领域保持一致。Redshift的关键功能如并发性扩展、[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)确保了为他们最终用户提供持续的创新和最佳性能。 最后，Manan鼓励与会者充分利用Redshift的新功能，并提供资源以帮助他们成功迁移和优化云数据仓库。他对演讲者和参与的数据专业人士表示感激。 **下面是一些演讲现场的精彩瞬间：** 曼恩·格尔（Manan Goel）担任亚马逊云科技 Redshift的产品经理，他邀请观众们参加一场关于如何将数据仓库迁移到云端以实现现代化分析的会议。  亚马逊云科技的Redshift[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)解决方案提供了简单便捷的数据仓储服务，用户无需担心基础设施管理问题，该方案还具有自动扩展、补丁更新、备份和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)功能，从而实现最佳性价比。  通过整合S3和Redshift，新的架构能够以灵活的方式快速将数据推向市场。  亚马逊云科技的部门领导分享了他们是如何利用Glue、EMR和Kinesis等亚马逊云科技服务来构建实时流数据管道的，这些管道还具备审计和控制功能。  亚马逊云科技使得业务用户能够通过数据网格架构将数据相互连接，从而提高数据的可用性，并为数据科学家提供自助服务功能。  架构图展示了亚马逊云科技如何支持不同的用户需求并提供定制的访问方式，同时在保持安全和合规性的基础上。  演讲者对观众的出席表示感谢，并邀请他们提供反馈意见，以便在未来的类似活动中取得更好的效果。  ## 总结 亚马逊Redshift是一款云计算数据仓库服务，它致力于帮助企业克服数据孤岛问题，充分发挥其数据和分析的价值。在亚马逊云科技的re:Invent上，有一个专题讨论了Redshift如何通过其在性能、可扩展性、安全性和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)方面的新功能来满足现代数据分析的需求，从而不断发展壮大。该专题首先概述了亚马逊云科技在分析领域的发展愿景，即提供专为数据库和分析服务设计的解决方案，实现服务之间的无缝集成，并内置治理和安全功能。作为优化用于PB级复杂SQL分析的云数据仓库，Redshift是这个愿景的核心组成部分。根据客户需求，Redshift将持续发展。近期的创新包括[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)部署、高可扩展性和可靠性的多AZ可用性以及跨数据库和数据湖的零ETL数据集成，以实现数据统一。新的SQL、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和数据共享功能也拓宽了Redshift的分析潜力。实际案例展示了客户如何使用Redshift的现代架构进行操作。例如，Peloton采用了带有Redshift的中心辐条设计来管理巨大的增长，并通过自动暂停未使用的集群来降低成本。Fannie Mae构建了一个去中心化的数据网状架构，Redshift通过数据共享支持协作。Moderna通过将Redshift与亚马逊云科技Data Exchange相结合，将第三方数据登录时间从8天缩短到不到3天。客户如联合航空公司和GE航空航天公司分享了Redshift如何帮助他们改变分析方式。联合航空公司打破了数据孤岛，采用了专为加速见解而设计的专用访问层。GE航空航天公司将从内部数据湖迁移到Redshift，以提高可扩展性、统一数据访问、性能和敏捷性。该专题展示了Redshift如何凭借其丰富功能为现代云计算数据仓库提供动力，使客户能够快速进行分析创新。亚马逊云科技持续投资于Redshift，确保其能够满足未来不断变化的数据需求。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")