Amazon Redshift 新增功能

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/ANT203-What_s_new_in_Amazon_Redshift-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 请参加本讲座，了解 [Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail) 的最新创新--PB 级亚马逊云科技云数据仓库解决方案。[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail) 支持用户使用 zero-ETL 方法，安全、经济、高效地分析跨数据仓库、运营数据库、数据湖、第三方数据存储和流媒体源中的数据，从而获取强大的洞察力。在 [Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail) 中使用 SQL 轻松构建和训练[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型，以生成预测性分析并推动建立数据驱动型决策。了解 [Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail) 的最新功能，如何通过近乎实时的数据访问、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)等提高可靠性和洞察速度--所有这些都具有令人印象深刻的性价比。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1600字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 尼尔贾·林塔拉（Neja Rintala）担任亚马逊Redshift的产品管理负责人。在演讲开始时，她热情地欢迎观众并介绍了她的共同演讲者——麦当劳的数据和分析高级总监马特·桑德勒（Matt Sandler）。她表示，马特将在稍后的会议上分享麦当劳如何利用亚马逊云科技和亚马逊Redshift的历程。 尼尔贾随后介绍了会议议程，将从讨论现代云计算数据仓库的趋势开始，然后谈论过去几年里亚马逊Redshift的发展和进步，包括在re:Invent2022上令人兴奋的新宣布。最后，马特将分享这些Redshift创新在麦当劳规模上实施的真实案例。 尼尔贾详细阐述了云计算数据仓库的主要趋势，强调了四个主要发展。首先，数据湖、数据仓库和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的界限正在模糊，客户希望为所有类型的分析（包括SQL、Spark和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)）维护数据的单个副本。其次，对实时访问数据的需求日益增长，以支持更积极和改善的业务运营和客户体验。第三，随着数据在一个地方集中，客户希望将其轻松提供给组织内的更多用户，从数据科学家到开发者。易用性因此至关重要。最后，随着更多用户访问数据，强大的安全和管理控制对于确保适当的数据访问和集中的数据管理至关重要。 尼尔贾回顾了亚马逊Redshift如何自2013年作为第一个完全管理的百亿级企业云数据仓库推出。这是从昂贵的、不易扩展的、难以管理的内部数据仓库解决方案向前迈出的重要一步。自成立以来，许多创新已被添加到Redshift中，以将其功能扩大到超出仅仅大规模的商业智能和分析。使用案例现在扩展到[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)、Spark集成、数据共享、数据货币化等。 在2018年，该系统添加了弹性扩展功能，可根据使用情况与并发度自动增加容量以保持性能。到了2019年，Redshift托管存储取得了重大突破，使计算和存储能够独立扩展，同时利用亚马逊S3的持久存储和在集群节点中的固态硬盘作为数据缓存。一个智能软件层负责判断本地缓存数据和S3中持久存储数据之间的差异。2020年，基于托管存储的Redshift数据共享功能推出，允许为诸如即席查询和数据科学等工作负载创建单独的计算集群，同时共享对同一实时、交易一致数据的访问，无需进行任何复制或移动。2021年，Redshift与其他亚马逊云科技服务进行了更深入的集成，如将Kinesis和MSK Kafka服务等流数据注入，实现近实时分析。零ETL功能允许来自如Aurora等数据库的交易数据直接流入Redshift。通过简化从EMR和Glue访问Spark，提高了分析能力。在2022年，推出了Redshift[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)功能，实现计算管理的全面自动化、规模和补丁更新。这带来了基于工作负载持续时间的真正按需付费定价模式。此外，还通过亚马逊云科技数据交换集成了第三方数据，使其更容易被使用。随着这些持续的创新，Redshift现已拥有数万名客户，每周处理数百EB的数据并执行数十亿的查询。新功能的采用非常强劲。例如，Aurora零ETL实现的流入速度超过每分钟100万次交易，数据在15秒内即可供分析。从Kinesis流中实现的流数据注入达到了每秒2.5GB以上的吞吐量。通过Redshift ML，一些客户每天执行超过100亿的数据库内推理。Neja表示，Redshift的未来发展将继续围绕四个关键支柱展开：1.通过列存储、物化视图、结果缓存和自适应查询处理等技术实现最佳的规模价格性能。2.通过零ETL计划简化实时数据摄入，例如从Aurora、DynamoDB和Kinesis等来源摄入数据。如流数据注入和数据湖集成等计划旨在消除对ETL管道的需求。 多维数据布局：这是一种新型预测优化方法，能够自动根据查询过滤器而非单列对数据进行排序，从而在可重复查询中实现高达74%的性能提升。 - Redshift[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)AI驱动优化：用户现可轻松指定价格性能目标，[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)将自动优化配置、扩缩容和应用性能增强以满足定义的SLA。该服务会主动监控工作负载并调整资源以保持性能水平。 - 多个数据仓库写入能力：在现有数据共享功能基础上，这允许数据仓库直接写入到其他Redshift集群的数据库。这实现了销售、市场营销、财务等跨部门客户的360度视图数据的实时协作。 - 对Apache Iceberg的支持：客户现在可以直接从Redshift查询存储在Iceberg开放格式中的数据，无需移动或转换数据。 - Glue数据目录集成：在Glue目录中定义的视图现在可以从Redshift、Athena和Spark查询，无需在每个服务中重新定义权限和安全设置。 - 生成性SQL：Redshift查询编辑器中的新自然语言功能使业务用户可以通过简单提问来生成SQL代码。此功能基于模式元数据和过去查询历史来分析用户意图。 - 大语言模型集成：Redshift ML现在可以利用大型语言模型进行文本分析，包括摘要、分类和生成。例如，可以总结客户反馈（存储在Redshift中）等内容。 - 元数据标签：通过限制用户只能访问他们有权限的特定方案和对象，提供对数据发现的粒度控制。这对于多租户环境至关重要。 亚马逊云科技与Identity Center的集成为Redshift、QuickSight、Athena等服务提供了统一的身份认证和验证功能，实现了单点登录和集中的用户管理。通过对Redshift将所有数据源整合到一个高性能、成本效益高的安全平台的强调，以满足各种分析应用场景需求的总结，Neja展示了她的见解。接下来，她邀请Matt Sandler分享麦当劳是如何利用亚马逊云科技和Redshift进行数字化转型的。Matt首先介绍了麦当劳在全球范围内的规模和其在120多个国家的40,000多家餐厅，每天为近1%的世界人口提供服务。尽管麦当劳以其运营卓越和一致性而闻名，但Matt解释道，技术和数字能力，如移动应用、柜台和送货，已成为关键的发展驱动力。然而，这种数字化转型也带来了数据孤岛、瓶颈和延迟等问题，这些问题阻碍了洞察力的实现。麦当劳需要将数据整合到一个统一的分析平台上。Matt接着讲述了麦当劳的Redshift之旅：他们从小规模开始，先在一个专注于数字数据的部门级Redshift集群上进行试验，如移动应用程序交易数据和一些核心销售数据。这个美国客户360集群取得了显著的成果。在成功实施后，他们决定全心投入亚马逊云科技和Redshift。将所有如全球销售、供应链和营销数据在内的本地数据移到S3上。一个大型的全球Redshift集群可以摄入此数据，同时还包含四个较小的地区集群以满足国家特定的需求。为了管理这个过程，需要执行超过500个ETL任务。由于Redshift引入了诸如托管存储、自动扩展和数据共享等创新功能，麦当劳能够大幅简化其架构。现在，一个单一的全球集群加上数据共享支持一切。ETL复杂性显著降低。现在，他们可以支持超过50,000名商业用户进行自助服务访问。关于麦当劳的Redshift实施的一些关键统计数据包括：超过12PB的活跃使用数据，每日处理超过260,000个查询，支持超过3,000个BI工具用户。Matt分享了如何使用Redshift进行弃购活动（abandoned cart campaign）的例子，使用实时移动应用程序数据，并根据销售历史数据优化促销的供应链规划。 总的来说，通过流处理、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)、多可用区和其他创新技术的不断发展，Redshift正助力麦当劳实现更高度的个人定制，运用AI进行预测性分析，获取公司内部的所有数据，并确保在大规模情况下保持稳定性。 在富有洞察力的会议结束后，Neja分享了一系列关于Redshift的资源链接，包括功能说明、演示以及任何感兴趣的人可以联系专家的途径。 此次演讲全面地介绍了Redshift的功能及其发展路线，同时也强调了麦当劳如何通过Redshift充分利用大数据的价值的一些实际案例。 **下面是一些演讲现场的精彩瞬间：** 领导者在re:Invent上详细阐述了演讲内容。  麦当劳已成功实现数字化转型，借助顶级的移动应用、受欢迎的自助服务亭和便捷的移动订购及送货服务。  在这个过程中，亚马逊云科技发挥了关键作用，它帮助客户创建了由多种数据来源整合至Redshift的客户360度视图。  领导者分享了亚马逊云科技如何助力企业将其数据基础设施从内部部署顺利过渡到基于S3、Redshift和Talend的云计算解决方案。  得益于亚马逊云科技的数据共享功能，数据管道得以大幅简化，实现了自助服务分析。  此外，领导者还谈到了[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)将对数据共享和多AZ部署提供支持，提高弹性，以及利用AI以创新方式展示数据的可能性。  ## 总结 亚马逊Redshift自2013年问世以来，作为一款云计算数据仓库产品，已取得了显著的进步和发展。其三大创新亮点包括：一、通过引入物化视图技术，简化了从诸如Kinesis和Kafka等服务中获取流数据的过程，使得Redshift现在能够支持接近实时的数据分析；二、与Iceberg和Delta Lake等开放式格式实现原生集成，使其能够轻松查询来自外部数据湖的数据；三、通过与其亚马逊SageMaker JumpStart服务集成，实现了数据库内的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)功能，可应用于文本概括或实体分类等领域。演讲者分享了麦当劳是如何利用Redshift的可扩展性及[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)和数据共享等功能来构建统一的数据平台的。如今，麦当劳拥有超过12PB的数据和50,000名用户，Redshift支撑着他们的数字分析和营销活动。在未来，Redshift将继续专注于加强与其他亚马逊云科技分析服务的集成，以提高性能价格比。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")