揭秘亚马逊S3 Express:如何用最低成本获得高可用性存储

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/STG230-Deep_dive_on_Amazon_S3_Express_One_Zone_storage_class-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 亚马逊S3 Express单可用区存储类别为性能关键型应用程序提供了最快、延迟最低的云对象存储服务之一。该存储类别可以实现单位数毫秒的一致延迟,并可扩展到每分钟数百万次请求,适用于频繁访问的数据集。在本课程中,您将了解这个新的单可用区存储类别、它的新的S3目录存储桶,以及如何在同一亚马逊云科技可用区内将存储和计算进行集中,以更有效地利用计算资源并降低总体拥有成本。此外,您还将听到Pinterest如何改进其最关键应用程序之一的延迟。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1100字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 亚马逊云科技在今年的re:Invent上发布了一款名为S3 Express One Zone的全新云存储服务。作为亚马逊S3的高级产品经理，Matt Sidley详细介绍了这款创新服务的特性，展示了它如何为客户提供目前云端最快的对象存储性能。尽管亚马逊S3已经能为客户提供极高的性能，但对于视频编辑、互动分析和数据管道等应用来说，它们还需要更低的延迟。这是因为在这些工作负载中，计算任务往往需要等待存储I/O完成后才能进行下一步操作。为满足这一需求，亚马逊S3团队推出了S3 Express One Zone，其访问速度比流行的S3标准存储类快10倍。用户可以通过熟悉使用的相同S3 API进行数百万次请求。Matt还以量化交易公司Ansatz Capital为例，解释了S3 Express One Zone如何为客户带来实际好处。通过使用S3 Express One Zone，Ansatz的工作负载加速了78%，使他们能够将模型扩展到更高层次的粒度。 在背后，S3 Express One Zone通过一种创新的低延迟优化架构实现了这一突破性性能。首先，数据存储在单一亚马逊云科技可用区的专业构建硬件上，相较于跨区域分散数据存储，这减少了网络跳跃。其次，引入了一种名为目录桶的新S3桶类型，可以每秒支持数百万次交易，从而在工作负载突发时快速扩展性能。最后，引入了一种名为S3创建会话的新型基于会话的授权模型，用于更低延迟的身份和访问管理。最新的亚马逊云科技SDK自动处理底层的会话管理。 马特还探讨了单区域设计的一些关键因素。尽管在一个区域存储数据可以降低延迟，但这也意味着在罕见情况下，整个可用区发生故障时，数据可能会丢失。然而，S3 Express One Zone确实在可用区内的设备之间提供了冗余，并进行持续的完整性检查，以确保数据的持久性。 在演讲的后半部分，负责S3的主要产品经理Shakhi Hali展示了S3 Express One Zone的一些具有影响力的使用案例。例如，他解释了如何加速Athena SQL对S3数据湖的查询速度，最高可达2倍，这可以在减少请求成本高达50%的同时提供更快的洞察力。 Shakhi还介绍了在使用[Amazon EMR](https://aws.amazon.com/cn/emr/?trk=cndc-detail)的Apache Spark工作负载进行性能测试的情况，其中S3 Express One Zone的查询时间比S3标准快4倍。这使组织能够从其大数据分析中获得更多的价值。 此外，他还分享了如何使用SageMaker进行[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)训练，使用S3 Express One Zone相比使用S3标准可以完成速度快5.8倍。这种优化计算资源（如GPU）的利用可以节省大量成本。 亚马逊云科技的主要解决方案架构师Christie Lee随后提供了一个现场演示，展示了如何轻松开始使用S3 Express One Zone。她通过在亚马逊云科技管理控制台中创建一个新的S3目录桶来展示这个新存储类的使用步骤。 Christie接着进行了一些性能测试，突出了S3 Express One Zone的优势。在一项以延迟为重点的测试中，她展示了下载100,000个对象只需5.3秒，平均延迟为8ms，而S3标准需要40秒和80ms的延迟。 在一项强调吞吐量的测试中，S3 Express One Zone在相同时间内下载100万个对象时实现了9GB/s的下载速度。这几乎是S3标准在同一时间内下载100,000个对象时实现的1GB/s吞吐量的10倍。 Christie重申，实际应用将根据其特定的工作负载和架构看到不同程度的性能提升。但是对于对低延迟要求高的应用程序，S3 Express One Zone可以提供巨大的提速。 她在演讲中展示了如何通过使用S3 Express One Zone加速[Amazon Athena](https: //aws.amazon.com/cn/athena/?trk=cndc-detail)对S3数据的查询，从而结束了她的演讲。在两个具有相同SQL查询的数据集中，一个存储在S3标准中，另一个存储在S3 Express One Zone中，后者的时间提高了33%。这表明了性能的提升效果。 Pinterest的技术领导Ambud Sharma随后从客户的角度阐述了S3 Express One Zone如何为他们的业务带来好处。他解释了Pinterest是如何在[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail)之上构建了一个名为MemQ的高可扩展发布-订阅框架，以支持他们的数据摄入管道的。 尽管S3标准成本较低，但写入延迟较高。通过将S3标准替换为作为底层存储层的S3 Express One Zone，Pinterest能够将端到端的写入延迟从2秒降低到30毫秒。这解锁了构建低于每秒延迟的数据管道的能力。 Ambud分享了性能基准测试，显示新的架构下成本降低了40%，可扩展性使运维成本下降了超过了50%。他总结说，S3 Express One Zone消除了对复杂数据复制和调配的需求，同时提供了即时的可扩展性。 Shakhi Hali在最后回顾了会议的三个关键收获。首先，S3 Express One Zone通过其创新的单区域架构为延迟敏感的工作负载提供了革命性的性能。其次，亚马逊推出了3个新功能：目录桶，基于会话的授权，和单一区域的系统设计来支持这种高可扩展性和低延迟的性能目标。最后，该服务与亚马逊云科技和第三方解决方案的本机集成使客户能够以极小的努力获得这些好处。 演讲者明确地表示，S3 Express One Zone代表着云计算性能的一个重大飞跃。运行时间敏感的应用程序，如[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)、分析和金融交易的公司，可以通过采用这项新服务来实现速度和成本效率的巨大增长。整个会议强调了亚马逊云科技致力于推动创新边界以满足客户需求。 **下面是一些演讲现场的精彩瞬间：** 马特·希比（Matt Sidley）是亚马逊S3产品的高级经理和产品经理。  在亚马逊云科技re:Invent的S3专题讨论中，他与其他演讲者分享了他们的见解和经验。  如今，Athena提供了Express One Zone服务，该服务可以在数据湖上缓存查询结果，从而加快SQL查询速度，将请求成本降低高达50%。  相较于S3标准，亚马逊SageMaker[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)应用在Express One Zone上运行速度明显更快，从而大幅节省了训练时间和成本。  全新的Express One Zone现已支持s3fs，为[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和分析工作负载提供高达6倍的更快性能。  领导者们展示了一个用于配置S3存储桶性能测试的Python脚本。  亚马逊云科技实现了[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)管道的按需扩展，以满足快速变化的业务需求。  ## 总结 亚马逊S3 Express One Zone是一种新型的高性能S3存储类别，专为计算密集型工作负载提供单位数毫秒级别的延迟。这得益于三个关键创新：可扩展至每秒数百千次请求的目录桶；用于更快认证的创建会话授权；以及将存储和计算共同定位的单区域架构。这种较低延迟的应用场景包括交互式分析、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)训练管道和视频编辑等。根据示例基准测试，Athena查询性能提高了2倍，EMR上的Spark查询速度提高了4倍，使用SageMaker训练模型的速度提高了5.8倍。合作伙伴如Databricks、ClickHouse和Colorfront也观察到了显著的速度提升。 尽管单区域设计牺牲了一些耐用性以换取速度，但如果整个区域崩溃，确实可能导致数据丢失。此外，成本更低——由于更快的任务完成，总拥有成本可能节省高达60%，同时请求成本降低50%。 若要迁移数据，请使用S3批量操作复制功能。然后让您的应用程序指向新的高速S3桶。Pinterest分享了他们是如何使数据管道加速40-50%，从而实现最终延迟低于300ms的方法。 总的来说，S3 Express One Zone为对延迟敏感的工作负载提供了高性能的对象存储，速度比S3标准快10倍。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")