Amazon S3 新增功能

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/STG204-What_s_new_with_Amazon_S3-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 继续提供新的创新，帮助您安全地存储数据，满足几乎无限的使用情况。从新的安全默认设置和双层加密到高性能开源文件客户端等，[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 不断创新，并与其他云存储产品区分开来。加入本论坛，了解 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 中的新功能，以及这些功能如何帮助您保护、管理和优化数据的实用技巧。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 演讲由Paul和BTA（来自亚马逊S3团队）两位主讲人展开，他们介绍了各自的角色以及目标，那就是向观众概述过去12个月里S3团队推出的众多新功能特性及成果。他们表示，将以60分钟的时间涵盖20次发布，分为五个方面：性能、安全性和访问权限、开源、可观察性和备份与存档。 在谈论性能方面时，Paul强调了S3的功能已经从一个主要用于存储静态Web资源的系统发展成为一个处理关键数据分析、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和AI工作负载的平台，这些工作负载对于性能和低延迟有着极高的需求。例如，一个在S3上运行大数据分析的客户得益于稳定的低延迟，从而避免了查询速度的减缓。另一个进行[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)训练的客户能够快速从S3加载大型数据集以充分利用其GPU集群。 因此，S3团队在近年来一直致力于提高S3的速度和降低延迟。这导致了一个名为[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone的新高性S3存储类的诞生和推广，Paul将其描述为一个能够提供单位数毫秒首字节延迟的产品，以满足计算密集型和延迟敏感型应用的需求。 Express One Zone的目标不仅仅是低延迟，还包括通过消除尾延迟来保证数据的连贯性，因为尾延迟可能会对分析工作负载造成重大影响。一个每小时在S3数据上报告的客户在某些查询卡住时就会受到尾延迟的影响。 为了实现这些性能指标，S3团队必须重新设计S3架构并优化端到端的请求路径以提高速度。Paul解释道，一个关键的变化是引入了用于Express One Zone的目录存储桶。与在多个可用性区域范围内标准的区域性S3存储桶不同，目录存储桶允许将数据存储在单个AZ中以降低延迟。 Paul详细介绍了目录存储桶与传统S3存储桶之间的三个主要差异：与AZ的放置方式、请求缩放方式和认证模型。由于目录存储桶仅限于单个AZ，因此像备份服务这样的应用程序需要考虑到这一点。S3 Express One Zone在一个AZ内通过使用校验和、冗余和持续修复的方式提供了高达11 9的耐用性。 在性能影响方面，保罗表示，根据数据显示，相较于S3标准，S3快速单区域能够提供高达10倍更快的数据访问速度，同时降低50%的请求成本。当将存储类别更改为新的存储类时，诸如SageMaker、Athena和EMR等亚马逊云科技服务在加载时间和查询性能方面实现了2-5.8倍的显著改善。 在测试阶段，诸如ChaosSearch和ClickHouse等合作伙伴发现，他们的分析应用程序在使用快速单区域时获得了20-60%的性能提升。例如，ClickHouse观察到性能提高了30%，且成本更低。 为了助力客户采用快速单区域，保罗介绍了一个简化的工作流程，允许将数百万GB的数据从现有桶迁移到新的高性能目录桶，从而让客户轻松地将他们的数据湖过渡到更快的存储方案。 在安全性和访问方面，保罗强调S3是为银行和医疗保健公司等安全敏感组织而设计，并提出了关于加密数据、禁用ACL和阻止公共访问等方面的最佳实践。 到了2023年，S3团队已默认启用使用S3 SSE-S3的加密，默认禁用了ACL，并为所有新S3桶默认启用了阻止公众访问的功能。保罗详细解释了如何通过修改创建桶API来实现这些默认设置。如有需要，客户仍可使用策略来授予访问权限。 保罗还讨论了在用户、组和应用程序频繁变化的动态环境中调整数据湖权限的挑战。一家管理大数据分析权限的客户在劳动力有限的情况下遇到了困难。 S3桶策略和IAM策略在这些动态环境中可能会达到限制，如每IAM策略的1,000规则限制。为解决此问题，S3推出了访问授予功能，每个实例支持多达100,000个授予，并与亚马逊云科技身份中心和公司目录集成。 通过将用户和组与S3前缀进行匹配，访问授予功能可以返回具有最小特权范围的临时凭据。这展示了如何在为S3上的数据湖构建角色时提高安全性，与传统的一大批IAM角色相比。 保罗强调了与亚马逊云科技服务、合作伙伴和工具（如CloudFormation）的集成工作，以便客户可以轻松采用访问授予功能。 Paul解释了他所领导的S3团队的转型，他们现在更注重开源，并致力于优化客户端性能以提高整体效率。这种转变源于开源社区的用户反馈。为了实现这一目标，他们推出了一款名为通用运行时库的产品，其中包含了S3的最佳实践，以帮助开发者更好地利用亚马逊云科技的资源。在此基础上，S3团队还开发了一个名为挂载点的开源高性能文件系统接口。这个接口可以将本地文件系统的调用转换成S3操作，从而简化了对高流量网络接口的处理。尽管挂载点强调了可靠性，但它并不完全符合POSIX标准。 根据用户的需求，S3团队还增加了一系列新功能，包括本地缓存以减少重复读取的需求，对Express One Zone的支持以提供高达6倍的吞吐量，以及与Kubernetes的集成以在容器中挂载S3存储桶。这些功能都可以在GitHub上的路线图中找到，而且Mount Point是完全开源的。这样，客户就可以轻松地为产品提出改进意见，以满足他们的特定需求。 除了上述功能外，S3团队还在其他领域取得了进展。例如，他们推出了一项名为PyTorch S3连接器的开源项目，该项目旨在优化[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)训练工作负载的数据加载和检查点性能，从而提高高达40%的效率。这对于那些在亚马逊云科技上使用PyTorch进行[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的人来说是一个福音。 在可观察性方面，S3团队也做出了努力。他们增强了S3访问日志，使其能够支持数据库式的分区，以便更快地分析数据，同时避免不必要的信息扫描。此外，他们还推出了一款名为S3 Storage Lens的服务，该服务可以为用户提供组织内存储指标、使用趋势和推荐的可视化。据Paul介绍，高级Storage Lens用户可以看到高达6倍的性能优化，而Storage Lens本身的费用仅在前6个月内就实现了6倍的节省。 在总结部分，Paul重点介绍了他们在备份和存档方面的创新理念，包括使用S3版本化、S3对象锁定来实现不可变性，S3复制以实现跨账户和区域的自动复制，以及S3多区域访问点构建模块以实现单一的全球终端点。 在2023年，他们通过简化一键式工作流程，使得在存储桶上启用对象锁定和复制的功能变得更加容易，从而让客户能够更轻松地实施备份策略。他们还引入了一个名为OperationFailedReplication的新CloudWatch指标，以帮助监控和诊断复制任务。 此外，他们还为使用多区域访问点的跨账户、跨区域复制提供了支持，从而使客户能够在账户之间安全地复制数据。 除了服务器端功能外，他们还强调了与那些为客户保护S3数据构建解决方案的备份合作伙伴更紧密的合作。这些合作伙伴使客户可以轻松地将内部或云数据备份到S3。 在归档方面，虽然由于成本优化，Glacier存储层的采用率今年有所上升，但客户仍然希望使用归档的数据。因此，S3团队正在致力于提高Glacier的性能和集成。 对于使用S3 Batch Operations的批量恢复，恢复吞吐量增加了高达85%，而且对象在恢复后几分钟内即可可用，以便开始并行处理。这已经在需要顺序步骤的备份恢复工作流中得到了应用。 最后，他们通过将新的对象恢复状态字段集成到S3 List API响应中，使得Athena现在可以查询Glacier和频繁访问层。这使得数据分析师可以在S3上的数据湖中跨归档和活跃数据集运行单个查询。 总的来说，演讲者总结了一系列在60分钟的会议上发布的性能、安全性、分析、开源和归档用例。他们感谢观众的反馈，这些反馈推动了产品和re:Invent会议的改进。 **下面是一些演讲现场的精彩瞬间：** 亚马逊云科技在近期的re:Invent上推出了20款新产品，这些产品展示了客户前所未有的创新和功能。  Express One Zone 为那些对尾端延迟敏感的分析工作负载提供了快速且一致的对象存储性能。  引入目录存储桶是一项重大创新，为加速应用程序提供了一种全新的S3存储桶类型。  亚马逊云科技采用了校验和分组技术，以确保S3对象在整个链路中的数据完整性。  Athena 现在能够支持查询存储在亚马逊冰川中的数据，使得客户能够使用单一查询同时分析归档和在线数据集。  亚马逊云科技还宣布了对S3、EBS和EFS等存储服务在可观察性、合规性、安全性和性能方面进行重大改进。  ## 总结 S3 Express One Zone：这是一个全新的高性能存储类别，专为分析和AI工作负载设计，可提供单位数毫秒级别的延迟。它采用了一种新的优化速度的“目录存储桶”模型。 - 亚马逊S3已经改进了批量操作，例如单步迁移，使得将数据轻松传输到S3 Express存储桶变得更加容易。 - 为了提高安全性，S3现在提供了默认加密、访问控制和公共阻止设置作为新的存储桶选项。 - S3访问授权现已简化，以便在大规模数据湖中更有效地管理许可。这种授权方式与身份验证相结合，并与亚马逊云科技服务相集成。 - 开源产品，如用于从计算实例高性能文件访问的S3挂载点，现在已经支持缓存和容器。此外，还推出了一款新的适用于PyTorch的S3连接器。 - 通过功能如分区访问日志和S3 Storage Lens仪表板，提高了对存储使用情况、成本和活动的可见性。 - 加速S3 Glacier恢复、跨账户复制和支持Athena以分析归档数据，使冷存储更加易于使用。 总的来说，亚马逊S3正不断加快创新步伐。这些新功能为云原生工作负载带来了更简单、更快捷、更安全的数据存储体验。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")