亚马逊云科技存储服务：数据驱动型业务的支柱

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/STG227-INT-AWS_storage__The_backbone_for_your_data_driven_business-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 亚马逊云科技提供可靠、可扩展和安全的存储服务，为您的应用、分析和人工智能/[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)工作负载提供动力。在本创新讲座中，亚马逊云科技杰出工程师 Andy Warfield 将分享亚马逊云科技最新的存储创新技术，以及如何构建一个弹性、敏捷的数据基础加速洞察力和创新的内部观点。了解企业如何通过使用亚马逊云科技的高性能存储来实现更快的数据访问、简化数据湖和增强人工智能/[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)计划，从而推动竞争优势。Andy 介绍了亚马逊云科技存储如何作为数据驱动型业务的支柱，支持安全、治理、分析和应用开发。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 安迪，一位经验丰富的亚马逊云科技工程师，在2022年re:Invent上发表了一场演讲，深入探讨了推动亚马逊云科技存储服务不断创新的背后故事。在亚马逊云科技工作了6.5年后，他专注于强化公司的部分基础存储产品。安迪以其充满感染力的热情讲述了他的团队每天都在背后进行的改进。 他通过阐述创新往往并非华丽的产品发布，而是逐渐地、透明地进行来开始演讲。团队在持续提升耐用性、安全性、可用性和性能等核心基本原理方面的工作充满了谦虚的自豪感。这种持续的稳定创新随着时间的推移将以强大且稳健的方式呈现出来。 为了证明这一点，安迪深入研究了亚马逊云科技最早的存储服务之一——Elastic Block Store (EBS)，这项服务最近刚刚度过了它的15岁生日。他描述了在早期阶段，从2008年到2012年，EBS是如何完全依赖硬盘驱动器为EC2实例提供块存储卷的。 尽管这种方式成本较低，但安迪解释说，硬盘驱动器在存储性能方面的固有机械挑战使得它们无法很好地应对多个工作负载的I/O操作。驱动器内部的物理执行臂需要在磁盘之间频繁寻找，这会导致巨大的延迟。 为了解决这个问题，EBS团队巧妙地地采用了一种混合架构，有选择地添加固态硬盘（SSD）来处理最高性能密集的写入操作。通过将热写操作转移到SSD上，并在后台将其逐步转换回硬盘驱动器，EBS可以在不改变基础设施的情况下提高性能。 为了实现这一变革，安迪解释了团队如何必须改造从未专为SSD设计的服务器，通过魔术贴和专门的热阻胶带安装驱动器。在精心规划的3个月部署过程中，他们成功地在这数十万台EBS服务器上安装了SSD，而并未影响客户。 如今，EBS已经发展到了一个令人难以置信的规模，每天处理100万亿次I/O操作，创建了3.9亿个卷，传输了13艾字节的数据。最近的里程碑是在2022年re:Invent上推出了新的io2 Block Express卷，它提供了比上一代高7倍的IOPS和低4倍的延迟。 安迪将此视为亚马逊云科技存储产品组合中持续无缝创新的一个典型范例。他强调，这种理念不仅适用于EBS，还适用于所有的存储服务，因为亚马逊云科技致力于在各种数据访问模式下实现“针对每个工作负载的性能”。 在光谱的两端，一边是Glacier Deep Archive，其检索时间为12-48小时，存储成本非常低，每月每TB约为1美元。虽然它不适合对延迟敏感的工作负载，但Glacier为需要归档访问的数据提供了无与伦比的经济性。 而在光谱的另一端，则是亚马逊S3，亚马逊云科技的对象存储服务。安迪强调，客户越来越希望将S3用作低延迟的主要存储层，以支持交互式应用程序。为了解锁此使用场景，亚马逊云科技推出了S3 Express，将其延迟降低到个位数的毫秒，相比标准S3有10倍的改进。 安迪提供了一些例子，说明这些超低延迟如何加速[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)推理管道和交互式视频编辑工作流程。S3 Express通过一种名为One Zone的新型单区域存储桶类型实现了这一点，该类型专为高IOPS和吞吐量而设计。他总结说，S3 Express展示了亚马逊云科技致力于为每个可能的工作负载和使用场景提供存储创新的决心。 从客户的角度来看，安迪欢迎Cox Automotive的产品首席官Marianne Johnson分享他们公司的云转型故事。Marianne解释说，Cox Automotive在全部采用亚马逊云科技后，将原本分散的53个数据中心合并为仅3个，从而加速了一些产品的发布速度从季度到每日。这一重大转变使他们成为一个敏捷、专注于解决方案的组织。 他们的亚马逊云科技驱动的数据湖现在超过了3PB，包含了来自2000万辆连接汽车的车辆远程信息处理数据。Marianne强调了他们成功的关键因素，如有意图地管理数据、透明地管理支出以及保持“实用激进”的方法。总的来说，Cox Automotive的故事提供了一个具体的例子，说明了如何将云存储作为组织变革的起点。 安迪继续探讨这些议题，解释企业存储迁移如何成为推动亚马逊云科技存储服务发展的重要因素之一。从过去的历史来看，迁移主要关注的是降低成本。然而，如今企业更希望能重构应用程序并充分利用云计算的分析潜力。 为了满足这些新型迁移需求，亚马逊云科技提供了FSx系列产品，包括托管的第三方文件系统，如NetApp ONTAP和Windows File Server。在2022年的re:Invent上，亚马逊云科技宣布推出可扩展的ONTAP集群，支持高达120万IOPS和36 GB/s的吞吐量，非常适合访问迁移后的内部数据集。 安迪举了一个例子，说明澳大利亚新南威尔士州卫生部门将1.3 PB的医疗影像数据迁移到用于ONTAP的FSx，使得图像获取速度提高了10倍，同时节省了1600万美元的费用，而且无需维护本地存储基础设施。 安迪重点介绍了第二个革命性趋势——基于亚马逊云科技S3的数据湖的兴起。亚马逊云科技目前托管着超过70万个数据湖，S3具有存储任意数量、任意格式数据的能力，无需进行容量规划。企业越来越倾向于在S3数据湖中集中存储数据，以便使用各种工具快速分析数据。 安迪深入讲解了Iceberg等开放式表格式，这些格式可以在S3对象上添加表抽象和交易功能，同时仍能利用S3的规模和耐用性。他概述了Iceberg的底层架构如何工作，包括一个跟踪表元数据的元存储目录、用于时间旅行的快照以及Parquet数据文件。安迪宣布，亚马逊云科技的Glue新增了一个自动压缩特性，以优化S3上的Iceberg表布局，将查询性能提高多达40%。 在安全性方面，安迪展示了S3访问权限，这允许客户将自己的身份提供商和访问策略扩展到S3资源。这使得可以使用现有的公司用户名进行详细的审计日志记录。 最后，安迪谈到了基于S3数据湖的人工智能工作负载的增长，引用了模型大小和复杂性的爆炸式增长。他阐述了培训大型AI模型的客户如何使用高速存储（如用于Lustre的FSx或S3）有效地向GPU提供数据的例子。 新的[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail)性能特性，如Mount Point文件系统集成和PyTorch连接器，可以进一步优化这些工作负载。例如，通过切换到使用将S3作为主存储的Mount Point，Continental公司的模拟工作负载速度提高了20%，成本则降低了40%。 总的来说，Andy强调了倾听客户的需求如何推动Amazon Web Services在幕后不断创新，这体现在那些性能如今已经实现了指数级提升的15岁的Elastic Block Storage（EBS）卷上。企业可以依赖Amazon Web Services来提供下一代存储功能，即使工作负载以令人难以置信的速度不断发展演变。 **下面是一些演讲现场的精彩瞬间：** 亚马逊云科技的存储团队专注于持续改进持久性、安全性、可用性和性能等基本要素。  该团队的演讲者回顾了近15年前首次推出的EBS服务，这些卷如今仍在处理大量工作负载，展示了服务的持续创新和长寿命。  首先，他们将EBS数据迁移到固态硬盘（SSD），然后转移到硬盘，同时在客户的工作负载正常运行的情况下升级存储设备。  领导者们讨论了S3存储如何在过去17年里从档案存储发展成为高吞吐量引擎，并正在向低延迟交互性能发展。  为了提高读取数据的工作负载（如Parquet）的性能，需要优化元数据查找、认证、授权和网络延迟以减少读取延迟。  亚马逊云科技团队致力于通过倾听和学习客户的经验来不断提高存储服务的性能。  ## 总结 亚马逊云科技工程师Andy Jassy在re:Invent期间发表了一场关于存储创新的演讲。他指出，亚马逊云科技的存储服务，如EBS和S3，一直在不断改进以满足客户日益变化的需求。 贾西强调，在过去的15年里，EBS通过不断创新提高了性能，满足了各种需求。起初，EBS主要依赖于硬盘驱动器，但现在已经增加了固态硬盘（SSD）以提高延迟。 对于S3，贾西解释称，它已经从归档存储转向了高吞吐量存储，如今更注重支持新兴工作负载的低延迟。他还宣布推出了S3 One Zone，这将有助于减少高吞吐率应用程序的延迟。 接下来，贾西谈论了企业迁移以利用云计算的优势，并介绍了一些新功能，如FSx和S3访问控制，以帮助进行治理。此外，他还展示了基于S3和Iceberg等开放表格格式的数据湖如何实现更快速的查询。 最后，贾西强调了人工智能模型规模的指数增长，并表示亚马逊云科技的存储服务，如S3、EFS和Lustre，已经与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)框架进行了集成。他认为，亚马逊云科技存储的持续创新正在改善性能并开创新的可能性。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")