Amazon EBS 创新和卓越运营的幕后故事

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/STG210-Behind_the_scenes_of_Amazon_EBS_innovation_and_operational_excellence-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 [Amazon Elastic Block Store](https://aws.amazon.com/cn/ebs/?trk=cndc-detail) ( [Amazon EBS](https://aws.amazon.com/cn/ebs/?trk=cndc-detail) ) 在云计算中推动块存储性能、可扩展性和可靠性的发展已有 15 年之久。参加本论坛，了解 [Amazon EBS](https://aws.amazon.com/cn/ebs/?trk=cndc-detail) 的发展历程。了解新的服务功能，深入了解我们引入的创新背后的驱动因素，并了解我们如何扩展服务以满足急剧增长的使用需求。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共900字，阅读时间大约是4分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 亚马逊弹性块存储（EBS）背后的故事是一个面对巨大规模和增长的无情创新之旅。产品管理总监Cammy Novella Kin和工程总监John Hayden解释说，自2006年从简朴的起步开始，EBS已经发展成为处理每日100万亿次I/O操作和13艾字节数据的分布式存储巨头。这一旅程仅仅是通过EBS团队对改进架构、功能和运营卓越的承诺以及保持对客户的紧密关注才成为可能的。 EBS于2006年作为亚马逊云科技的首个网络附加持久存储服务而问世，使像SmugMug这样的客户能够在云端可靠地运行数据库，而不是依赖不太可靠的本地实例存储。在EBS的初始阶段，性能受到支持每个卷的15,000个硬盘的限制，这导致了数据库所特有的小型随机I/O模式的高延迟。但客户急切地采用了这项新服务，因为它使他们摆脱了使用本地实例存储所导致的存储和计算之间紧密耦合的限制。 EBS团队根据早期客户反馈增加了关键功能，如将快照备份到S3进行备份和恢复。Dow Jones等公司使用EBS快照将关键数据库卷备份到S3。但是，在EBS上运行数据库的不稳定性能仍然是客户的头号痛点。2012年，利用当时可用的SSD技术，EBS推出了具有持续低延迟的Provisioned IOPS卷。提供这个新的性能层需要全球性的EBS基础设施改造，将所有15,000个硬盘替换为SSD，而不影响客户运营。 到2015年，自从推出以来，EBS的每卷性能提高了20倍，从100 IOPS提高到2000 IOPS。同年，还推出了EBS优化的EC2实例。通过将多达2,000 Mbps的网络带宽专用于EBS I/O，这些新实例有助于最大限度地提高I/O密集型数据库的Provisioned IOPS卷的性能。EBS团队继续利用亚马逊云科技广泛的基础设施创新，如Nitro卡，以进一步提高性能。2019年采用可扩展的可靠数据报协议实现了运行关键业务应用SAP HANA数据库的io2卷尾延迟降低90%。 根据GE医疗等客户的反馈，EBS扩大了容量选择，以实现独立的可扩展性和性能。在2015年，通用型SSD卷为大多数客户的工作负载简化了存储。到了2020年，通用型卷允许独立配置高达16,000 IOPS，以更好地支持不可预测的工作负载。2021年，io2 Block Express在一个卷上实现了持续低于毫秒的亚异常延迟，最高可达256,000 IOPS，比早期的MongoDB等数据库的EBS功能提高了100倍的性能。 为了满足客户需求以及提高可用性和耐用性，团队在2018年推出了99.999%耐用的io2卷，将耐用性从99.9%提高到99.999%，比商用硬盘提高了2000倍。为了达到Capital One等客户的五个九的耐用性，EBS必须重新设计以隔离并并行化跨数百或数千个存储服务器的重建过程，避免区域瓶颈。 EBS的指数级增长和能力扩张并非偶然。正如John Hayden所概述的那样，存储架构根本性地进行了多次改造，以支持不断扩大的客户群和使用场景，如大规模运行企业级数据库。起初，EBS由一个管理所有存储分配和配置的单地区Java应用程序提供服务。 意识到这个单体应用程序无法支撑增长，EBS被分解为独立的数据和控制面。控制面进一步分解为专门的组件，如用于卷元数据和快照服务的配置管理器。对于数据面，卷数据被分区成存储复制的单元，这些单元跨越数百万个Paxos集群，防止了在可用性区域内的相关故障，并提高了客户的耐用性。 这种细胞式方法展示了EBS在管理规模风险方面的创新思维。由于在规模上不可避免的失败不能作为边缘情况处理，团队开发了持续检查指标、识别弱点并改进架构的机制。如Cammy所述，EBS的文化强调所有权，两个披萨团队与单个系统和与客户体验相关的指标保持一致。 在过去的15年里，EBS的投资重点在于运营卓越和产品创新，这些努力为其带来了一个积极的循环。通过对运营风险进行精细分析和应对，公司不仅创造了开发新功能的能力，如持久五九容量，还拓展了新的应用场景，推动了业务增长。正如Cammy所说，EBS专注于运营和创新使其能够实现客户至上的理念并取得成功的扩张。 EBS的成功故事源于其在各个方面（架构、可用性、性能、功能）的持续改进，为客户提供日益增长的价值。自成立以来，EBS已经将业务从两个数据中心的两个地区扩展到了1000倍的规模，同时显著降低了延迟异常值的数量级。在客户至上的驱动下，EBS的团队继续以惊人的速度推出新功能，使得客户能够对其最关键和最严苛的工作负载充满信心地进行操作，对这些世界上最复杂和可靠的存储服务之一。 **下面是一些演讲现场的精彩瞬间：** 在早期阶段，亚马逊云科技的EBS服务受到了一些限制，如仅限于弗吉尼亚州、采用单一架构且不包含微服务。  尽管领导者们回忆起亚马逊云科技早期EBS服务依赖硬盘驱动器的日子，他们对这种创新技术既感到赞赏，同时也意识到了其性能方面的局限性。  亚马逊云科技的领导者解释了他们是如何通过分布式存储基础设施来实现抗故障能力的。  随着时间的推移，亚马逊云科技已经极大地提高了EBS的性能，现在每个EC2实例可以支持高达400,000 IOPS和100 GB/s的吞吐量。  为了推动创新，亚马逊云科技团队采用了诸如设定目标、规划路线图以及汇报进展等迭代过程，以减少EBS卷的延迟异常。  通过投资于运营卓越和创新，亚马逊云科技创造了敏捷性、发明和业务增长的良性循环。  ## 总结 弹性块存储（EBS）是亚马逊云科技的一项基础服务，自15年前推出以来已大规模扩展。起初专为基本块存储而设计，如今EBS已经发展到了能满足指数级增长的客户需求的程度。该服务目前每天处理100万亿次I/O请求，横跨13艾字节的数据。如此庞大的规模带来了独特的工程挑战。为了满足这些需求，EBS不断地进行架构改进。例如，将控制和数据平面分离增加了容错能力。采用新的协议如SRD大大减少了尾延迟。构建“单元”也减少了影响范围。在产品方面，EBS增加了很多功能，如快照、配置IOPS和高达99.999%的耐用性。然而，团队的成功应归功于对客户的关注以及对指标的严格关注，这有助于实现快速创新。通过监控一切并不断检查结果，可以在影响客户之前发现问题。EBS团队体现了所有权、反思和迭代的文化。最终，运营卓越和产品创新形成了良性循环——每个方面都在推动另一个方面的改进。这使得EBS在过去15年里能够成功地扩大规模。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")