超过 11个9 的高可用性：Amazon S3 的数据保护

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/STG319-Beyond_11_9s_of_durability__Data_protection_with_Amazon_S3-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 旨在实现 11 个 9 的耐用性、强弹性和高可用性。这使得 S3 成为云原生应用程序、分析和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)工作负载的理想存储选项，在这些工作负载中，强大的数据保护是不可或缺的。但即使是最持久的存储也无法防止意外删除。此外，勒索软件事件是评估关键数据额外保护的主要原因。加入本论坛，了解如何使用 S3 版本控制、S3 复制、S3 对象锁等 S3 功能，使您的数据更加安全。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1100字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 在这次会议上，Yi Zarubin，作为亚马逊S3部门的主工程师，进行了演讲。他拥有超过15年的工作经验，而同样来自S3团队的资深产品经理Ankita Mishra也参与了演讲。Yi首先向观众们提问，了解谁拥有或管理一个S3存储桶，几乎所有人都举手回应，表明本次会议与参会者的相关性很高。 随后，Yi详细介绍了议程，从探讨S3的耐用性文化和架构开始。这将解释S3如何实现高达99.999999999%的耐用性。接下来，他将介绍针对数据的各类威胁以及如何应对这些威胁的方法。 在讲解S3的耐用性文化时，Yi强调，尽管先进的算法和架构在其中发挥了作用，但实现11个九耐用性的关键在于自2006年S3推出以来在S3服务17年中培养起来的工程文化。S3工程师一直专注于耐用性，目标是不丢失任何客户数据。 为了将这种文化制度化，S3实施了一项名为耐用性审查的实践。对于对所有S3系统进行的所有更改，无论是修复错误还是添加新功能，工程师都需要准备一份文档，列出对耐用性的潜在影响及相应的缓解措施。然后，这将由经验丰富的“持久性专家”进行审核，以确保考虑到所有可能的情况。Yi本人在整个职业生涯中曾参与过许多这样的审查，关注耐用性方面的细节。通过让工程师们一次又一次地经历这个过程，S3建立了一种对耐用性充满热情的文化。 接下来，Yi谈论了一些在耐用性审查过程中需要考虑的常见威胁。例如，硬件故障可以通过在不同设备上存储冗余数据进行缓解。客户数据会被分割成10个片段，并分布在10个不同的服务器上。如果一个服务器发生故障，可以从其余9个片段中恢复数据。 另一种威胁是罕见的比特翻转事件，即0变为1或1变为0。S3使用端到端校验和来检测和防止这类错误导致的存储损坏。当客户上传对象时，SDK会计算校验和，并在处理的每个阶段和存储过程中进行验证。只有验证成功后，才会返回200 OK，表示数据已被可靠地存储。 亚马逊S3的持久性理念旨在应对各种威胁，包括硬件故障、软件漏洞、操作员失误以及恶意攻击等。然而，最大的风险往往来自于存储桶所有者自身的不慎操作。为了降低这种风险，采用了多种缓解措施，如S3版本控制和时间点备份。 据Yi表示，版本控制是他个人最喜欢的一个S3功能，因为它能立即提供保护，防止意外的覆盖或删除。版本控制会追踪对象的变更历史，并将之前的版本保存在一个“版本栈”中。即使被删除，数据也不会永久消失，而是会在栈中留下一个删除标记。如有必要，用户可以轻松恢复旧版本。 为了说明这一特点，Yi通过一个例子解释了启用和不启用版本控制在上传同一猫照片（名为cat.jpg）时的区别。如果不启用版本控制，重传具有相同对象名的文件将会覆盖之前的版本。如果新版本出现问题，原始版本将无法找回。类似的，删除对象将永久移除它。 在启用版本控制的情况下，上传cat.jpg只会创建一个新的对象版本，而不会覆盖原有的版本。通过版本ID，用户可以恢复原始版本。删除操作只是添加了删除标记，但不会影响到以前的版本。用户可以选择恢复最新版本。 Yi强调，内部普遍认为版本控制是亚马逊云科技的最佳实践。对于未启用版本控制的团队创建的S3存储桶，将收到自动发送的通知，建议他们开启版本控制。 尽管版本控制已经提供了一定程度的保护，但仍有些客户需要更强大的备份功能。许多解决方案可以将S3数据备份到独立的账户，从而允许在任何时间点进行恢复。这些应用场景包括合规要求的独立副本需求，以及通过跨区域复制数据以防止地区中断的风险。 在此阶段，Ankita Mishra接手继续深入研究她从2012年开始参与的S3复制技术。复制可以在各个地区和账户之间自动创建数据的副本来实现数据冗余。它会根据存储桶的大小和吞吐量自动扩展。 Ankita详细解释了如何在源存储桶上设置复制规则并指定目标存储桶。规则可以应用于整个存储桶，也可以针对子集，如基于前缀和对象标签的子集。每个规则都可以启用额外的功能，如复制指标、删除标记复制和复制时间控制。 For example, a rule might copy data from the Eastern United States to the Western United States for disaster recovery purposes. The destination can be specified as different storage classes, such as S3 Glacier for instant retrieval, to optimize costs. One key use case is the replication of existing legacy data that already exists before replication is enabled. This can be accomplished through an S3 batch operations job. Ankita answered a common question – if one region fails, will replication fail? The answer is no, replication will continue to retry until the objects are replicated. Failure only occurs in the case of configuration errors or permission issues. Monitoring metrics such as replication latency, pending replication operations, and failed replication operations can help you track the replication status. One important metric is replication time control (RTC), which is designed to replicate 99.9% of objects within 15 minutes and supports the service agreement. RTC provides unique CloudWatch events to monitor compliance with the service agreement. Continuing the discussion on protecting data from malicious attacks, Ankita explained that combining cross-account replication with S3 object locking provides an effective solution. Object locking uses a once-write-many-times-read model to make objects immutable. Storage buckets can be configured with a default retention period, or individual objects can have custom retention settings. Object locking has two retention modes - governance, where objects are retained unless special permissions are used, and compliance, which locks objects so that no one, not even root users, can change or delete data. The compliance mode ensures that even if administrator credentials are compromised, critical data is still protected. Ankita went on to introduce S3 multi-region access points as a way to more easily manage multi-region storage. It provides a global endpoint for smart routing of requests to all regions with the lowest latency storage bucket. It also enables managed failover functionality. In conclusion, S3's architecture and strict engineering culture ensure high durability to resist internal threats. Features such as version control, replication, object locking, and multi-region access points prevent human error, malicious behavior, and region failures. S3 Storage Lens provides all these protection levels in a single dashboard. With these features, customers can implement powerful data protection in S3. **下面是一些演讲现场的精彩瞬间：** 亚马逊云科技（Amazon Web Services）的S3工程师表示，S3惊人的耐用性源于17年发展历程中所形成的以耐用性为核心的价值观。  在进行系统更改时，耐用性审查会分析可能对耐用性产生威胁的因素以及相应的缓解措施。  领导层强调，S3的工程文化致力于通过全面测试和对每一个细节的关注来确保[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail)的耐用性。  S3复制指标和事件提供了解决问题的关键见解，以便发现和解决导致复制失败的配置问题。  Storage Lens无缝地集成到了现有的S3数据保护功能中，为用户提供了一个俯瞰整个S3存储桶数据保护的高级别视角。  S3 Storage Lens旨在提高用户对S3存储桶数据保护水平的认知。  ## 总结 视频探讨了亚马逊S3如何通过关注消除数据丢失来确保其行业领先的耐用性。为了应对硬件故障等威胁，S3会在设备间的冗余存储中使用擦除编码技术。此外，S3还会使用校验和检测数据损坏，以确保数据的完整性。尽管S3能够抵抗外部威胁，但存储桶所有者仍需采取措施降低人为错误的风险。S3的版本跟踪功能可以追踪更改，从而防止意外的删除和覆盖。时间点备份功能可以将数据备份到不同的账户中，这有助于提高合规性并提供强大的恢复能力。 S3复制功能使得地理上具有弹性的备份能够在中断期间持续重试。用户可以选择将数据复制到不同的地区、账户和存储类别。而S3对象锁定功能则确保了对象的不可变更性。新推出的S3多区域访问点功能通过一个全球端点简化了对多个区域存储桶的管理和故障切换。此外，S3存储透镜功能为用户提供了对其组织内存储桶的数据保护级别的可见性。 总之，S3作为一个成熟的、有弹性的平台，利用各种功能、架构和文化来消除数据丢失威胁。只要客户充分利用诸如版本控制和复制等功能，他们就能充分利用S3的优势。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")