高效存储方案：Amazon S3 Express One Zone 正式推出

### **前言：** > **当今社会，数据的迅猛增长使得高效且安全的存储方案变得愈发关键。对于开发者和企业而言，拥有一个能够满足业务需求的存储解决方案至关重要。然而，面对诸多选项，如何找到更加合适的存储方案成为一个值得深思的问题。**  ### 一、Amazon S3 Express One [Zone](https://so.csdn.net/so/search?q=Zone&spm=1001.2101.3001.7020?trk=cndc-detail) 推出 正如我们上面所言，当我们去选择一款存储产品时，我们需要去考虑衡量数据规模性需求，[安全性](https://so.csdn.net/so/search?q=%E5%AE%89%E5%85%A8%E6%80%A7&spm=1001.2101.3001.7020?trk=cndc-detail)成本等多个因素，以便找到最佳的存储方案。 前不久展开的亚马逊云科技 re:Invent 2023 大会上发布了存储相关的产品 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone 。这是一种全新的存储类别，旨在为这客户最常访问的产品提供最高性能和最低延迟的对象存储。  提到 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) ，或许有些朋友对其了解有限。简单来说呢，[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 是一种强大的对象存储服务，它不仅提供行业领先的可扩展性、数据可用性和安全性，还具备卓越的性能。[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 专注于保护和存储各种规模的行业数据，能够为企业和用户提供可信赖的存储解决方案。  而我们今天介绍的这个 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone 是在 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 基础上进一步优化和提升，相对于之前的 S3 ， S3 Express One Zone 在速度上更为突出，**尤其是对于那些经常访问和延迟最为敏感的工作 ，例如：实时广告分析和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)培训等方面，** 这类工作负担通常涉及数百万到数百亿字节的数据，而 Express One Zone 则被设计为一种全新的 S3 存储类别，专注于构建和存储最常被访问的数据。  与传统 S3 存储相比，Express One Zone 利用专用硬件和软件加速数据处理，显著降低了常访问数据的延迟，提供更为一致的性能。每分钟支持百万个请求，使其成为云中最快的对象存储之一，比 S3 标准存储快了十倍。这不仅提高了性能，也降低了运行成本，尤其适用于需要高速数据访问和低延迟的场景。 ### 二、高效降本优化，多场景加速数据处理 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone 的工作原理是通过将目录存储桶与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)开源框架结合使用，以降低延迟、缩短处理时间、减少计算成本和 API 请求成本，从而提升性能并降低总体拥有成本。同时，在交互式数据分析等场景中，它也能够显著提升处理效率。工作原理图如下  **对于[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和人工智能训练**，该服务能够加速模型训练和开发，实现更高效的处理模型数据集，从而显著缩短训练周期；**在交互式数据分析方面**， S3 Express One Zone 能够加快查询速度，支持快速分析 PB 级数据，为用户提供实时的数据洞察。**在高性能计算（HPC）场景下**，S3 Express One Zone 可快速完成计算密集型的 HPC 工作负载，提高计算效率；**对于财务建模**，服务使得财务模型能够扩展至更高粒度级别，通过低请求延迟加速整体建模速度，提供更灵活、高效的财务建模体验。**在实时广告方面**，S3 Express One Zone 能够提供毫秒级请求延迟的定向广告内容，优化个性化广告，迅速响应动态展示位置，提升广告投放效果。 S3 Express One Zone 相对于传统 S3 具有以下优点： > 1.**支持的存储桶类型**：S3 Express One Zone 引入了目录存储桶，使得对象只能存储在这一特定类型的存储桶中。这种设计可能提供更精细的存储控制。 > > 2.**耐用性**：S3 Express One Zone 数据冗余存储在单个可用性区内的多个设备上，具有更高的可用性。相比之下，传统 S3 的数据冗余跨越多个可用性区，可用性目标更高，但可能带来更高的成本。 > > 3.**删除行为**：S3 Express One Zone 在删除对象时会递归删除对象路径，包括空的目录。这有助于更方便地管理存储空间。 > > 4.**DeleteObjects**: 请求中的对象键：要求对象键中至少包含一个非空格字符，增加对请求的有效性和安全性。 > > 5.**区域和区域终结点**：使用 S3 Express One Zone 时，需要在所有客户端请求中指定区域，提供更明确的请求定位。 > > 6.**分段上传的差异**：S3 Express One Zone 支持分段上传，但在对象创建日期、部件号的使用连续性等方面与传统 S3 有所不同。这使得 S3 Express One Zone 更适合特定的上传需求。 这些特性和行为的调整使 S3 Express One Zone 更适合对延迟最敏感、对可用性要求相对较低的应用，给开发者提供了一种经济高效的存储选择。 ### 三、服务体验使用 #### 1. 创建存储桶和上传文件 1.1.首先在[官网](https://aws.amazon.com/cn/?trk=cndc-detail)完成登录，来到用户控制台界面，在上面搜索栏搜索 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 服务，可以通过创建通用存储桶和目录存储桶。这里我们选择创建目录存储桶  1.2.根据个人需要去配置存储桶相关信息，在这里存储桶类型选择目录—新建，因为我们要体验的是 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone 的功能  1.3.配置完相关信息后，我们只需要短暂等待，便可以看到目录存储桶已经创建好了，**用户可以为目录存储桶中的对象创建清单文件，以便更灵活地管理和监控数据**  1.4.点击进入我们刚才创建的目录存储桶，因为是刚刚创建的，还没有进行相关的操作。在这里，我们点击上传按钮，可以将本地的一些资源存储到我们的存储桶中  1.5.进入上传界面之后，我们可以通过拖拽目标文件和文件夹，也可以从本地上传文件和文件夹资源，**S3 Express One Zone 支持在目录存储桶中执行批量操作**，包括清单操作。用户可以方便地操作和管理目录存储桶中的对象，同时保留清单的有效性和完整性  1.6.上传资源选择完毕之后呢，我们只需要等待片刻，便可以看到上传的状态。如图，已经上传成功，这里我上传的是一些照片，**S3 Express One Zone 提供了选择校验和算法的选项，包括安全哈希算法（ SHA ）和循环冗余校验（ CRC ）**。用户可以根据实际需求选择适当的校验和算法，以在上传或下载期间验证数据的完整性。这种灵活性使用户能够根据其数据完整性要求进行定制  1.7.之后我们可以去查看存储桶的相关属性权限和一些指标，同时可以对存储对象进行一些移动和删除以及创建文件夹的功能  #### 2. 创建接入点和批处理处理 2.1.除了上面的一些基础操作，我们还可以创建接入点，接入点是连接到可用于执行 S3 对象操作的存储桶的命名网络终端节点  2.2.点击创建接入点后，配置相关信息完成后，稍等片刻便可以看到接入点已经创建成功。可以看到接入点所对应的存储桶拥有者账户 ID 和接入点别名  2.3.除了创建单个接入点，还可以创建 对象 Lambda 接入点和多区域接入点，根据开发者需要进行选择  2.4.同时呢，开发者可以也可以使用 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 对象执行大规模的分批操作，分批操作可以对清单中指定的 amazing S3 对象列表运行单个操作  在这里我体验了使用 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 平台去进行一系列的相关操作，同时官方也提供了多种使用方式，例如：亚马逊云科技 命令行界面 （亚马逊云科技 CLI ） 和、[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) REST API 等。小伙伴可以阅读官方文档获得更专业的指导 ->[Amazon S3 官方使用文档](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-express-security-iam.html?trk=cndc-detail) #### 3. 使用 API 操作 S3 Express One Zone 创建了目录存储桶，您就能够立即体验非常低延迟的读写操作。这一体验可以通过 ( VPC ) 建立终端节点连接实现，也可以通过区域和区域终结点进行管理对象和目录存储桶的 API 操作。 要使用 API 创建目录存储桶，需要通过以下步骤： **3.1.拥有适当的 IAM 权限**： 在 IAM 用户的身份下，确保用户拥有s3express:CreateBucket 权限。这可以通过向用户的 IAM 策略中添加如下权限来实现例如：请确保将要创建的目录存储桶的名称正确 ``` { "Version": "2012-10-17", "Statement": [ { "Sid": "AllowAccessRegionalEndpointAPIs", "Effect": "Allow", "Action": [ "s3express:DeleteBucket", "s3express:DeleteBucketPolicy", "s3express:CreateBucket", "s3express:PutBucketPolicy", "s3express:GetBucketPolicy", "s3express:ListAllMyDirectoryBuckets" ], "Resource": "arn:xxx:s3express:us-west-2:111122223333:bucket/DOC-EXAMPLE-BUCKET--usw2-az1--x-s3/*" }, { "Sid": "AllowCreateSession", "Effect": "Allow", "Action": "s3express:CreateSession", "Resource": "*" } ] } ``` **3.2.使用 API 调用创建目录存储桶：** 使用 亚马逊云科技 SDK 或 亚马逊云科技 CLI 等工具，调用 CreateBucket API 操作。以下是使用 亚马逊云科技 CLI 的示例： ``` xxx s3api create-bucket --bucket your-bucket-name --region your-region ``` 替换 “your-bucket-name” 为您要创建的目录存储桶的名称，“your-region” 为您希望存储桶所在的 亚马逊云科技 区域。 **3.3.验证创建**： 创建请求成功后，您可以通过检查返回的信息或使用其他 亚马逊云科技 S3 API 操作来验证目录存储桶的创建。例如，您可以使用以下命令列出存储桶： ``` xxx s3api list-buckets ``` 详细细节可以参考 [Amazon S3 Express One Zone 使用文档](https://docs.aws.amazon.com/AmazonS3/latest/API/API_DeleteBucket.html?trk=cndc-detail) ### 四、突破传统，展望未来 **[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone 是专为对延迟最敏感的客户提供一致的个位数毫秒级数据访问应用而构建的高性能单区 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 存储类**。 相比 S3 标准存储，S3 Express One Zone 具有更低的延迟和更高的性价比，数据访问速度比标准存储更快，请求成本低至 3%。这意味着应用程序能够立即受益于更快的数据访问速度，而且使用 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) API ，可以帮助开发者轻松地扩展或缩减存储。 同时 S3 Express One Zone 提供了性能弹性，不仅满足了对延迟极为敏感的应用需求，而且还支持每秒数十万个请求。**数据存储在一种新的存储桶类型中，即 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 目录存储桶，每个目录存储桶支持数十万个每秒事务数，与键名称或访问模式无关。** [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone 尤其适用于对延迟极为敏感的场景，**通过使用专用的软件和硬件加速数据处理，能够将降低高频访问的数据延迟性带来的负担**。  **[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone 为客户提供了一种高性能存储的创新解决方案，与传统构建方式相比，带来了显著的性能提升和成本效益。** 传统构建方式通常需要在多个存储系统之间进行管理，并对数据的可用性和持久性做出妥协。而 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone 通过专用硬件和软件的精妙整合，将数据存储在 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 目录存储桶中，以实现更快的数据访问速度。  **相较于传统构建方式， [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone 在性能上表现出色，其数据访问速度比 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Standard 快 10 倍，尤其适用于对延迟极为敏感的性能关键型应用程序，如查询密集型分析。此外，通过将数据与计算资源置于同一亚马逊云科技可用区，客户不仅可以更灵活地扩展或缩减存储，而且能够以更低的计算成本运行工作负载，降低了总体成本。** **无论是对开发者还是企业用户，[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone 都有着提供强大的性能和广泛适用性**。 在数据管理和操作方面，有着灵活和高性，能让用户能够更好的日益适应，日益变化的需求。作为 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 的升级版本，[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) Express One Zone 在云端存储领域再次彰显了亚马逊云科技的技术实力，为用户提供更出色的数据存储体验。