re:Invent 2023技术上新｜Amazon DynamoDB 与 OpenSearch Service 的 Zero-ETL 集成

[Amazon DynamoDB](https://aws.amazon.com/cn/dynamodb/?trk=cndc-detail) 与 [Amazon OpenSearch Service](https://aws.amazon.com/cn/opensearch-service/?trk=cndc-detail) 的 Zero-ETL 集成已正式上线，该服务允许您通过自动复制和转换您的 DynamoDB 数据来搜索数据，而无需自定义代码或基础设施。这种 Zero-ETL 集成减少了运营负担和成本，使您能够专注于应用程序。这些负担和成本涉及数据管道架构编写代码、保持数据同步以及通过频繁更改应用程序来更新代码。 通过这种 Zero-ETL 集成，[Amazon DynamoDB](https://aws.amazon.com/cn/dynamodb/?trk=cndc-detail) 客户现在可以使用 [Amazon OpenSearch Service](https://aws.amazon.com/cn/opensearch-service/?trk=cndc-detail) 的强大搜索功能（例如[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)（ML）功能所需的全文搜索、模糊搜索、自动完成和向量搜索），来提供新的体验，从而提高用户参与度并提高对其应用程序的满意度。 这种 Zero-ETL 集成使用 Amazon OpenSearch Ingestion 来同步 [Amazon DynamoDB](https://aws.amazon.com/cn/dynamodb/?trk=cndc-detail) 和 [Amazon OpenSearch Service](https://aws.amazon.com/cn/opensearch-service/?trk=cndc-detail) 之间的数据。您可以选择需要同步数据的 DynamoDB 表，然后 Amazon OpenSearch Ingestion 会在数据可用后的几秒钟内将其同步到 Amazon OpenSearch 托管集群或[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)集合。 您还可以指定索引映射模板，以确保您的 [Amazon DynamoDB](https://aws.amazon.com/cn/dynamodb/?trk=cndc-detail) 字段映射到 [Amazon OpenSearch Service](https://aws.amazon.com/cn/opensearch-service/?trk=cndc-detail) 索引中的正确字段。此外，您可以将来自多个 DynamoDB 表的数据同步到一个 [Amazon OpenSearch Service](https://aws.amazon.com/cn/opensearch-service/?trk=cndc-detail) 托管集群或[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)集合，以提供对多个应用程序的全面见解。 ### **开始使用此 Zero-ETL 集成** 只需单击几下，您就可以将数据从 DynamoDB 同步到 OpenSearch Service。要在 DynamoDB 和 OpenSearch Service 之间创建集成，请在 DynamoDB 控制台的左侧面板中选择“**集成**”菜单，然后选择要同步其数据的 DynamoDB 表。  您必须开启时间点故障恢复（PITR）和 DynamoDB 流媒体功能。此功能允许您捕获表格中的项目级更改并将更改推送到直播。选择“**打开**”PITR，然后启用“**导出和流**”选项卡中的 DynamoDB Streams。 开启 PITR 和 DynamoDB Stream 后，选择“**创建**”来设置您的账户中的 OpenSearch Ingestion 管道，将数据复制到 OpenSearch Service 托管域。  在第一步中，输入唯一的管道名称并设置管道容量和计算资源，以便根据当前的采集工作负载自动扩展管道。  现在，您可以用 YAML 文件格式配置预定义的管道配置。您可以浏览资源来查找和粘贴信息，从而构建管道配置。该管道由来自 DyanmoDB 设置的 source 部分和 OpenSearch Service 的 sink 部分组成。 您必须设置多个 IAM 角色（ sts_role_arn ），使其具有从 DynamoDB 表中读取数据和写入 OpenSearch 域所必需的权限。然后，OpenSearch Ingestion 管道将承担此角色，以确保在将数据从 source 迁移到目标时始终保持应有的安全状态。要了解更多信息，请参阅[亚马逊云科技文档中的 Setting up roles and users in Amazon OpenSearch Ingestion](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/pipeline-security-overview.html?trk=cndc-detail)  输入所有必填值后，您可以验证管道配置，以确保您的配置有效。要了解更多信息，请参阅亚[马逊云科技文档中的 Creating Amazon OpenSearch Ingestion pipelines](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/creating-pipeline.html?trk=cndc-detail) 花几分钟时间设置 OpenSearch Ingestion 管道，即可看到您的集成已在 DynamoDB 表中完成。  现在，您可以在 OpenSearch 仪表板中搜索同步项目。 ### **注意事项** 关于这项功能，下面的这些信息您应有所了解： - **自定义模式** – 在将数据从 [Amazon DynamoDB](https://aws.amazon.com/cn/dynamodb/?trk=cndc-detail) 写入 OpenSearch Service 时，您可以指定您的自定义数据模式以及 OpenSearch Ingestion 所使用的索引映射。这种体验已添加到 [Amazon DynamoDB](https://aws.amazon.com/cn/dynamodb/?trk=cndc-detail) 里的控制台，因此您可以完全控制在 OpenSearch Service 上创建的索引格式。 - **定价** – 除了现有基础组件的成本外，使用此功能不会产生任何额外费用。请注意，Amazon OpenSearch Ingestion 会收取 OpenSearch Compute Units（OCU）的费用，而 OCU 将用于复制 [Amazon DynamoDB](https://aws.amazon.com/cn/dynamodb/?trk=cndc-detail) 和 [Amazon OpenSearch Service](https://aws.amazon.com/cn/opensearch-service/?trk=cndc-detail) 之间的数据。此外，此功能将 [Amazon DynamoDB](https://aws.amazon.com/cn/dynamodb/?trk=cndc-detail) streams 用于更改数据捕获（CDC），您将承担 [Amazon DynamoDB](https://aws.amazon.com/cn/dynamodb/?trk=cndc-detail) Streams 的标准费用。 - **监控** – 您可以通过检查 DynamoDB 控制台上的集成状态或使用 OpenSearch Ingestion 仪表板来监控管道状态。此外，您可以使用 [Amazon CloudWatch](https://aws.amazon.com/cn/cloudwatch/?trk=cndc-detail) 来提供实时指标和日志，这样您就可以设置警报，以防超出用户定义的阈值。 ### **现已上线** [Amazon DynamoDB](https://aws.amazon.com/cn/dynamodb/?trk=cndc-detail) 与 [Amazon OpenSearch Service](https://aws.amazon.com/cn/opensearch-service/?trk=cndc-detail) 的 Zero-ETL 集成现已在目前提供 OpenSearch Ingestion 的所有亚马逊云科技区域正式推出。 > 了解所有 re:Invent 2023 热门发布产品，请扫描下方二维码：