Amazon OpenSearch Service 新增功能

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/ANT301-What_s_new_in_Amazon_OpenSearch_Service-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 凭借在安全分析、数据接收、可用性、向量数据库功能以及 AI 用例方面的进步，[Amazon OpenSearch Service](https://aws.amazon.com/cn/opensearch-service/?trk=cndc-detail) 不断为用户带来创新。在本讲座中，OpenSearch 服务专家将与您一起展示最新的功能和特性，帮助您安全地对运营数据进行实时搜索、监控和分析。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1600字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 会议开始时，亚马逊云科技的OpenSearch总经理Mukul Karnick欢迎与会者参加关于Amazon OpenSearch服务新功能的演示。他邀请了OpenSearch的产品管理总监Carl Meadows和Electronic Arts的高级经理Bill Burkett一起参加。Karnick承诺将展示令人兴奋的演示内容，涵盖开源OpenSearch项目、将数据导入OpenSearch、搜索和可观察性使用案例、Electronic Arts的客户迁移故事以及亚马逊OpenSearch服务的创新。 Karnick首先强调了自2021年推出以来，开源OpenSearch项目的巨大增长。在短短一年里，下载量从1亿次加速到超过30亿次。采用OpenSearch的合作伙伴数量也从40多个迅速增长到70多个，包括独立软件供应商、解决方案提供商和主要的云服务提供商，如Oracle、Azure和GCP。像SAP和Intel这样的合作伙伴现在甚至为开源项目贡献代码。因此，OpenSearch现在有1500多名贡献者，其中超过一半来自亚马逊云科技之外。在所有主要云提供商上提供，无论是原生还是通过合作伙伴提供的，OpenSearch已经迅速超越了其在亚马逊云科技的发源地，取得了强大的势头。 转到亚马逊OpenSearch服务时，Karnick解释了它是如何帮助客户安全、高效地大规模管理OpenSearch的。该服务与各种亚马逊云科技服务集成，包括AI/ML服务，使OpenSearch更容易与其他服务一起使用。因此，数十万家客户现在使用Amazon OpenSearch服务处理每月数十亿次请求，并存储大量数据——总计数百PB。 重点客户包括Adobe，他们利用OpenSearch为其电子商务平台提供搜索和推荐功能，以提升客户体验。另一个例子是Zillow，他们使用OpenSearch快速索引和检索房地产清单，以便用户能够高效地搜索房屋。其他客户，如SAP和Intel，使用OpenSearch从其业务数据中获得有价值的见解，并为内部应用程序提供动力。各行各业的大量大型客户展示了OpenSearch的多样性，以及它如何驱动任务关键的负载。 卡尼克深入研究了搜索领域的基本概念，包括如何高效地找到相关的数据和见解。他的研究追溯到超过2000年的搜索历史，从公元前3世纪首次发明索引和分类方案来组织书籍和文档的信息开始。尽管基本原理仍然相同，但现代文本搜索依赖于倒排索引和Lucene等技术。随着人工智能和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的发展，新的技术如语义和自然语言搜索也被引入，以提高搜索的相关性。卡尼克指出，OpenSearch还具有一些内置功能，如分面、地理空间搜索、自动完成和模糊搜索等。将传统搜索与人工智能和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)相结合的创新令人充满期待。 在OpenSearch的另一个主要应用方面，卡尼克解释了它在日志分析方面的优势。通过分布式特性、处理大量数据量和提供快速查询响应的能力，OpenSearch非常适合处理这种工作负载。然而，对于负责录入日志和文档的数据工程师来说，构建所需的管道可能具有挑战性。为了解决这一问题，亚马逊云科技在2022年6月推出了Amazon Ingestion Service。这是一种完全托管的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)方式，用于处理数据收集、缓冲、解析和路由到OpenSearch。基准测试表明，其效率比替代品（如Logstash）高出60-70%，从而减轻了数据工程师的工作负担。 卡尼克还强调，将现有系统迁移到OpenSearch可能对许多客户具有挑战性。为了简化迁移过程，亚马逊云科技最近宣布了OpenSearch Migration Assistant。作为一个解决方案或开源项目，它可以部署代理以在新旧OpenSearch集群之间复制流量。这有助于验证结果的相关性，比较性能，并逐步控制迁移的速度。例如，当EA从自管理的Elasticsearch迁移到亚马逊云科技上的OpenSearch时，可以使用迁移助手来帮助顺利验证配置、调整合适的集群大小并在过渡期间最小化重复的基础设施。 卡尼克承认的一个痛点是在像DynamoDB这样的亚马逊云科技服务上构建的应用程序中添加搜索功能。通常情况下，这需要构建复杂的数据管道来移动数据。然而，最近宣布的DynamoDB和OpenSearch之间的零ETL集成消除了任何ETL开销。从DynamoDB控制台开始，只需点击几次，表就可以直接同步到由Ingestion Service管理的OpenSearch索引。这使得使用DynamoDB的应用程序可以轻松获得由OpenSearch提供的搜索功能。 在此阶段，卡尼克邀请了OpenSearch产品管理总监Carl Meadows来讨论围绕搜索和可观察性使用案例的最新创新。 梅德斯首先向观众介绍了他们在管理搜索平台方面的经验。他承认调整相关性通常需要大量的精细调整。虽然OpenSearch提供了各种技巧，如分面搜索和地理搜索，但AI/ML的发展正在实现新的方法，以更好地理解用户的意图，包括语义和自然语言搜索。随着OpenSearch 2.9的推出，他们引入了神经搜索，以将AI/ML模型原生地集成到索引和搜索管道中。这消除了在尝试不同模型以编码嵌入、个性化结果、对文档进行摘要等时定制中间件的需求。 梅德斯强调了基于神经搜索的新功能，包括结合文本和向量的混合搜索、与SageMaker模型的集成以及支持跨文本和图像的多模态搜索。例如，客户可以使用多模态搜索来通过图像搜索他们的产品目录，而无需任何手动标记或元数据。通过简化AI/ML的使用，OpenSearch可以利用这些技术以仅通过文本匹配无法实现的强大方式提高搜索相关性。 在可观察性方面，梅多斯注意到OpenSearch非常适合用于分析机器生成的数据，如日志文件，但仍然需要大量手动操作来编写查询、创建仪表板、配置警报等。为了减轻这种繁琐的工作，他们推出了包括异常检测、OpenTelemetry支持、日志模式和PPL查询语言在内的可观察性功能。然后，梅多斯宣布了新的OpenSearch助手工具包，该工具包使开发者能够通过自然语言查询和对结果进行概括，从而更容易地探索数据。例如，开发人员可以用简单的英语提问，调查应用程序问题或总结仪表板。 另一个关键创新是零ETL S3集成，允许直接对存储在S3中的数据进行SQL/PPL查询，而无需首先将数据索引到OpenSearch中。这使得大量不经常访问的日志数据可以快速用于分析。客户可以利用这一点直接在S3中查询VPC流日志，以便进行安全取证，而不会产生将所有数据传入OpenSearch的存储和索引成本。 此时，卡尼克邀请了比尔·博卡特（Bill Burkett），电子艺界（Electronic Arts）公司的资深经理，分享他从自管理的Elasticsearch迁移到亚马逊OpenSearch服务的第一手经验。 博卡特解释说，他的团队负责为电子艺界公司180多个游戏项目提供观测平台，包括受欢迎的系列如FIFA、Madden和Apex Legends。他们之前依赖于一个在Kubernetes上运行的大型Elasticsearch集群来为这些服务提供应用程序日志。然而，由于自管理意味着监控硬件、调整性能、手动扩展容量等方面的巨大运营开销，他们的老旧Kubernetes环境升级也变得困难重重。在一个新发布的游戏流量激增期间，这个老式的集群无法足够快速地扩展规模，导致共享基础设施的其他游戏的观测问题。 为了减轻这些痛苦，Electronic Arts公司决定迁移到亚马逊的OpenSearch服务。借助他们现有的自定义接收服务，在过渡期间他们可以轻松地将数据复制到旧的OpenSearch集群。这样，他们可以仔细验证配置、大小、分片策略和超热节点，从而优化成本。通过首先逐步转移低吞吐量应用程序，然后仅运行双集群一段时间，他们将不必要的支出降到最低。在短短7-8个月内，Electronic Arts公司成功地从Elasticsearch迁移到了OpenSearch。据Burkett分享，他们实现了数百万美元的节省，主要是通过调整容量大小并使用超热节点而不是依赖大量EC2实例。同样重要的是，自迁移以来，托管服务不需要进行零接触维护，消除了工程疲劳，同时提供了所有游戏标题的稳定可观察性。 Karnick接着分享了关于简化运营的一些最新创新。自动调谐可以根据工作负载持续优化配置。自愈能力减少了由节点故障等破坏性事件引起的停机时间。非高峰时段维护窗口允许在高影响期安排破坏性更新。具有备用主机的多AZ部署提供高可用性以满足严格的SLA。最近推出的OpenSearch优化实例系列将索引处理能力提高80%，同时为索引密集型工作负载改进性价比30%。支持基于S3的索引可以实现高达12个9的耐用性。对于完全[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)的使用场景，OpenSearch Serverless选项根据需求自动调整容量。 在总结中，Karnick详细阐述了最新的OpenSearch特性和Amazon OpenSearch服务的改进如何为四个关键领域带来价值。通过采用Ingestion Service和Zero ETL集成，数据摄入变得更为简便。神经搜索以及其他AI/ML技术提升了搜索的相关性。OpenSearch助手、Zero ETL S3集成及相关功能增强了可观察性。此外，自动化优化、自主修复以及[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)等产品简化了操作流程。从开源项目到完全管理的服务，OpenSearch凭借其全面的创新，如今比以往任何时候都更有能力为各种关键工作负载提供动力。 **下面是一些演讲现场的精彩瞬间：** 穆库尔·卡尼克（Mukul Karnick）担任亚马逊云科技的OpenSearch总经理，与OpenSearch的卡尔·梅德尔斯（Carl Meadows）和电子艺术的比尔·伯克特（Bill Burkett）共同参加亚马逊云科技举办的re:Invent。  亚马逊云科技利用人工智能（AI）和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)（ML）技术将文本转换成高维向量，实现了强大且准确的搜索功能。  通过OpenSearch助手，用户可以以自然语言查询数据，并自动获得洞察和可视化结果。  此外，OpenSearch还推出了安全分析功能，可以根据威胁数据库和自定义规则分析日志数据，以检测安全问题。  亚马逊云科技部门的领导详细介绍了如何使用Amazon OpenSearch服务在故障排除和取证过程中同时查询和分析主要和次要日志数据的方法。  此外，该领导还强调了亚马逊云科技的创新[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)技术，这些技术消除了客户管理实例或分片的需求。  ## 总结 概述 本课程主要介绍了开源项目OpenSearch及其托管的Amazon OpenSearch服务的最新进展。OpenSearch在客户和合作伙伴中的应用正逐渐加速。 关键点1 多种创新使得将数据导入OpenSearch变得更加简便。通过新的Amazon Ingestion Service，可以以[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)的方式进行日志和文档的接收、转换，并将其传递给OpenSearch。该服务具有高度的扩展性、高效性和相较于Logstash等替代方案更低的成本优势。此外，与DynamoDB的新零ETL集成使表直接同步到OpenSearch索引成为可能。 关键点2 OpenSearch的搜索功能正在不断扩展，包括语义搜索、神经搜索、多模态搜索等。神经搜索允许将词汇搜索与向量相似性和自定义AI/ML模型相结合，同时仍保持OpenSearch的API。新的稀疏向量检索提供了高准确性，同时降低了计算成本。总之，相关性和定制选项正在不断增加。 关键点3 在可观察性方面，OpenSearch Assistant工具包使得对日志数据的自然语言查询成为可能。与S3的新零ETL集成允许直接查询和分析对象存储中的日志数据。OpenSearch Metrics和Traces提供对指标和追踪数据以及日志的集成访问。安全分析功能也得到扩大。 结论 Amazon OpenSearch服务在摄入、搜索、可观察性和托管服务功能方面都取得了创新。这些进展使得利用OpenSearch的大规模分析功能变得更加简便且经济高效。客户应考虑尝试新的摄入服务、神经搜索、OpenSearch Assistant以及其他最近的功能。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")