OpenSearch 2.18版本发布

OpenSearch是一个基于Lucene打造的分布式搜索引擎，具有Apache 2.0 License，它的前身是发起自2019年的open-distro-elasticsearch，在2021年独立成为一个全新的project并且重新命名为OpenSearch，旨在提供完全开源无需提供授权费用的，由开源社区共建的，面向搜索，日志，监控，安全，可观测性等场景的分布式引擎。 * OpenSearch 官方网站：[opensearch.org](https://opensearch.org/docs/latest/) * OpenSearch Github地址：[OpenSearch](https://github.com/opensearch-project/OpenSearch) * OpenSearch 论坛：[forum.opensearch.org](https://forum.opensearch.org/) OpenSearch 2.18 现已推出！您可以下载最新版本的 OpenSearch，探索令人兴奋的新功能和增强功能，这些功能和增强功能旨在提高[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail) (ML) 集成、可扩展性、成本效率和搜索性能。此版本包括重大更新，例如增强的 ML 推理搜索处理器、扩展的批处理功能、高级搜索优化等。请继续阅读以深入了解这些强大的新功能。您可以使用[OpenSearch Playground](https://playground.opensearch.org/app/home#/) 试用最新的版本，如需全面了解新功能，请查看[发布说明](https://github.com/opensearch-project/opensearch-build/blob/main/release-notes/opensearch-release-notes-2.18.0.md)。 ## 向量数据库和生成式 AI OpenSearch 2.18 对向量数据库和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)（ML）工具包进行了多项更新，可帮助您构建更灵活、性能更佳的 ML 和 GenAI 应用程序。 ### 加速向量搜索应用程序性能 2.18版本针对您的 ML 和 GenAI 工作负载引入了多项性能改进，亮点包括： * 更高效的内存和缓存管理：引入了对本机库内存和缓存管理的优化，有助于[确保高效的资源利用率](https://github.com/opensearch-project/k-NN/pull/2182)。 * 改进的索引和搜索性能： Faiss 引擎[集成 AVX512 SIMD](https://github.com/opensearch-project/k-NN/pull/2110)支持，让您可以利用先进的硬件功能，显著提高索引和搜索性能。 * 索引加速：创建[向量数据结构](https://github.com/opensearch-project/k-NN/issues/1942)的更新方法通过HNSW索引并避免较小段的开销来增强索引加速。 ### 改进search pipeline的输出 OpenSearch 2.18 对[ML推理响应处理器](https://opensearch.org/docs/latest/search-plugins/search-pipelines/ml-inference-search-response/)进行了多项改进。您现在可以将 ML 模型生成的预测保存到ext.ml_inference搜索响应中的搜索扩展中，而不是仅将预测写入匹配结果，从而为 GenAI 用例提供更灵活的结果处理。对于重新排名用例，OpenSearch 现在提供了将查询文本与文档一起传递到模型输入数据集的功能，支持更具上下文感知的预测。此外，当与重新排名处理器结合使用时，ML 推理搜索响应处理器现在可以对搜索匹配结果进行排名，并根据模型预测更新分数。这些增强功能共同改善了 ML 模型在搜索管道中的集成，从而实现了更复杂且更具上下文感知的文档排名和结果增强。 ### 按字段重新排序以增强搜索结果 此版本通过引入一种名为ByField的新重新排序器类型增强了 OpenSearch 的[重新排序处理器](https://opensearch.org/docs/latest/search-plugins/search-pipelines/rerank-processor/)。这允许您根据指定的目标字段对搜索结果执行二级重新排序。因此，您可以实现更高的搜索相关性，尤其是在应用来自先前文档搜索结果的数字分数时。当先前的搜索响应处理器将数字结果添加到搜索结果中时（例如由 ML 推理处理器生成的搜索结果），这种新的重新排序类型可让您根据该字段调整排名。您还可以保留原始分数，从而轻松评估调整后的搜索相关性是否符合您的预期。这允许您根据之前的分数对结果重新排序，如果需要，允许您返回到最初的起点。 ## 搜索 ### multi-search API支持指定search pipeline 使用 OpenSearch 2.18，您现在 Multi-search API 请求正文中直接定义search_pipeline参数，从而提供更大的灵活性和对搜索操作的控制。以下是如何通过 Multi-search API 定义该参数的示例： ``` { "index": "test"} { "query": { "match_all": {} }, "from": 0, "size": 10, "search_pipeline": "my_pipeline"} { "index": "test-1", "search_type": "dfs_query_then_fetch"} { "query": { "match_all": {} }, "search_pipeline": "my_pipeline1" } ``` ## 成本、性能和可扩展性 此版本包含可帮助您改善 OpenSearch 集群的成本、性能和可扩展性的更新。 ### 减少集群统计的工作量并优化大规模故障排除 OpenSearch 2.18 引入了新的支持分页的cat indices 和cat shards API。Cat API在集群中解决问题时非常有用，但在较大的集群中扩展性不佳，会给接收请求的节点带来很大的开销，并且由于响应大小较大，偶尔会出现超时。新的支持分页的API为 GET _list/indices 和 GET _list/shards。此版本还为 Cluster Stats API 引入了指标过滤器，它提供与索引、分片和节点相关的完整集群统计信息。在较大的集群中计算这些统计数据可能会产生昂贵的开销；现在 API 提供了在输入中指定过滤器的选项，以便仅检索集群统计信息的特定子集，这意味着您可以检索所需的统计信息而不会给集群带来过重的负担。 ## 稳定性、可用性和弹性 OpenSearch 2.18 还添加了帮助您维护 OpenSearch 部署的稳定性、可用性和弹性的功能。 ### 通过增强查询分组识别资源密集型查询模式 监控[Top N queries](https://opensearch.org/docs/latest/observing-your-data/query-insights/top-n-queries/)可以帮助您根据延迟、CPU 和内存使用率等指标在给定时间范围内识别最耗资源的查询。但是，如果一个要求很高的查询重复执行，它可能会占据前 N 个位置，从而掩盖其他资源密集型查询。为了解决这个问题，按相似性对查询进行分组可以深入了解各种高影响查询模式，而不是单个实例。从 OpenSearch 2.17 开始，Top N queries可以按相似性分组，将具有相同查询结构的查询分组。在 2.18 版中，此分组功能得到增强，还考虑了字段名称和数据类型，允许您在更精细的级别对查询进行分组。这使得查询分组更加准确，有助于更好地识别和分析跨不同查询类型的资源密集型查询模式。 ## 易用性 OpenSearch 2.18 还对OpenSearch-Dashboards增加了新的功能，旨在改变您通过 OpenSearch 体验、交互和协作的方式。 ### 使用 Workspace 跨团队进行创作和协作 OpenSearch-Dashboards 2.18 引入了[Workspace](https://opensearch.org/docs/latest/dashboards/workspace/workspace/)，这是一个旨在提高团队协作能力的多租户环境。我们收到了大量社区反馈，这些反馈表明 OpenSearch-Dashboards 仪表板中为索引模式、仪表板和已保存对象提供租户级“隔离”空间的价值。在此版本中，您现在可以使用细粒度的访问控制来管理协作，轻松地在工作区中添加或删除协作者，并在工作区级别控制他们的权限。作为工作区的创建者，您可以分配基于角色的权限：“只读”适用于只需要访问工作区和查看数据可视化的利益相关者；“读写”适用于需要创建和更新已保存对象的同事；“管理员”适用于需要完全权限来读取、写入、配置设置或删除工作区的共同所有者。此外，有五种工作区类型，每种类型都针对不同的用例量身定制 - 安全分析、可观察性、搜索、基本功能和分析 - 每种类型都有一组不同的可用功能，可提供量身定制的体验。要了解如何使用Workspace，请参考[Enable Workspace](https://opensearch.org/docs/latest/dashboards/workspace/workspace/#enabling-the-workspace-feature)。 ### 通过重新设计的主页和导航结构提高效率并简化工作流程 OpenSearch-Dashboards 2.18 首次推出了重新设计的主页和导航结构，可提供更丰富、更人性化的体验。新的 OpenSearch-Dashboards 主页充当中心枢纽，提供清晰的路径供用户访问和创建工作区。重新设计的导航结构摆脱了复杂的菜单，提供了更简洁、更有条理的导航栏，可适应所选工作区并支持针对每种用例量身定制的工作流程。选择工作区后，将为用户呈现适合其特定任务的环境；每种工作区类型都提供专用的工具、视图和导航路径，以帮助团队更高效地工作。精简的“入门”指南简化了新用户的流程，并根据他们的需求将他们引导至关键功能。无论是管理安全事件、进行数据分析还是监控基础设施，用户都可以通过更少的点击访问必要的工具。这些更新旨在简化跨团队的数据管理、分析和协作，降低复杂性并提高生产力。 ### 使用更新的 Discover 界面查询数据并简化洞察 新的实验性[Discover](https://opensearch.org/docs/latest/dashboards/discover/index-discover/)界面增强了查询体验并提供更多自定义选项。该界面允许分析师折叠未使用的部分并简化他们的工作区。在过去的一年里，我们收集了来自 OpenSearch-Dashboards 查询界面用户的宝贵反馈，包括日志资源管理器中的管道处理语言 (PPL)（用于可观察性）和查询工作台中的 SQL。作为回应，我们在 Discover 中将 PPL 和 SQL 作为查询选项与仪表板查询语言 (DQL) 和 Lucene 一起添加，允许分析师使用他们喜欢的查询语言。我们还改进了数据选择器并添加了自动完成功能 - 这是一个备受期待的功能。新体验通过功能标志提供，您可以通过导航到仪表板管理，选择高级设置，然后将“启用查询增强功能”切换为 ON 来启用它。我们欢迎您对此功能的反馈，并将收集社区意见，直到版本 2.21 发布，届时新的 Discover 体验将普遍可用。此外，我们在 VisBuilder 中引入了一个新的饼图可视化，用于基于 Vega 的可视化。要尝试它，请在高级设置中启用“在 visbuilder 中启用 vega 转换” 。