深入了解 Amazon Neptune 的新功能

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/DAT325-Dive_deep_into_what_s_new_with_Amazon_Neptune-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 了解 [Amazon Neptune](https://aws.amazon.com/cn/neptune/?trk=cndc-detail) 的新功能，这是一款完全托管的图形数据库服务，可以存储、映射和查询数据集之间的关系，以用于身份和欺诈检测等应用程序。在本论坛中，探索可以帮助您在用例中最大化图形数据价值的最新创新。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 布拉德·比比（Brad Beebe）博士与Ümit Çağlayan博士向观众详细介绍了图形数据库领域的知识及其在亚马逊Neptune中的运用。作为亚马逊Neptune和[Amazon Timestream](https://aws.amazon.com/cn/timestream/?trk=cndc-detail)的总经理，布拉德在加入亚马逊云科技之前，曾在一家开源图形数据库公司工作了7年，亲身见证了图形技术如何帮助企业挖掘数据中的关联信息以解决问题和获得洞察。 五年前，亚马逊推出了Neptune，成为最早在云端提供完全托管的图形数据库之一。如今，随着2022年re:Invent宣布的Neptune分析服务普遍可用，布拉德对此项新功能充满了期待。 在深入了解这项服务的细节之前，布拉德希望了解观众的现有图形知识和经验。根据举手情况，尽管有些观众已经在系统中使用了图形技术，但仍有许多人是因标题中的“AI”吸引而来参加会议的。布拉德承诺，无论听众是否已经使用图形技术，他们都将从此次讲座中获得宝贵的见解，了解如何将Neptune和Neptune分析应用于实际操作中。 布拉德通过解释图形为何如此强大引入主题。图形数据库主要依赖于数据的连接和关系进行建模，从而提供了查询和遍历这些关联信息的途径。这为各种应用场景提供了支持，如个性化推荐、欺诈检测和网络安全等。然而，处理基于关系的数据也会带来复杂性。图形性能在很大程度上取决于图的形状，并受随机访问模式的影响。为了应对这种挑战，需要针对低延迟性能对图形工作负载设计专用的解决方案。 这正是亚马逊Neptune所发挥的作用：作为一款完全托管的图形数据库服务，它专为这些交互式的、基于关系的查询而优化。Neptune数据库采用了跨低延迟读取副本的集群架构，实现了大规模的毫秒级查询延迟。成熟的客户已经成功部署了超过4000亿边的图形，证明了Neptune的高效性能。 此外，Neptune具有很强的灵活性，支持多种图模型，包括属性图和RDF图。它与流行的图查询语言（如Apache TinkerPop Gremlin和W3C的SPARQL）实现了集成。最近添加的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)部署和多Region支持等功能使得Neptune在生产应用程序中更具吸引力。然而，Brad意识到，图的广阔可能性远不止于传统数据库用例。还有许多其他领域的图分析、链接数据等新兴技术可以挖掘关系和连接。 正是这种来自客户的洞察激发了亚马逊Neptune分析（[Amazon Neptune](https://aws.amazon.com/cn/neptune/?trk=cndc-detail) Analytics）的开发。尽管Neptune提供了一个强大的图数据库，但要对整个图进行分析以获取见解，需要采用不同的架构。这就是Neptune分析的作用所在——提供高速、敏捷的内存图处理能力，以处理数十亿的边。 Neptune分析的目标是为分析性能提供一种高性能的计算解决方案，同时具备完全托管服务的便利性。Neptune分析引入了一个新的内存优化的数据库引擎选项，使得图分析的速度比过去快了80倍。 它实现了一个共享的图端点，因此用户无需配置单独的数据库集群或管理实例。该服务使用一个两维图分区方案和复制方案来实现持久性，同时优化内存访问模式。例如，它可以每秒加载超过1000万个边，并以相似的速度进行扫描。 Brad概述了三个非常适合Neptune分析的主要用例： 1. 临时分析 - 快速从Neptune或S3加载大量图，使用算法和查询以高速进行分析，然后根据需要关闭图并持续结果。 2. 低延迟查询 - 对多达50亿边的巨大图运行快速的查询，通过利用图算法来减少延迟。 3. 向量搜索 - 在图中存储向量嵌入以进行向量相似性搜索。 Neptune分析通过openCypher将图算法作为可调用的存储过程进行暴露。它推出时包含一个丰富的目录，包括广度优先搜索、PageRank、最短路径、连通组件、三角形计数等。 为了展示实际客户价值，Brad重点介绍了私人测试阶段的一些例子。 金融服务行业的客户通过迅速将交易图表加载到Neptune Analytics中，以识别可疑模式，从而将欺诈检测从17%提高到了58%。在线媒体公司通过将知识图谱加载到Neptune Analytics中进行快速的迭代分析，从而降低了成本并加速了数据科学流程。如今，流行的社交媒体平台Snap也在使用Neptune Analytics来存储和查询作为大量图形表示的用户参与特征，从而提升了用户体验。亚马逊自身的零售业务通过启用图形遍历和算法来揭示欺诈链接，因此欺诈调查时间减少了25%。一家医疗保健公司创建了一个包含化学物质、疾病、基因和蛋白质的知识图谱。通过添加向量搜索功能，可以识别有前景和有问题的药物候选者，从而减少昂贵的实验室测试。Brad解释了Neptune Analytics的特有架构如何促进这些创新应用，包括速度、算法和向量搜索在灵活且持久图形上的融合。接下来，Ümit Çağlayan博士上台分享了关于Neptune Analytics内部技术创新的内部见解。作为一名亚马逊研究员和佐治亚理工学院的教授，Ümit Çağlayan博士带来了图形、算法和高性能计算领域的宝贵学术专业知识。他解释说，Neptune Analytics的核心是一种新颖的两维图形分区方法。这将把不规则内存访问模式转换成高度局部化的并行化操作，同时最小化通信。结合优化的数据结构和查询执行，Neptune Analytics实现了高达80倍的事务性数据库加载和查询性能的提升。重要的是，Neptune Analytics直接在事务性数据结构上运行。无需单独管理分析商店。算法作为在执行部分分区图形块时执行的内核来实现。这使得Neptune Analytics非常适合在同一图形数据上处理事务性和分析工作负载。为了展示先进的分区技术，Ümit Çağlayan博士通过一个机场和航班路线的例子进行了演示。通过对图形在水平和垂直方向进行分割，可以将查询子集之间的查询隔离成高效的对角线块。这增加了数据本地性，同时保持了可扩展性。 内核是分区图上的核心计算构建块，它们可以被调用。简单内核可能仅涉及一个区块的操作，而复杂算法则可能在多个区块之间进行链式连接。内部任务队列负责处理跨资源的分布式执行。 这种架构能够支持各种图算法的应用。例如，PageRank这样的单区块同步算法会在每个区块上进行迭代运算；基于激活的算法，如广度优先搜索，会从源顶点开始有选择地激活区块；而多模式算法则会根据计算的指定来处理区块的顺序。 在实时演示环节，Çağlayan博士强调了用户如何在与Neptune Analytics互动的过程中运行算法。他用空中交通数据的示例进行了展示，展示了如何通过几行openCypher代码执行广度优先搜索、最短路径和中枢性算法。这些计算在短短几秒钟内完成，展现了惊人的性能。 在总结部分，Çağlayan博士展望了未来的可能性，比如在Neptune中同时支持属性图和RDF的一个单一图形模型。目前的架构已经考虑到了这个宏伟的目标。 总的来说，这次会议全面介绍了亚马逊Neptune如何实现快速、可扩展且完全管理的图形分析。通过将专为图形分区和高性能计算技术相结合，Neptune将算法和向量搜索的力量带入了交互式图形工作负载领域。演讲者清晰地传达了Neptune如何提供了革命性的性能，并解锁了欺诈检测、知识管理等领域内的创新应用。 **下面是一些演讲现场的精彩瞬间：** 七年前，亚马逊云科技的一位领导者加入了团队，如今他回顾并分享了对前一天宣布的[Amazon Neptune](https://aws.amazon.com/cn/neptune/?trk=cndc-detail) Analytics正式上市的兴奋心情。  这位领导者强调了[Amazon Neptune](https://aws.amazon.com/cn/neptune/?trk=cndc-detail)在支持广泛图形模型方面的优势，并介绍了一些新功能，如[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)部署选项和多区域全球数据库等。  据客户反映，知识图谱、身份图谱、欺诈检测和安全图谱是四种主要的图形应用领域。  Neptune采用传统的数据库架构，将计算与存储分离，以实现灵活性。  此外，亚马逊Neptune分析提供了一个快速、耐用且易于使用的图形分析引擎。  领导者强调了Neptune分析如何通过将图形算法作为openCypher内部的可调用存储过程来简化用户体验，使得用户可以轻松地在查询中调用诸如广度优先搜索之类的算法。  领导者还揭示了亚马逊对于支持多种查询语言的统一图形模型的愿景。  ## 总结 亚马逊Neptune是一款专为存储和查询数十亿个关系而优化的关系型图形数据库。Neptune分析引擎作为一种托管服务，利用高性能计算技术来处理大型图形，性能最高可提升80倍。它提供一个单一的图形端点，用于加载、存储和分析多达500亿边的图形。 Neptune分析实现了诸如PageRank和最短路径等图形算法，作为openCypher查询语言中的可调用存储过程。它支持存储向量数据，并允许在图形内搜索向量。应用场景包括对大型图形进行临时分析、实现低延迟的图形算法查询以及使用向量搜索扩展图形。 Neptune分析采用内存优化的Neptune容量单位定价，起点为100个单位。一家金融服务公司使用该服务将欺诈检测准确率从17%提高至58%。此外，它还帮助一家媒体公司降低了数据科学管道的时间和成本。Neptune分析使得构建基于图形的AI应用程序变得更加容易。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")