利用 Amazon Step Functions 和 Amazon Bedrock 建立生成式 AI 应用

机器学习
re:Invent
Amazon Lambda
生成式人工智能
Amazon Bedrock
0
0
今天,我们宣布对 [Amazon Step Functions](https://aws.amazon.com/cn/step-functions/?trk=cndc-detail) 和 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 进行两次新的优化整合。 Step Functions 是一项视觉工作流服务,能够帮助开发人员建立分布式应用、自动化流程、编排微服务,并创立数据和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)( ML )管线。 在[今年九月,我们创造出了](https://aws.amazon.com/cn/blogs/aws/amazon-bedrock-is-now-generally-available-build-and-scale-generative-ai-applications-with-foundation-models/?trk=cndc-detail) [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) ,即一种最简易的方式利用基础模型( FM )来建造和规模化生成式 AI 应用。 Bedrock 从领先的供应商例如 AI21 实验室、 Anthropic 、 Cohere 、稳定性 AI 和 Amazon 采购系统,提供基础模型的一系列的选择,协同一套广泛的客户需要的能力来建立生成式AI应用,并同时维护隐私和安全性。您可以从 [Amazon Management Console ](https://console.aws.amazon.com/console/home?trk=cndc-detail)、[ Amazon Command Line Interface(Amazon CLI)](https://aws.amazon.com/cn/cli/?trk=cndc-detail) 或 [Amazon SDK](https://aws.amazon.com/cn/cli/?trk=cndc-detail) 处获得 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 。 新诞生的 Step Functions 优化了与 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 的整合,使得您能够编排任务以使用 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 建立生成式 AI 应用以及与 [220 项 Amazon 服务](https://aws.amazon.com/cn/blogs/aws/now-aws-step-functions-supports-200-aws-services-to-enable-easier-workflow-automation/?trk=cndc-detail)进行整合。有了 Step Functions , 您可以从视觉上开发、检查和审计您的工作流。之前,您还需要唤醒一项 [Amazon Lambda](https://aws.amazon.com/cn/lambda/?trk=cndc-detail) 功能从您的工作流中来使用 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) ,增加更多的代码来维持它们,同时也对您应用的成本造成了增加。 Step Functions 为 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 提供了两个新的优化的 API 方案。 ● **InvokeModel** – 这项整合允许您激发一个模型并用参数中提供的输入运行推断功能。使用这款 API 方案来为文本、图像和嵌入式模型运行推断功能。 ● **CreateModelCustomizationJob** – 这项整合创造了一个具有微调功能的任务来定制化一个基础模型。在此类参数中,您可以对基础模型和训练数据的所在位置进行详细地说明。当任务完成时,您的定制模型即实现了可用。这是一款异步的 API ,这一整合允许 Step Functions 运行一项任务,并在进行至下个状态前等候任务的完成。这意味着状态机的执行在创建的模型定制化任务运行时会发生终止,并且当任务完成时候会再次自动恢复。 ![image.png](https://dev-media.amazoncloud.cn/83bfbd1d92e449e896885f064c7b58e5_image.png "image.png") **++InvokeModel++** API 方案接受高达 25MB 的请求和回复。然而, Step Functions 对状态有效载荷输入和输出有256kB的限制。为了通过这种集成支持更大的有效载荷,您可以定义一个 [Amazon Simple Storage Service(Amazon S3)](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 存储桶,此时 **++InvokeModel++** API 能够从其中读取数据,并将结果反写至存储桶上。这些配置可以从 API 方案配置参数章节的参数环节予以提供。 ### 怎样开始使用 Amazon Bedrock 和 Amazon Step Functions ? 在开始之前,请确保你所在的地域可以获得 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 并创建一个状态机器。例如使用美国东部(北弗吉尼亚), **++us-east-1 ++**。 从 Amazon Management Console ,创建一个新的状态机。搜索“ bedrock ”,两款可以获得的 API 方案会显现。拖拽 InvokkeModel 至状态机。 ![AgAAEVyZGhh0bhyWF5RO_IM6XvIGxXBk.gif](https://dev-media.amazoncloud.cn/f904af2b5c0d4a2f9245e74e6a51aa5a_AgAAEVyZGhh0bhyWF5RO_IM6XvIGxXBk.gif "AgAAEVyZGhh0bhyWF5RO_IM6XvIGxXBk.gif") 你可以在右边的菜单上设置状态。首先,你可以定义哪款基础模型是你想要使用的。从清单中挑选一个模型,或从输入项中动态获取模型。 随后你需要对模型参数进行配置。你可以在文本框中输入推断的参数或从[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 处加载参数。 ![image.png](https://dev-media.amazoncloud.cn/bc60e3f785c244d2ab1b915a4330ea4d_image.png "image.png") 如果你 API 方案配置栏中持续查阅,你可以为 API 详细说明额外的配置选项,例如 S3 目标存储桶。当此域值得到详细说明, API 方案在具体的存储桶处储存 API 返回内容,而非将信息返回至状态输出。在此,你也可以详细说明请求和回复的内容类型。 ![image.png](https://dev-media.amazoncloud.cn/2ecb25e9af17427a83b2b133b19354a9_image.png "image.png") 当您完成配置状态机时,您可以创建并运行它。当状态机得以运行的时候,您可以视觉化所有执行细节,选择 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 状态,并检查它的输入和输出。 ![image.png](https://dev-media.amazoncloud.cn/f7ec4088b23e4589be4fb9cb3c2fe8ec_image.png "image.png") 使用 Step Functions , 可以按照您的需求广泛建立足够多的状态机,结合不同的服务来解决许多问题。例如,您可以联合 Step Functions 和 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 一起利用提示的链路来创建应用。这是通过多个较小且较为简单的提示来创建复杂的生成式AI应用的一种技巧,从而可以避免非常冗长而过于细节化的提示信息。为了建立一个提示链,您可以多次创建一个名为 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 的状态机来对更小的提示进行推断。您可以使用[平行状态](https://docs.aws.amazon.com/step-functions/latest/dg/amazon-states-language-parallel-state.html?trk=cndc-detail)来运行所有这些任务,然后使用一个 [Amazon Lamda](https://aws.amazon.com/cn/lambda/?trk=cndc-detail) 功能来将平行任务的所有回复统一成一个回复并生成一个结果。 ![image.png](https://dev-media.amazoncloud.cn/8d7fdf5a6ec74a4eb43f2cf6a2b4ee6a_image.png "image.png") **++即可可得++** Amazon Step Functions 为 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 优化的整合只限于可以获得 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 服务的区域。 您可以通过尝试从 [Step Functions 控制台](https://console.aws.amazon.com/states/home?trk=cndc-detail)上提供的样本项目来开始试用 Step Functions 和 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 。 【文章来源】 https://aws.amazon.com/cn/blogs/aws/build-generative-ai-apps-using-Amazon-step-functions-and-amazon-bedrock/
0
目录
关闭