使用 Amazon Bedrock 加速生成式 AI 应用程序开发

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/AIM337-Accelerate_generative_AI_application_development_with_Amazon_Bedrock-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 生成式 AI 有潜力通过实现更直观的对话体验，改变公司构建应用程序和吸引客户的方式。在本论坛中，学习如何利用 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 的 Serverless 体验，通过选择领先的基础模型，快速构建和扩展生成式 AI 应用程序，同时维护安全和隐私。了解如何使用自己的数据私下定制模型，以向客户提供差异化的体验。查看 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 的端到端开发人员体验和广泛功能的演示。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1500字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 马克·罗伊（Mark Roy）在演讲开始时表达了对讨论“今年最热话题”－生成性AI的热情。作为亚马逊云科技首席[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)架构师，同时也是[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)的主要架构师和解决方案架构师，他表示各地的开发者正借助生成性AI和基础模型来创造全新的体验，解决过去无法实现或成本过高的问题。他特别提到了亚马逊Bedrock这项服务，旨在加速用户在生成性AI领域的进程，帮助他们更快速、更安全地利用这一技术。 马克在台上还与Girish Runi（亚马逊云科技的ML专家）和Sanjay Nair（美国航空公司的代表）进行了互动。他强调了这次演讲的目的，即梳理2022年re:Invent上的Bedrock相关公告，为如何开始和快速跟进开发提供指导。 在设定背景时，马克解释说观众们已经被一家名为OC Tank Financials的虚构但规模庞大的金融服务公司雇佣，这家公司拥有多个投资、退休、保险等业务部门。OC Tank已经积累了大量的生成性AI应用场景。演讲将探讨其中三个最常见的任务，以及Bedrock如何加速它们的实现。 Girish首先介绍了这些使用场景。第一个任务是问答。他指出，OC Tank有大量如政策、招股说明书和记录等文档。客户希望能够与这些文档互动并获得准确的答案，而非仅仅基于模型认为正确的答案。为了实现准确的问答，OC Tank可以利用Bedrock构建一个知识库，通过将其输入到知识库中来实现。这样的知识库具备高效嵌入模型，能够存储这些嵌入的向量存储，从而支持基于语义相似性的文档搜索。 Giles Shi介绍了OC Tank如何通过两种途径利用知识库。首先是通过客户聊天机器人，查询知识库并使用语言模型生成自然的回应。其次是通过人类支持员工使用的代理控制台，也可以查询知识库并通过API调用执行取消订单等操作。他强调了问答系统的关键功能包括：知识库可以将模型与公司数据安全连接以增加准确性；提示工程可以通过添加额外上下文来增强查询；答案可以包含对源文档的引用；代理可以根据生成的计划自动执行任务和API调用。 在文档摘要方面，Giles Shi解释说，OC Tank的研究团队需要每天总结数千份长长的收入报告等文档。他概述了一个构建者如何在Bedrock上开发摘要模型的过程。他们可以测试不同的模型，然后比较成本、速度和准确性指标。在生产中，批量处理可以对历史文档进行补填，而事件驱动管道可以自动总结每个新文档。摘要系统的关键功能包括：批量处理适用于大型工作量如补填；事件驱动管道可以在新数据上调用模型；内置支持用于比较模型。 在实体提取方面，Giles Shi解释说，OC Tank收到了数百万封需要分析的客户电子邮件。目标是提取关键信息，如账户号，以便将其正确路由。与摘要类似，可以使用经过筛选的测试集来评估不同的模型并选择最佳模型。所选模型在公司数据上进行微调以提高准确性。代理可以解析传入的电子邮件，使用经微调的模型提取实体，并可以进行数据库API调用以自动处理消息。实体提取系统的关键功能包括：微调通过在公司数据上训练以提高准确性；代理协调解析、模型调用和数据库操作；精选测试集有助于模型评估。 Giles Shi总结说，这些使用案例之间的共同点就是模型的选择。Bedrock提供了对多个提供商的模型的访问，并且还有更多模型即将到来。因此，公司可以通过针对其使用案例需求定制的单个界面来利用多个模型。 通过向导或API，无需编码即可创建它们——统一查询，支持或有或无语言模型；快速从向量相似性搜索中检索；对安全有严格的访问控制。在第三个演示中，Mark展示了一个协助销售代表管理客户关系的代理。该代理能够接收文本请求，识别所需的操作和API调用，执行这些调用，处理结果，并以自然语言的形式返回回应。他还展示了代理的控制台，开发者可在其中设置可用的操作及其输入/输出模式。控制台还提供了追踪日志，显示了代理的内部步骤。代理的主要优势包括：自动化工作流程的能力，动态确定所需操作的灵活性，以及处理来自不同来源的结果。随着时间的推移，工作流程将不断改进和发展。随后，Mark邀请联合航空公司的Sanjay Nair上台发言。作为联合数据、AI和分析工程团队的负责人，Nair介绍了联合航空公司增长战略的重点，即在增加700架新飞机的同时，坚持其口号“做好榜样”，为社会和客户做好事。他认为，AI，特别是生成性AI，在运营、飞行操作、收入管理和销售方面具有巨大潜力。他的团队致力于构建一个平台来实现这一价值。 在2022年人工智能技术迅猛发展的前夕，联合公司并未制定明确的生成性AI计划。然而，他们意识到了这个巨大机遇的存在，同时也认识到了在没有有效治理的情况下过快采用技术的潜在风险。因此，他们制定了相应的指导原则，重点关注所有业务部门的倾听、快速进入市场、简化集成以及集中运营管理。 在对Bedrock进行评估时，联合公司发现其托管服务方式、API调用框架和模型选择都与他们的原则相契合。Bedrock还能够与联合公司现有的亚马逊云科技[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)平台顺利集成。 Sanjay介绍了联合公司的技术架构。他们已经基于亚马逊云科技建立了[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)运维平台，作为基础。他们可以迅速将Bedrock集成以利用其API、模型目录、知识库和责任AI功能。 接下来，联合公司在Bedrock的核心基础设施上构建了加速器，例如常见任务的模板。这使得快速实施案例成为可能，同时减少了定制软件的需求。 Sanjay总结了联合公司的主要经验教训：他们在现有亚马逊云科技ML投资的基础上建立，而不是进行重大转变；需要企业范围内的沟通框架；他们首先关注高价值、低复杂性的使用案例；Bedrock提供了必要的模型选择和定制。 随后，他讨论了联合公司的初始使用案例，专注于客户体验。他们构建了摘要、对话互动、情感分析以及新兴领域如多模态学习的解决方案。 展望未来，Sanjay解释说联合公司将依赖Bedrock的持续创新，以便他们的团队可以专注于数据和案例。关键优先事项包括成本优化、扩展知识库以及确定每个任务的最佳模型。 最后，Sanjay表示联合公司的目标是将Bedrock作为基础，同时他们将集中精力将生成性AI应用于客户和员工体验的变革。Bedrock使他们能够负责任地扩大规模，并通过AI推动商业效率。 总的来说，Mark希望在实际背景下开始使用生成性AI的过程中，这次演讲能为其提供指导。他鼓励观众通过控制台、工作坊或Party Rock尝试Bedrock。用户反馈驱动路线图，所以分享经验是很有价值的。 马克对演讲者和观众表示感激，他认为当前阶段的讨论非常引人入胜。他强调，通过Bedrock，企业能够将关注点放在自己的数据和应用场景上，而将基础设施方面的工作交给亚马逊云科技来解决。在发表这些观点之后，他宣布会议结束。 **下面是一些演讲现场的精彩瞬间：** 领导者对生成性人工智能（AI）作为游戏改变者的潜力表示赞赏，这使得建设者能够创造出全新的体验并解决之前无法解决的问题。  知识库的运用有助于将基础模型安全地连接到公司数据，从而提高准确性并实施负责任的人工智能应用。  她利用高级模型Clod处理存储库中的50万份文件，并将摘要存储在数据库中。  通过亚马逊云科技的Step Functions和[Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail)，实现了快速文档总结和分析的事件驱动[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)管道。  谭金融利用[Amazon Textract](https://aws.amazon.com/cn/textract/?trk=cndc-detail)从客户电子邮件中提取关键信息并采取相应的行动。  马克感谢桑杰对其解释联合航空公司如何利用Bedrock的功能来利用生成性AI的创新方式表示感谢。  领导者鼓励Bedrock用户提供反馈，以便帮助推动未来的发展。  ## 总结 亚马逊基石（[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)）通过提供一个统一API，方便地访问领先的基础模型，助力企业快速构建和部署生成性AI应用。视频中展示了基石如何使得用户能够在不同的用例中轻松切换模型，如Llama、Cloud和Titan。此外，还强调了诸如知识库和代理等关键功能，展示了基石在执行复杂工作流程的同时，如何安全地将模型连接到公司的数据。 例如，美国联合航空公司利用基石技术来总结政策、启动对话式聊天机器人以及分析客户情感等方面。基石与美国联合航空公司的数据平台相集成，提供了模型监控、提示日志及其他负责的AI功能。展望未来，随着美国联合航空公司在企业范围内进一步扩大生成性AI的应用，优化成本和微调定制模型将成为重点。总之，基石提供了一个管理平台，用于调用、扩展负责任的人工智能，从而加速开发过程，使公司能够专注于从数据中创造商业价值。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")