使用生成式 AI 和实时数据构建应用程序

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/BOA307-Building_applications_with_generative_AI_and_live_data-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 您是否正在为客户构建生成式 AI 应用程序？在本论坛中，学习亚马逊云科技如何构建交互式解决方案，通过物理世界生成大语言模型提示，并将它们与实时数据馈送相结合。探索在构建交互式故事讲述者时的技术决策（以及在此过程中吸取的经验教训）。您可以在 re:Invent 测试该解决方案。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 在2022年re:Invent的亚马逊云科技主题会议上，Mike Chambers和Memo Doring共同探讨了"利用生成性AI和现场实时数据构建应用程序"这一议题。他们通过一个充满现场实时数据的实用生成性AI应用演示，为与会者带来了丰富的信息。在会议开始时，Mike和Memo向满怀期待地学习这个新兴技术的观众介绍了自己。观众们意识到他们将目睹一些新颖且可能具有开创性的东西，因此充满了兴奋。 Mike解释说，他们将展示一个专门为re:Invent打造的、结合了生成性AI并对现场实时数据进行反应的演示应用程序。观众们猜测着Mike和Memo到底建造了什么，房间里弥漫着一种兴奋的氛围。 该应用程序包括一个简单的木制骨架和一个直接对准玩具动物模型的摄像头。Mike描述说，这些模型包括一只蓝色的大象、一只长颈鹿和其他能激发人们想象力的创意角色。他承认为了在演讲中使用，他从展览厅偷来了这些玩具，观众们对此发出了笑声。 Memo接着概述了演示的目的。他们的目标是创建一个互动式展览，让人们对生成性AI感到兴奋，而无需任何打字或先前的知识。观众们表示理解，看到了这种易用性如何吸引好奇的新来者。 然后，当观众按下骨架上的大红按钮时，Mike简要解释了会发生什么。摄像头捕捉到当前被拍摄的玩具动物的图片。将图像输入亚马逊 Rekognition 以识别特定的动物玩具。一旦识别出来，就会启动一个亚马逊云科技的 Step Function 来协调使用 Anthropic 的 Bedrock 平台上的 Claude v2 生成的关于该动物的小说的步骤。同时，使用 Stable Diffusion 生成相应的图像。然后将这些图像和文字组合成显示在网页上的渲染页面。 前排的一位男子的眼睛因兴趣而睁大, 对如此简单的交互背后有多少复杂的动作协调感到印象深刻。观众们转向彼此, 热切地讨论这种系统的可能性和潜在应用。 麦克注意到，为了在澳大利亚的展览厅进行展示，他需要对Rekognition进行定制训练，以识别独特的玩具公仔。因此，他在现场录制了玩具的视频并提取截图，以生成定制的数据集。这一操作引起了观众的赞赏。几位参会者意识到，只要稍加努力，他们也可以训练模型来识别他们自己的特定需求对象。 在整个过程中，备忘录强调了他们避免捕捉或存储任何敏感数据的措施。图像被编码并通过Step Function直接传递给Rekognition，而无需持久化。Step Function负责端到端的协调，而不保留数据。 一位来自后方的女士向她同事低声表示，这个负责任且道德的AI展示与技术成果同样重要。她的同事热烈赞同，并在心中记住了在AI应用中考虑隐私和安全问题的重要性。 麦克详细解释了文本生成组件的功能。Claude v2被提示输出包含故事标题、文本部分和图像提示的JSON结构。然后，Step Function状态机解析此JSON，将图像提示发送到Stable Diffusion以并行加速图像创建过程。 当听到并行处理可以根据需求扩大图像生成时，一位年轻男子兴奋地击拳。他开始思考如何将类似的技巧应用到他自己的项目中。 最后，麦克展示了在Bedrock控制台中使用Claude v2的交互式演示。他展示了如何通过调整温度和最大令牌等参数来影响生成的文本的创造性和长度。一位软件开发者密切关注这部分内容，因为她考虑如何可以将这种受控的随机性应用于她的程序中以产生更有活力的效果。 麦克强调了Bedrock在不必须编写任何代码的情况下轻松尝试不同模型和提示的价值。他指出，这在开发通用人工智能（AI）时通常需要迭代开发的进程中非常有帮助。 许多与会者报以微笑和点头回应，他们欣赏Bedrock如何加速他们的学习和探索。得知他们可以无需额外基础设施或配置就可以原型化想法，他们的肩上似乎减轻了一些负担。 讨论转向实时数据源的问题。据迈克表示，虽然向量数据库很受欢迎，但任何数据源都有可能被使用。关键在于获得可以并入提示中的文本输出，作为模型的背景信息。 一位云架构师在中间做了笔记，思考如何将传感器的实时物联网数据流连接到Bedrock进行实时监控和报警。他想到这解锁的新功能让他兴奋不已。 在协调方面，Memo注意到，尽管LangChain常用，但这不是本次演示所必需的。他们选择了亚马逊云科技的Step Functions来在[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)架构中协调跨服务和Lambda函数的工作流程，而无需管理服务器。 观众中的一位女士意识到她可以用这种[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)的方法为她公司的内部应用程序，这将使她的团队能够专注于产品创新而不是基础设施维护。 迈克随后展示了Step Functions控制台，说明状态机定义如何建模工作流程并迭代Claude v2的输出以实现并行图像生成。 后排的一位云开发者在这部分时非常关注，计划在他的下一个项目中采用类似的技术来加快独立任务的处理速度。他从像迈克和Memo这样的有经验的建设者那里学到了这些最佳实践。 还强调了一点，最近的Bedrock更新使得可以直接从Step Functions调用模型，而无需中间的Lambda函数。这通过去除一层简化了架构。 许多与会者点头表示同意，注意要保持对这类渐进式服务改进的关注，这些改进可以随着时间的推移持续改进他们的解决方案，而不会引入破坏性的更改。 Memo提到他们还加入了来自re:Invent的相关亚马逊云科技服务公告的实时头条新闻，所以生成的文章引用了会议上的真实事件。这强调了将动态数据注入到生成性模型中的重要性。 产品经理在一旁感兴趣地扬起眉毛，思考如何将实时销售或客户支持数据整合进来，以生成更多针对当前事件的定制品牌内容。在活动接近尾声时，Mike和Memo向观众征求了对探索生成式AI应用的想法。受欢迎的建议包括微调模型、入门指南以及利用检索增强型生成。 Mike强调了最近宣布的亚马逊Party Rock服务，该服务通过无需代码的图形界面轻松尝试生成文本和图像实验。许多与会者兴奋地讨论了尝试Party Rock，以便更熟悉生成技术。 在会议结束时，Memo感激地向参加深夜演讲的大量观众表示感谢。他对如此多的听众表示谦逊，强调技术在构建者和使用者之间的协作努力中得以实现。 观众热烈鼓掌，表达对这一富有洞察力的会议的赞赏。与会者满怀新的想法和灵感离开房间，关于通过生成式AI的视角了解未来的可能性。 核心主题和教训是明确的：生成式AI通过结合实时数据打开了新的大门，Bedrock有助于探索模型和提示，而Step Functions则负责[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)架构中所有事物的协调。这次演示作为通过现有功能窥视未来的一个令人振奋的窗口。 **下面是一些演讲现场的精彩瞬间：** 领导者通过运用亚马逊云科技的DeepRacer技术，向用户展示了如何以实际操作的方式来训练强化学习模型。  他们通过展示如何使用真实的不完美视频捕捉移动动物，来构建出逼真的增强现实体验。  领导者强调，增强型生成的数据可以来自于各种不同的来源，例如SQL数据库、API以及CSV文件等，而不仅仅局限于向量数据库。  当保罗问及如何利用生成性人工智能获取实时数据时，演讲者回答表示，只要有能力生成文本输出，就可以用于上下文学习，从而能够检索和增强任何数据源。  艾莉在re:Invent上尝试了一个实验，成功生成了显示蓝色大象的JSON输出，这有助于实现后续工作流程中各步骤的自动化访问。  这种架构直接将Claude v2的JSON输出传递给Step Functions，并将其拆分成并行任务，以提高图像生成的效率。  领导者鼓励观众通过Prompt工程，在没有亚马逊云科技账户的情况下探索并熟悉LLM（大型语言模型）的技术。  ## 总结 在2022年re:Invent上，亚马逊云科技展示了一场名为“利用生成性AI和现场数据构建应用”的演讲。在这次演讲中，演讲者Memo Doring和Mike Chambers详细阐述了如何利用大型语言模型和现场数据流来创建引人入胜的应用。他们通过现场演示向观众展示了如何使用网络摄像头拍摄玩具角色的照片，并将其输入到Amazon Recognition中识别角色。接着，他们使用Anthropic的人工智能模型Claude v2根据这些信息生成一个短篇故事。这个应用将多个AI服务连接在一起，包括使用[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)中的Stable Diffusion生成伴随图像。架构的关键要素包括使用轻量级客户端直接调用Recognition，避免存储图像；使用Step Functions和Lambda协调工作流，提供过程的可观测性；从Claude v2输出可解析的结构化JSON，以驱动并行图像生成；从re:Invent获取实时头条新闻数据。演讲者们强调了这个演示是如何展示大型语言模型的实际应用潜力的。Bedrock游乐场允许在没有基础设施的情况下快速进行提示工程和测试不同的模型。Step Functions灵活地协调[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)组件。总的来说，它展示了如何将实时数据源作为生成性AI的背景，以创建独特的输出。虽然这是一个使用玩具的有趣示例，但它展示了通过在现场数据上释放生成性AI来构建引人入胜的体验的真实可能性。演讲者们鼓励与会者进一步探索，解锁更多结合实时数据和AI的应用。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")