为你的应用程序注入生命力:使用Amazon Bedrock定制强大的AI功能

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/AIM247-Customize_FMs_for_generative_AI_applications_with_Amazon_Bedrock-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 基础模型(FMs)像语言模型一样,在许多自然语言任务上展示了令人印象深刻的能力。然而,直接将这些模型应用于实际应用中可能会遇到挑战。在这个课程中,我们将探索和比较有效调整基础模型以适应你的应用的方法。了解如何评估提示工程,它将任务重构为自然语言,以及微调,它在新的任务和用例上更新模型的参数。探讨每种方法在可用性和资源需求之间的权衡。学习如何高效利用大型模型的能力,并发现未来改进它们适应性的方法。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共800字，阅读时间大约是4分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 视频开始时，亚马逊Bedrock的产品经理Kishore Rao在关于如何使用亚马逊Bedrock定制生成式AI应用的基础模型的主题演讲中发表了演讲。他介绍了他的同事Anand Pradhan，纽约证券交易所（NYSE）的高级总监，以及Chris Fregly，一位将在演讲后进行演示的主解决方案架构师。 Kishore立即开始阐述为何需要定制基础模型。他指出，像GPT-3这样的模型依赖于大量的通用公共数据，因此它们会产生通用的结果。然而，在尝试构建实际应用时，企业需要模型适应并定制用于其特定使用情况和领域。 作为例子，Kishore解释了医疗保健公司如何希望基础模型能够理解医学术语以产生相关响应。类似地，金融服务公司需要模型学习金融专用的语言和概念。甚至客户服务聊天机器人也需要定制才能产生针对客户询问的友好、上下文的响应。 接下来，Kishore概述了根据时间、成本和复杂性定制基础模型的常见方法： 1. 提示工程：这是最简单但最通用的方法，你通过提示向模型提供一些示例来引导响应。它速度快且成本效益高，但结果定制程度最低。 2. 检索增强生成：这引入了外部数据如文档，将上下文注入到提示中，从而产生更具体的响应。由于需要嵌入和向量数据库，因此更复杂且成本更高。 3. 微调：这种方法通过提供标注示例来调整模型以适应特定任务。它与提示工程相比需要更多的时间和资源，但少于训练完整的模型。 4. 持续预训练：允许未标注数据用于教授模型新概念和术语。它成本高且复杂，但可以显著定制模型。 Kishore建议，对于实时外部数据查找，应选择检索增强生成；而对于整合的历史数据，微调和持续预训练是更好的选择。然后，他介绍了亚马逊Bedrock定制模型，该模型通过简单的API使用已标记或未标记的数据轻松定制第一方和第三方的基础模型。 接下来，来自纽约证券交易所的Anand Pradhan将登台分享他们运用人工智能（AI）和亚马逊云科技的实践经验，其中包括利用[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)进行定制化操作。他简要介绍了纽约证券交易所及其母公司洲际交易所（ICE）的背景，后者在全球各类资产类别交易所中运营。 Anand阐述了纽约证券交易所如何在过去的200多年里不断创新，从早期的技术如气动管道降低延迟到如今的完全电子化的交易系统，每天处理数万亿条消息。他还分享了他们是如何与亚马逊云科技合作的，将市场监控系统迁移到云端以实现可扩展性和成本节省的。 这一积极的经验使得纽约证券交易所开始探索更多[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的使用场景。他们构建了一个智能的交易规则聊天机器人，通过吸收数千页的交易法规，用简单的话解释复杂的法律术语。Anand展示了如何通过在[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)中微调自定义模型，使聊天机器人能够理解交易概念并从法律语言生成简单的解释。 他解释说，他们评估了各种基础模型，如Anthropic的Claude，并使用示例对其进行微调，直到达到所需的性能。如今，聊天机器人可以保持上下文，理解不同交易所的等价物，并提高合规性。这展示了Bedrock如何简化了之前需要大量定制开发的工作。 在Anand的演讲之后，Chris Fregly上台现场演示了如何使用[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)对基础模型进行微调和持续预训练。 对于微调，Chris使用公开对话摘要数据集来适应130亿参数的Lama-2模型。他展示了未经微调的Lama-2如何生成样本对话的详细摘要，然后微调模型，展示经过调整的模型如何产生更简洁的摘要，只关注关键信息，展示了改进的性能。 对于持续预训练，Chris使用一本新的未出版的书来适应Anthropic的Titan模型。他展示了未修改的Titan试图猜测书籍内容但缺乏具体细节的情况。在这本书上持续预训练后，Titan可以准确地描述书籍的章节，表明其知识已经扩展。 克里斯提供了一份详细的代码示例，向观众展示了如何准备数据、启动Bedrock作业、监控训练过程、部署调整过的模型并调用它们进行推理。他还分享了关于如何从小规模开始以及在不需要时通过优化删除端点以降低成本的优化技巧。 在总结发言中，基肖尔强调，亚马逊Bedrock通过减轻与微调和相关持续预训练工作负担，使得自定义基础模型的访问变得更加普及。这使得企业能够更轻松地将其模型应用于特定领域和用例。纽约证券交易所的聊天机器人示例就是一个实际应用案例，它展示了如何通过分析法律文件来创造价值。总的来说，这次演示和展示向观众展示了Bedrock如何助力定制化生成性人工智能应用的基石模型。 **下面是一些演讲现场的精彩瞬间：** 亚马逊云科技的领导层将基础模型定制作为re:Invent的核心主题。  他们强调了针对特定业务领域和用例定制AI模型的重要性。  领导者们探讨了利用Bedrock轻松定制AI模型以满足各种需求的能力。  此外，他们还讨论了继续利用非结构化数据进行AI模型预训练的方法，以便让模型适应新的领域。  领导者们展示了一些如何使用LangChain等库来协同生成AI应用程序，并将PDF文件转换为文本以供模型训练。  领导者们强调了Bedrock如何提供一个从数据准备到训练、优化和评估的完整生命周期细节。  最后，领导者们解释了对标记概率进行调整的方法，以便在模型预测中纳入更多信息。  ## 总结 本文主要介绍了如何利用[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)对基础模型进行定制，以满足特定的业务需求。通过微调（fine-tuning）和持续预训练（continued pre-training），可以使得模型更好地适应特定任务。微调主要通过提供标注数据进行特定任务的性能优化，而持续预训练则通过提供领域文档来教授术语。 纽约证券交易所（NYSE）已经利用Bedrock构建了一个智能交易规则聊天机器人，用于解析复杂的法律文件。这提高了可追溯性，提供了简洁的解释，并优化了人力资源。 现场演示展示了如何使用Llama 2进行微调以提高摘要质量，以及如何使用未出版的书本对Titan进行持续预训练。微调提高了摘要的质量，而预训练使Titan能够准确描述书本内容。 总之，[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)简化了为业务应用定制类似LLM这样的基础模型的过程。通过微调和持续预训练，模型的概率分布发生变化，从而生成高质量的、特定领域的输出。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")