使用 Amazon Bedrock 探索文本生成基础模型的热门用例

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/AIM333-Explore_text_generation_FMs_for_top_use_cases_with_Amazon_Bedrock-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 基础模型 (FM) 可以用于自然语言处理任务，如摘要、文本生成、分类、开放式问答和信息提取。通过 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)，您可以从 AI21 Labs、Anthropic 和 Cohere 中选择强大的基础模型，以找到适合您用例的基础模型（例如 Jurasic-2、Claude 和 Command 文本生成基础模型系列）。加入本论坛，了解哪个基础模型最适合用例。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1800字，阅读时间大约是9分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 亚马逊Bedrock服务探讨文本生成基础模型的会议，由Bedrock服务的创始成员之一Muhan Anwar主持开幕。他与另外两位演讲者——来自亚马逊全球销售部门的资深领导Dennis Bado以及负责监督Alida公司生成性AI工作的SVP Daniel Charles一起发表演讲。在接下来的约55分钟内，演讲者们将引领观众了解如何通过运用Bedrock API上的基础模型来构建具有影响力的应用。他们还将分享最佳实践，以便最大限度地提高从这些强大的模型中所获得的价值，这些模型能处理各种类型的数据，如长篇文章、日常消息和系统日志等。 由于开发者正积极利用生成性AI来改变客户体验、提高员工生产力并消除业务流程中的低效，我们有理由对此类应用的潜在影响力保持乐观。例如，零售、SaaS以及其他行业的公司正在利用生成性AI来构建能够解决客户问题而不需要人工干预的自主AI代理。初创公司正在开发工具，使个人能够生成无法通过其他方式获得的内容。企业正在重新设计工作流程，通过结合生成性AI来处理大量数据。 客户支持是一个非常受欢迎的用途，因为基础模型天生就擅长回答客户问题、提出有价值的后续问题以及检索解决问题所需的信息而无需人工帮助。这可以为企业和客户节省宝贵的时间。Muhan展示了一个例子，说明了文本生成模型如何在与近期购买的电视出现问题的客户进行互动时模拟对话过程。这款由基础模型驱动的AI聊天机器人仅凭订单信息就能找到电视的详细信息，并在短短10个对话中提供有针对性的故障排除建议，从而为卖家和客户节省时间。 作为卖家，其目标是为所有客户提供优质的客户支持，而不仅仅是一个客户。为了实现这一目标，Muhan请求基础模型创建了一个包含所有产品、遇到的问题以及问题是否得到解决的总表。LAMA 13B模型成功地生成了一个这样的表格，包括了订单详情、产品详细信息、具体的问题以及解决方案。对于拥有数以万计的产品和众多客户的卖家来说，这样的表格可以提供宝贵的见解，以改善客户服务、优化产品目录以及提供给供应商反馈。 随着会议记录等便利工具的普及，对话记录变得越来越普遍。为了更有效地管理这些记录，Muhan利用了AI21 Jurassic-ultra模型在Bedrock上的能力，从一段对话记录中提取出一份简洁的行动项目列表，包括负责人和截止日期。开发者可以构建一个应用程序，不仅可以提取这些信息，还可以安排待办事项并跟进参与者——节省时间并提高效率。 另一个例子是，Muhan让CLAUD模型为他不擅长的关于美国时尚趋势的博客文章生成大纲。模型生成了一份触及到特定子主题的大纲，他可以在这些子主题上进行深入研究，从而节省时间并提供一个强大的起点。 基础模型还擅长从复杂的文件（如法律合同）中提取特定信息。Muhan展示了如何使用Coherent Command模型来识别样本合同中的合同双方和起始日期。这可以帮助忙碌的法律专业人士在他们的大量文档中优先处理临近到期的合同。 类似的技能可以应用于简化繁琐的工作流程。Muhan提供了一个活动公司的例子，该公司有一个复杂的付款时间表，跟踪客户的合规性需要处理大量的数据，但文本生成模型可以简化这个过程。通过输入客户的交易历史，CLAUD即时模型可以识别出不符合合同的交易，并进一步解释其分析结果，以便对这些情况进行后续跟进。 基础模型在多个任务上具有广泛的泛化能力，因此尽早确定潜在的使用场景和相关任务，并通过研究、基准和受控实验来评估模型是非常明智的。同时，检查模型提供商的许可证和使用政策也是非常建议的，因为它们可能限制某些应用。 - 模型通常首先在大量原始互联网数据上进行预训练，然后在使用标签数据集上进行精细调整，以更好地满足人类需求。Bedrock提供了大量经过微调的模型，可直接用于大多数任务。查看模型卡片以了解其训练情况非常有益。 - 尽管模型大小在过去是一个重要指标，但供应商现在专注于使用除单纯增加参数外的其他技术来提高性能。然而，像LAMA这样的大型模型在处理复杂任务时可能表现得更好，因此从复杂用例开始尝试更大模型是有道理的。 - 开发者致力于为各种用户创建包容性的产品。基础模型本质上支持多种语言，因为它们在多语言数据上进行训练。模型卡片中会提供特定的语言基准。该模型还支持编程语言，以帮助完成诸如调试之类的任务。 - 上下文大小，即每次请求允许的最大输入和输出标记数，在各个Bedrock模型间有所不同，范围从4,000到100,000个标记。较大的上下文更适合处理长文档和处理详细的提示。请注意，一个模型的输入和输出大小可能会有所不同。 - 许多Bedrock模型可以通过您自己的标签数据进行微调，这对于特定领域的应用程序特别有用。仅用1,000个标签记录就可以显著提高基本模型的性能。Bedrock通过处理数据集和任务简化了这一点。 - 在早期阶段就考虑微调权衡是很重要的——引导工程师对基本模型的影响很大，并为不同模型提供指导。 贝德洛克致力于为客户提供多样化的模型选择，涵盖不同尺寸、性能和定价策略，以满足各种需求和预算。客户可以从基本的规模开始，满足简单需求，然后根据业务发展逐步升级至更高级的文档理解能力。丹尼斯向众人展示了如何运用贝德洛克中的模型。他以一部电影剧本数据集为基础，通过贝德洛克生成针对特定受众的广告摘要。在创建一个贝德洛克客户端后，他的首个简单提示尝试并未成功，原因是CLAUD模型需要"Human"和"Assistant"这两个标签。 为了解决这个问题，丹尼斯在剧本的转录标签中加入了避免剧透的提示，并将目标受众设定为"年轻女性"。生成的摘要中包含了一些与目标人群相关的短语，如"学校里最帅的男生"和"遵守规则的父亲"。为了更好地对人物进行参数化，他在提示中添加了一个变量，从而生成了针对"年轻人"的摘要，其中包括了诸如"受欢迎的运动员"和"叛逆的朋克摇滚乐手"等词汇。 为了仅提取摘要内容，丹尼斯使用了广告标签来组织CLAUD的背景中的词语，并通过设置停止序列来关闭标签并在它们之间生成摘要。他将摘要的长度限制在200个标记以内。针对"喜欢希思·莱杰作品的中年妇女"这个群体，CLAUD成功地识别出了《我讨厌你的十件事》这部电影以及莱杰的角色。然而，如果出现参考电影中实际不存在某位演员的情况，可能会产生幻觉，这有待进一步优化。但这展示了通过迭代优化提示的可能性。 主要经验教训包括：针对不同类型的任务，需要量身定制提示；在多种任务中测试模板并选择最佳方案；持续关注并持续优化。 你完全掌控你的数据。Bedrock不会存储任何数据，除非你选择开启日志记录。 - 加密、网络隔离、IAM和CloudTrail确保了安全性并提供监控。 - 客户主密钥允许你控制加密密钥。 - Guardrails功能支持实时控制，如内容过滤（针对仇恨言论、色情内容等）和主题规避，确保模型始终保持正确方向。 可用的资源包括展示模型示例的Bedrock入门课程和研讨会，以及发布最新公告的演讲和博客文章。总的来说，演讲者们探讨了由Bedrock中基础模型支持的各种各样实际文本生成用例，例如客户支持扩展、文档洞察获取以及内容创作。他们根据具体需求提供了选择、微调和建议模型的指导，并展示了Bedrock如何简化了利用这些强大模型的过程。 艾莉达提供了一个具体的案例研究，展示如何运用CLAUD显著增强客户体验平台的数据分析能力。Bedrock的人工智能技术有助于安全地开发具有广泛影响力的应用。如今，整合生成型人工智能的潜力巨大，可带来丰厚的价值。 **下面是一些演讲现场的精彩瞬间：** 以下是关于Bedrock如何通过其API轻松地将基础模型应用于应用程序、最佳实践和客户案例的概述。  专业人士展示了如何利用Anthropic Claude v2模型生成简短的文本摘要，以便在Bedrock客户端中实现高效操作。  他们展示了如何根据不同的目标受众定制人工智能提示。  这个模型能够为电影《我讨厌你的十件事》生成广告摘要，并准确识别希斯·莱杰的角色，展现出强大的知识能力。  然而，仍需要改进以避免可能的误解。  专业人士还讨论了如何利用inst和ci标签引导聊天机器人模型，使其能提供更好、更详细的回应。  这个模型能够像母语使用者一样从多种语言的数据中提取主题，而无需进行翻译。  ## 总结 亚马逊Bedrock技术助力开发者轻松将强大基础模型融入其应用程序。这些基础模型能处理多种数据类型，如文档和信息，从而在各种场景中创造价值。 实际案例揭示了企业如何通过自动撰写客户支持回复、分析内部数据优化流程、创作博客文章草稿以及从合同中提取关键信息来利用文本生成功能。Bedrock服务提供了对领先第三方基础模型（如Anthropic、Cohere和AI21）以及亚马逊自身的Titan模型的访问。 在选择模型时，开发者需考虑支持语言、处理长文档的上下文规模、使用定制数据进行微调的能力以及定价等因素。获取每个独特模型所需性能的提示也至关重要。亚马逊提供研讨会、入门指南等资源，助开发者借助Bedrock取得成功。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")