使用 Amazon SageMaker 的人机交互能力改进基础模型

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/AIM334-Improve_FMs_with_Amazon_SageMaker_human_in_the_loop_capabilities-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Ground Truth 为 ML 提供了一组人工在环功能，允许您在[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)生命周期中利用人工反馈的力量。在本论坛中，学习亚马逊云科技如何使用人工输入，帮助您为生成式 AI 应用程序创建高质量的训练数据集（通过监督微调和具有人工反馈的强化学习），并针对特定任务或公司和领域特定数据定制基础模型 (FMs)。加入本论坛，查看真实世界的示例和演示。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 在这次演讲中，作为亚马逊SageMaker产品经理的Romita女士开启了话题。她将与其他演讲者在约45分钟内探讨如何利用亚马逊SageMaker的人机协作功能来改进基础模型。据Romita介绍，他们决定不使用传统的议程，而是让一个基础模型为他们生成介绍。这个基础模型介绍自己是Roy，他是一名产品和增长业务运营领导者，负责亚马逊云科技的无人值守的AI/ML服务。接着，Roy提供了两分钟的简要背景信息，并讨论了构建和使用基础模型的挑战，以及人机协作AI/ML服务如何帮助解决这些挑战。此外，他还提到了亚马逊云科技如何通过SageMaker Ground Truth提供具体帮助。 在基础模型完成自我介绍后，Amanda Lester介绍了她自己，亚马逊云科技的高级业务发展负责人。她兴奋地展示了一个关于SageMaker Ground Truth中针对生成性AI使用场景的最新增强功能的十分钟现场演示。 接下来，Ketki Keya介绍了她自己，担任Crikey AI的CTO。她解释了他们的团队如何使用Crikey AI的工具和SageMaker Ground Truth的人机协作功能在过去的三个月里训练他们的AI动画基础模型，以实现快速上市。 Romita随后澄清说，这两分钟的自我介绍和其他大约三十分钟的演讲实际上只用了几分钟时间，这是通过Crikey AI的工具和SageMaker Ground Truth的人机协作功能实现的。 进入议程部分，Romita表示他们将讨论[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的人机循环、问题和解决方案，观看Amanda的演示，分享Crikey AI的客户故事，并以一场为期15分钟的问答环节结束。 在讨论第一个主题时，Romita解释说，人机循环在AI中并不新鲜，特别是在为AI模型标记非结构化数据（如图像和文本）方面。她还图解了传统的深度学习模型工作流程。 The process of creating a model ready for production involves several steps, including obtaining raw input data such as images or text, manually annotating and labeling the data by drawing bounding boxes and marking categories, training the model on the labeled data, deploying the model and evaluating its performance, and adjusting labels as needed and retraining the model until it reaches a state ready for production. This process is described as time-consuming, expensive, and requiring significant human involvement. In contrast, according to Romita, the key difference between basic models and traditional approaches lies in their training on massive unlabeled datasets, such as those found in the huge amounts of data collected by large-scale transformer-based models, with parameter numbers typically reaching billions to trillions. This allows them to provide informed answers for new domains without specific tasks being trained. However, she emphasizes that basic models still require significant human intervention capabilities: supervised adjustment for specific use cases requires demonstration data, which may include question-and-answer pairs, titles, and summaries generated by humans. Human evaluation of subjective quality aspects such as tone, accuracy, and bias is crucial. Pressure testing the model through red team activities is essential to prepare it for challenging input. Romita outlines some of the key challenges faced by basic models: inaccuracy when applied to new domains without customization, generating toxic, biased, or delusional content rather than factual content, and the need for continuous human judgment for assessing and improving micro-adjustments. She explains how [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Ground Truth can be used to improve model accuracy: a workflow for data annotation, model evaluation, and red team activities, professionals in data annotation and content assessment, high-quality training data, model insights, and evaluations, and assistance for clients like Crikey through expanding the production of custom models via human-machine interaction cycles. Romita highlights the ability of Ground Truth to scale up to thousands of qualified data annotators and offer comprehensive services, including SLAs. Ground Truth can provide annotated data on a weekly or daily basis according to customer requirements. 接下来，作为一位广告公司数据科学家的Amanda，为我们展示了一场10分钟的实时演示，探讨了如何优化他们的基础模型。她通过SageMaker控制台展示了新的生成性AI模板，这种模板可以增强文本排名和用于模型训练的问题回答生成能力。在整个过程中，Amanda作为标注者，对四个模型响应进行了简洁性评论，教授模型喜爱的写作风格。此外，她还从旅行和体育文档中生成了三个问答对，让模型学会提取关键事实。同时，她为两张照片和一个视频添加了详细描述，作为给模型的视觉示例。Amanda强调，使用Ground Truth生成的高质量示范数据将有助于调整广告公司的模型。 在演示结束后，Crikey AI的Ketki分享了他们使用自然语言和视频输入生成3D动作输出的目标，使高保真3D动画内容创作更加普及。她解释了他们如何在三个月内建立一个大型人类动作标签集，并通过与SageMaker Ground Truth团队合作并在其界面上提交视频进行标注来实现这一目标。此外，他们还使用了亚马逊云科技的其他服务，如S3、EKS和Amplify来运营业务。 Ketki展示了他们如何使用Ground Truth团队的能力在体育和舞蹈等不同类型的视频中建立有效的标注标准。她估计，这为他们节省了超过1000小时的生产力并减少了20万美元的成本。最后，Romita为观众提供了一些后续步骤，包括开始为期两个月的Ground Truth试用、访问在线资源、获取演示以及填写会议调查。她感谢所有人的出席，并为剩余的15分钟答疑时间开放了会议。 总的来说，该视频提供了关于如何使用[Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Ground Truth的人工干预功能来优化基本模型的深入见解。演讲者清晰地阐述了诸如偏见和不准确等关键挑战，并展示了一些方法，如扩展工作流和工作团队，以帮助快速训练高质量的模型，这在Crikey AI的成功案例中得到证实。观众可以从中获得有关评估、调整和部署具备人工判断的基本模型的策略建议。 **下面是一些演讲现场的精彩瞬间：** 亚马逊SageMaker Ground Truth结合了一系列工作流程、工作团队和专业技能，从而实现高质量且可扩展的数据标注。  在这个过程中，领导者们展示了一种方法，即如何根据AI生成的回答进行排序，以便训练模型以满足商业需求。  在一个教学视频中，一名男子向观众展示了如何正确地进行高尔夫挥杆动作。  ## 总结 视频探讨了利用[Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Ground Truth的人工干预功能优化基本模型的方法。这类基本模型（例如大型语言模型）需要通过人工反馈进行迭代评估和调整。SageMaker Ground Truth提供了工作流和专家工作组功能，可生成示例数据，如问题和答案对及偏好排序数据，以定制模型。此外，还可启动红队活动以对模型进行压力测试。视频中展示了如何创建排序数据以教导简洁的响应和问答，从而提高对文档的理解能力。同时，还展示了如何生成大量图像和视频字幕，以生成详细的描述。客户Crikey.ai已利用SageMaker Ground Truth对其文本到动画的基本模型的大型人类动作数据进行标注。这一合作伙伴关系使他们能够在几个月内而非几年内推出其模型。总之，SageMaker Ground Truth提供了端到端的功能，包括工作流程和专家工作组，旨在提高基础模型在大规模上的性能。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")