通过 Amazon SageMaker JumpStart 加速基础模型开发

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/AIM328-Accelerate_FM_development_with_Amazon_SageMaker_JumpStart-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 生成式 AI 使组织能够更快地创新，以重新创造客户体验和应用程序。但您如何确保组织内生成式 AI 应用程序开发的灵活性和控制？[Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) 提供托管基础架构和工具，以加速可扩展、可靠和安全的基础模型 (FM) 开发。在本论坛中，深入了解 [Amazon SageMaker JumpStart](https://aws.amazon.com/cn/sagemaker/jumpstart/?trk=cndc-detail) 如何使[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)从业者轻松访问基础模型，包括性能最好的公开基础模型。然后看看如何使用 SageMaker 分析、评估、测试、再培训和部署基础模型，帮助您快速入门。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 亚马逊年度峰会为顾客提供了一个深入了解亚马逊云科技各项服务的最新创新的机会。在2022年于拉斯维加斯举行的活动中，一场演讲深入探讨了[Amazon SageMaker JumpStart](https://aws.amazon.com/cn/sagemaker/jumpstart/?trk=cndc-detail)如何加速优化过的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型的开发和部署。作为SageMaker模型和合作伙伴团队的负责人，Carl Albertson通过一场简单的互动，向观众展示了他们对生成性AI模型的经验。他发现，与会者之间的专业知识差异很大。大约三分之二的人已经开始以某种方式尝试使用大型语言模型和生成性AI。不到一半的人进一步通过比较、定制或优化模型进行了尝试。只有大约20%的人表示他们已经成功地将模型全部用于特定业务用例的生产部署。 这种成熟度范围与Carl的看法一致，即尽管人们对AI模型的热情很高，但客户在最初采用这些技术时仍然面临许多挑战。他概述了SageMaker用户普遍反映的一些关键痛点： - 新模型的不断涌现，包括专有、开源、大型、小型和领域特定的种类，这使得评估选项变得令人不知所措。 - 在将模型移入生产环境中时，确保安全性、合规性和对敏感数据的控制至关重要。例如，GDPR、HIPAA等监管政策成为关键问题。 - 在准确性、性能和成本方面不同模型之间进行基准测试很困难。客观地衡量权衡是困难的。 - 最终目标是低成本高效地从概念验证扩展到完整生产部署。许多人在从抽象实验过渡到具体商业价值时遇到障碍。 卡尔详细地解释了对亚马逊SageMaker和JumpStart服务的理解，这两项服务旨在应对相关挑战并简化使用AI模型的过程。他提到，[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)领域已经发生了转变，从最初依赖精心制作的专有数据转向了优先选择合适的基石模型。这种转变使得从业者能够通过迁移学习充分利用大量公开数据集上的预训练模型，并在自己的数据上进行微调，从而实现高达80-90%的性能。 JumpStart为用户提供了对当前最受欢迎模型（如LAMA、Anthropic、Cohere等）的直观访问。这使得在完全管理的SageMaker平台上部署、微调和优化模型变得无缝。卡尔展示了一些操作过程，包括如何使用SageMaker Studio中的JumpStart易用界面来发现和部署模型，以及如何通过API片段以编程方式访问所有相关信息。 为了阐述一个实际应用案例，卡尔分享了一个大型企业客户的成功故事。这家企业希望将生成性AI整合到其客户服务系统中，以便分析和总结代理商与客户之间的长通话录音，找出常见问题并提供解决方案。起初，这家公司尝试了一种昂贵的专用模型，但在初始测试阶段表现出色。然而，在实际应用中，由于预测数千个每日呼叫的推断成本过高，导致无法持续使用。 在与亚马逊云科技团队合作后，该企业尝试了较小的开源模型（如FLAN-T5），成功地减少了95-97%的成本，同时保持了所需的准确性。这使得他们能够在生产环境中成功部署解决方案。卡尔强调，这是一个常见的主题，即通过使用经济高效的开源模型将抽象实验转化为具体商业价值。虽然大型专用模型可能在某些方面更为准确，但较小的开源模型通常可以在成本较低的情况下达到足够的准确性，为企业带来商业价值。 Jeff Boutier，来自Hugging Face公司的专家，在会议上概述了该公司将领先的开源人工智能模型引入到[Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail)平台的工作。他首先阐述了Hugging Face的使命，即让[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)民主化，使其易于访问、理解、使用和经济高效。他们提供了一个中央平台，托管着超过100万个由AI社区贡献的模型库和数据集。具体来说，Hugging Face模型中心包含了将近5000个开源大型语言模型，每天约有100万次下载。这种指数级增长是由迁移学习驱动的，允许实践者在大规模基础模型如GPT-3和T5的基础上进行构建。 接下来，利用检索增强生成技术，将外部数据源整合到模型的知识体系中。这包括将内部知识库相互连接，以便能够回答有关公司政策等方面的问题。 最后，根据具体需求，可以对模型进行微调，以提高其准确性。这种定制化调整可能使使用更小、部署成本更低的模型成为可能。 通过在SageMaker SDK中添加一些指向存储在S3中的数据的代码，可以轻松部署、集成检索增强功能以及对模型进行微调。评估模型性能的指标包括损失、困惑度和准确度等。例如，与原始预训练版本相比，经过微调的模型将困惑度从8.147降低到1.437，这表明预测性能得到了提高。用户可以从侧面审查模型输出，以验证微调是否提高了响应的质量。在选择出适合生产的正确模型后，SageMaker端点将提供管理的、可扩展的托管，并通过HTTPS端点进行服务。该端点可以与亚马逊云科技的其他服务（如API网关、亚马逊云科技Lambda和应用自动缩放）无缝集成。SageMaker JumpStart包含了一切托管模型所需的内容，包括Docker容器、脚本和模型服务器逻辑。对于开源模型，人们可以查看其内部运作原理；而对于专有模型，则会对其进行保护。用户可以将部署好的端点安置在自己的VPC中，以确保安全性及网络隔离。总之，演讲者总结道，SageMaker JumpStart致力于加快已微调模型的开发和使用过程。它为用户提供了对最新模型的便捷访问，与Hugging Face Hub的无缝集成，以及由SageMaker支持的强大、安全且可扩展的托管方案。在开源模型中，人们可以在实际应用中找到合适的价格-准确性平衡。总的来说，SageMaker JumpStart为将[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型投入生产提供了一条简化的路径。 **下面是一些演讲现场的精彩瞬间：** 在人工智能模型领域，其发展正迅速扩张，各类新型的通用和专用模型如雨后春笋般涌现。  一家企业在尝试将他们的摘要模型投入实际应用时遭遇了困境，虽然初期表现良好，但成本问题成为了瓶颈。  在一次精彩的演讲中，演讲者通过一个引人入胜的视频向观众展示了Hugging Face的概念及其如何在人工智能领域发挥作用。  作为亚马逊云科技的Amazon Web Services的一部分，为AI开发者提供了一个开放的平台，提供模型、数据集和资源，使他们能够轻松地开发、分享和使用最新的AI创新成果。  ## 总结 视频探讨了亚马逊SageMaker JumpStart如何简化并加速生成式人工智能（AI）模型的采用。首先解释了在迅速发展的生成式AI模型领域中应对挑战以及在准确性、成本和性能之间实现适当平衡的方法。 演讲者展示了如何通过SageMaker JumpStart轻松访问众多流行的开源和专有模型，例如GPT-3、LLaMA和Cohere。用户可以通过SageMaker Studio直观的用户界面或借助API以编程方式部署、微调并优化这些模型。 最后，主讲人强调了评估模型关键功能的能力，将其集成到应用程序中并在安全环境下进行大规模部署的重要性。总之，SageMaker JumpStart致力于通过降低利用预训练模型的复杂性来加速生成式AI的发展。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")