使用 Serverless 容器大规模高效部署生成式 AI 应用程序

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/CON303-Deploy_gen_AI_apps_efficiently_at_scale_with_serverless_containers-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 越来越多的组织希望开始部署大语言模型，解决各种业务用例。在本论坛中，回顾各种基础架构选项和集成，它们可以帮助您使用 [Amazon ECS](https://aws.amazon.com/cn/ecs/?trk=cndc-detail) 部署大语言模型：CPU 推理、具有 Amazon Fargate 的 [Amazon ECS](https://aws.amazon.com/cn/ecs/?trk=cndc-detail)、具有 GPU 和 Inf1 的加速推理、[Amazon EC2 ](https://aws.amazon.com/cn/ec2/?trk=cndc-detail)上的 AmazonECS，以及相关的存储和网络选项。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1600字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 本演讲重点关注如何高效地开发和部署生成性AI应用。演讲者强调，关键在于充分利用所讨论的强大资源，以提高对加速生成性AI发展的信心。 Grande女士首先指出，生成性AI在人工智能领域具有革命性的影响。它能使计算机不仅执行简单计算，还通过结合复杂算法和深度学习，主动参与创新过程。简单来说，生成性AI是让机器从大量数据中学习结构和行为模式，从而创作出全新内容的技术。 她阐述了生成性AI在四个关键领域的应用及其带来的巨大商业价值。首先，在提升客户体验方面，生成性AI可以分析客户数据，为其提供个性化的产品、服务和营销策略，从而提高整体体验和客户满意度。其次，在开发者支持方面，它能够自动化繁琐的编码任务，如Amazon CodeWhisper可将编程工作效率提高57%。第三，在内容创作方面，Amazon Parti.Rock能无需编写代码即可构建应用程序。最后，在决策制定方面，生成性AI能处理大量数据，为更快速和明智的预测提供洞察。 Grande女士还详细分析了各行业的实际应用案例。在金融服务领域，算法交易可评估市场数据预测市场情绪，并利用亚马逊管理的区块链技术检测欺诈行为。在医疗保健领域，生成性AI能帮助医生使用亚马逊SageMaker进行医学影像诊断，以及使用亚马逊Lake Formation进行药物发现。在汽车和制造业领域，它能利用亚马逊IoT优化供应链物流，并通过亚马逊Monitron检测产品缺陷。在教育领域，它能创建自适应数字学习平台，使用亚马逊AppSync进行自定义评估。 她详细阐述了典型生成性人工智能技术栈的三层架构。数据层负责从各种来源收集信息至数据仓库，如[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)。该层对数据进行预处理和清理，并通过归一化和标注用于训练的亚马逊云科技的Glue和[Amazon Textract](https://aws.amazon.com/cn/textract/?trk=cndc-detail)来消除噪声。建模层则根据所解决的问题选择合适的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)或深度学习算法。在该层的预处理数据上训练所选模型以供亚马逊云科技的DeepComposer进行预测。然后，通过在新数据上进行迭代验证来优化模型，即使用亚马逊Augmented AI的过程。最后，部署层将模型集成到应用程序中，以便使用亚马逊云科技的Lambda生成内容或进行预测。 格兰德女士强调了在生成性AI生态系统中扮演关键角色的三个主要群体。首先是模型提供者，他们设计和训练提供亚马逊SageMaker Ground Truth支持的生成性模型。他们需具备[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)、深度学习、编程和数据科学方面的技能。其次是调优员，他们针对特定用例调整超参数或优化训练策略以优化模型，方法是使用亚马逊SageMaker Clarify。他们需要具备算法、超参数调整和提示工程方面的专业知识。最后是消费者，他们使用API和框架（如TensorFlow）将模型集成到应用程序中，方法是通过使用亚马逊云科技的DeepRacer。个人可以依据其专长担任多个角色。 她概述了从头开始构建基础模型时需要考虑的一些关键因素。这包括使用大量亚马逊EC2计算资源和花费时间在实际应用中使用亚马逊S3上的时间。找到合适的领域和技术人才组合颇具挑战。为了提高效率，必须持续关注包括能源消耗在内的资源使用情况，从而实现优化，这是通过使用亚马逊云科技的Auto Scaling实现的。 格兰德女士强调，亚马逊云科技的顾客更倾向于快速利用现有的生成性AI基础模型，而非从头开始构建。为此，亚马逊云科技确定了四种加快开发和大规模部署的策略。首先，尽量使用现有的预训练模型，例如通过使用亚马逊SageMaker JumpStart来实现。其次，借助云服务提高速度和功能，例如使用亚马逊云科技的Lambda。第三，采用[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)运营模式以提高生产率，方法是使用亚马逊云科技的Fargate。最后，将模型与应用程序概念性地分开，方法是使用亚马逊API网关。 帕特尔先生详细地介绍了预训练基础模型的应用。这些在大量非结构化数据上训练的大型模型能够学习适用于不同领域的通用表示。例如，BLOOM和T5就是这类模型的代表。基础模型可以应用于文本到文本（如[Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail)），文本到嵌入（如[Amazon Kendra](https://aws.amazon.com/cn/kendra/?trk=cndc-detail)），或多模态识别（如[Amazon Rekognition](https://aws.amazon.com/cn/rekognition/?trk=cndc-detail)）。 例如，Amazon的OpenSearch使用文本到嵌入模型将用户查询与目录数据进行匹配。而新兴的多模态模型如Stable Diffusion则可以借助亚马逊SageMaker Canvas从文本提示生成图像。 他指出，构建定制模型需要经历数据收集、清洗、训练、调整、部署和监控等环节。然而，预训练模型提供了一个起点，可以通过使用亚马逊SageMaker进行微调等方法来适应下游任务。这通常需要使用较小的领域特定数据集来调整模型权重以提高精度。 在选择预训练和构建自定义模型时，需要考虑任务需求、可用资源和数据的性质。如果任务与预训练模型的功能差异较大，可能需要使用亚马逊云科技DeepComposer进行自定义开发。而对于有大量相关数据的任务，可以使用亚马逊Kinesis视频流等工具来构建自定义模型。然而，使用亚马逊云科技Fargate的预训练模型资源消耗较少。结合预训练和微调可以平衡通用知识和定制。 在选择基础模型和预训练模型时，也需要评估诸如特定需求、资源和数据等因素。构建基础模型可以让亚马逊SageMaker Neo完全控制架构以实现定制性能。然而，预训练模型提供了更快的功能利用，如使用亚马逊云科技DeepRacer。 最后，帕特尔先生强调了云计算服务的重要性，因为生成性AI对计算能力的需求很大。亚马逊云科技的产品和服务，如亚马逊EC2（具有自动扩展功能）和亚马逊S3（用于数据存储），都为快速实验、开发和部署生成性AI应用程序提供了便利。亚马逊云科技产品构成了一个生态系统，使得生成性AI的应用变得更加高效和便捷。 他概述了亚马逊云科技在人工智能领域的强大功能，包括亚马逊EC2、Inferentia、Trainium等。这些功能为训练和推理任务提供了优化的基础设施。此外，Triton集群和高速网络为大型模型提供了强大的计算能力，如使用亚马逊云科技Snowball Edge。同时，各种服务如CodeWhisperer和Amazon Titan等为开发人员提供了预构建的功能。通过SageMaker Jumpstart，开发者可以轻松地访问和使用基础模型。这些功能共同为企业带来了敏捷性和高效的运营。 Grande女士解释了[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)运营模型如何通过亚马逊云科技Lambda等功能，极大地提高了生成性AI应用开发和部署的效率。这种模式提供了一个灵活、可扩展且成本高效的环境，与生成性AI任务的事件驱动和模块化本质相一致。开发者可以专注于创造应用程序，而不需要管理基础设施，如使用亚马逊云科技Fargate。 她还强调了负责任地开发和使用生成性AI的重要性，包括使用亚马逊Inspector进行内置安全扫描，以及使用[Amazon Macie](https://aws.amazon.com/cn/macie/?trk=cndc-detail)评估有害内容过滤器的有效性。其他最佳实践包括明确问题定义、关注多样性、持续评估风险以及在每个阶段建立问责制度。 接着，Patel先生详细讲解了如何在实际项目中运用[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)模式构建和部署生成性AI应用。他建议在开始项目之前先确认是否确实需要使用生成性AI技术。如果确实需要，那么需要选择合适的评估指标和模型，如使用亚马逊SageMaker Model Monitor。通过使用[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)选项，如亚马逊云科技Lambda和[Amazon ECS](https://aws.amazon.com/cn/ecs/?trk=cndc-detail)，可以提高系统的可靠性和稳定性。 最后，他强调了如何将亚马逊云科技AppSync与模型集成，以提高用户体验。通过使用诸如LangChain之类的框架，可以简化与亚马逊云科技AppSync的集成过程。同时，通过合理地解耦模型，可以实现多个团队的协同工作，提高工作效率。 在指导下，利用模板等技术，不仅可以提高响应速度，还能改进原始查询。借助亚马逊开放搜索服务，模型在运行过程中获取相关信息，这是因为它们具有有限的上下文。这使得能够给出正确的提示答案。然而，额外数据受到模型所接受上下文明显的限制。像亚马逊开放搜索服务这样的向量数据库支持高效的上下文数据存储和检索。 在部署方面，Bedrock 利用亚马逊 API 网关提供最快的基于 API 的服务。SageMaker 则使用亚马逊云科技 CloudFormation 提供更高的可配置性。在 ECS 或 EKS 上自主托管允许完全控制，但需要运用亚马逊云科技 Fargate 的专长。对于 ECS，可以使用 S3 进行高性能的模型存储。通过使用亚马逊云科技 Auto Scaling，可以根据诸如应用程序托管之类的指标来自动调整模型规模。为了加速实例，还可以使用亚马逊 EC2 群集自动缩放配置亚马逊 EC2 群集。ECS 还提供预先构建的监控、安全和[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)功能，如使用亚马逊云科技 Lambda 和 Fargate。 Mudit 先生通过强调使用 ECS 和 Fargate 进行生成式人工智能应用的示例客户来进行总结。例如，Scenario 公司仅用两个月时间，在拥有三名工程师的情况下推出了一款用于游戏资产创作的生成式 AI 服务，使用了 ECS，在前两周内生成了超过 100 万张图像，并使用了亚马逊 S3。RA AI 通过使用自然语言处理简化放射学工作流程，提高了医疗保健质量，同时使用 ECS 加速了实验和部署，并通过亚马逊云科技 Lambda 将推理速度提高了 50%。Actuate 公司提供实时视频安全监控。Fargate 提供了动态扩缩以满足峰值性能要求，同时使用亚马逊云科技 Auto Scaling 以成本有效的方式实现。 总的来说，生成式人工智能带来了新的可能，而亚马逊云科技则为开发和部署提供了速度和动力。通过使用亚马逊云科技的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)容器、预训练模型和最佳实践，企业可以高效地构建和运行生成式人工智能应用。 **下面是一些演讲现场的精彩瞬间：** 瓦夫，一位在亚马逊CS公司担任高级产品经理的专业人士，对客户在ECS上构建生成性AI应用程序充满热情。  由于[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型与应用的解耦，他们可以独立地进行扩展、提高灵活性并实现创新。  通过提示工程和检索增强生成，模型可以在不改变底层模型权重的情况下利用额外的上下文。  为了解决调试问题和识别ECS应用程序中的瓶颈，领导者们推荐使用X-Ray旁路进行端到端的用户请求追踪。  Actuate公司利用ECS Fargate高效地调整容量，管理ECS集群并将EC2管理抽象化，以用于其计算机视觉应用程序。  领导者们提供了一系列有用的参考资料，以帮助开始使用亚马逊云科技的解决方案。  ## 总结 本次演讲主要探讨了如何高效地开发和部署大规模生成性AI应用的方法，并利用了亚马逊云科技的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)容器技术。 首先，生成性AI具有创造价值的潜力，可通过改善客户体验、支持开发者、创作内容以及改变行业来实现。实际应用包括个性化推荐、代码自动化编写、内容生成以及在金融、医疗、制造和教育等领域的广泛应用。 其次，在构建负责任的亚马逊云科技应用时，应关注应用场景，优先选择多样化的人才，全面评估潜在风险，并在整个AI生命周期的过程中不断优化治理体系。例如，亚马逊云科技提供的CodeWhisper和Amazon TITAN等服务都融入了负责任的人工智能实践。 第三点发现是，借助亚马逊云科技的服务，如Lambda、[Amazon ECS](https://aws.amazon.com/cn/ecs/?trk=cndc-detail)和SageMaker Jumpstart，可以加速生成性AI的推广速度，因为它们提供了[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)式的速度和功能。尤其是，ECS与生成性AI任务的模块化特点相得益彰。 总的来说，通过运用亚马逊云科技的强大功能，开发者能够快速打造具有影响力的人工智能应用，同时无需处理繁琐的基础设施问题。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")