起心动念 | 生成式 AI 开发实践系列的开端

生成式 AI 和大模型的技术变革力量，正在逐渐影响着我们当下这个时代，全球各行各业都呈现百舸争流、万象更新的趋势。在 2023 年，我们通过各种面向开发者的活动，收集到了大量开发者关于基于生成式 AI 的开发内容需求和建议反馈。开发者们都期待我们在 2024 年推出更多关于生成式 AI 开发实践的系列内容。 根据来自于过去一年的开发者的需求建议上的深度思考，我们确定了以下三个围绕生成式 AI 开发实践的内容系列，希望在 2024 年里，对开发者们在生成式 AI 应用领域的开发实践有所帮助： * 构建生成式 AI 应用开发实践系列 * 开源大语言模型的优化实践系列 * 亚马逊云科技上的生成式 AI 开发实践系列 ### **构建生成式 AI 应用开发实践系列** 在亚马逊云科技 re:Invent 2023 以及之后的 reCap 巡展中，细心的开发者们也许已经发现有一个很有趣的动手实验： **开发一款可部署的基于大语言模型的字谜游戏。** 该款游戏使用了文生图模型为玩家提供一个未知的提示词，玩家需要根据模型生成的图像来猜测该提示词，来完成游戏。该动手实验完整地展示了如何在亚马逊云科技上完整构建生成式 AI 应用程序。 这款游戏的后端使用了三个大模型，包括： * 文本到图像的模型 * 文本嵌入（Text Embedding）模型 * 文本生成模型 整个游戏的主要拓扑结构图如下所示：  本系列计划用 3-5 篇博客的篇幅，完整阐述如何构建基于大模型的生成式 AI 应用实践，来帮助开发者们全面了解构建 生成式 AI 应用开发的完整流程，包括：构建前端程序、构建后端程序、以及代码面向生产环境的持续集成和持续部署（CI/CD）等方面内容： * 生成式 AI 应用设计概述 * 文本到图像模型的设计 * 嵌入模型的设计 * 文本生成模型的设计 * 生成式 AI 应用 CI/CD 实践 ### **开源大语言模型的优化实践系列** 该系列的策划起源自我们在 2023 年亚马逊云科技 re:Invent 上的演讲分享——[使用 Amazon SageMaker 优化开源大语言模型的部署和微调](http://mp.weixin.qq.com/s?\\__biz=Mzg5Mzg1NDc2NQ==\\&mid=2247490134\\&idx=1\\&sn=5b62d734a6c5bca2d408a2f2c1cb234f\\&chksm=c0292f14f75ea6021737fdbea086e7f6fa4ef75c432e0774b381b538e98535dad93ec7aed539\\&scene=21#wechat_redirect&trk=cndc-detail)。 * [《使用 Amazon SageMaker 优化开源大语言模型的部署和微调》](http://mp.weixin.qq.com/s?\\__biz=Mzg5Mzg1NDc2NQ==\\&mid=2247490134\\&idx=1\\&sn=5b62d734a6c5bca2d408a2f2c1cb234f\\&chksm=c0292f14f75ea6021737fdbea086e7f6fa4ef75c432e0774b381b538e98535dad93ec7aed539\\&scene=21#wechat_redirect&trk=cndc-detail) 演示文稿下载：https://d1.awsstatic.com/events/Summits/reinvent2023/BOA402\_Open-source-LLM-optimization-with-Amazon-SageMaker.pdf?trk=cndc-detail 在技术分享中，我们和世界各地的开发者们一起探讨了大语言模型的模型部署和微调优化领域，包括：模型编译、模型压缩、模型分布式训练、模型推理批处理等方面的行业最新论文和发展趋势，以及通过两个实际代码展示了 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) 如何高效简化大语言模型的部署和微调流程。如下图所示：  分享结束后，很多开发者和我们沟通联系，希望我们可以把这个话题延展地更深入一些，因为和开源大模型优化相关的很多子领域，在过去一年行业进步迅速，很多优秀的论文和想法脱颖而出。因此，我规划了这一系列，通过 4-6 篇博客来分享我在开源大语言模型优化领域的心得和体会，话题包括： * 模型编译 * 模型压缩 * 模型分布式训练 * 模型部署 * 模型推理优化 ### **在亚马逊云科技上的生成式 AI 开发实践系列** 从 2023 年开始，在生成式 AI 领域涌现了很多优秀的书籍和在线课程。为帮助开发者可以系统了了解如何利用亚马逊云科技在云基础设施、数据存储、数据处理以及数据分析等诸多方面的优势，我们特别规划了这个系列的内容。 我们希望在 2024 年里通过 8-12 篇技术博客和大家逐步分享行业的最新进展和在亚马逊云科技上的开发实践，主要内容规划如下： * 生成式 AI 用例、基础知识、项目生命周期 * 提示工程和上下文学习 * 大型语言基础模型 * 模型量化和模型的分布式训练 * 模型微调和模型评估 * 参数高效微调（PEFT） * 使用 RLHF 进行强化学习微调 * 优化和部署 生成式 应用程序 * 检索增强生成 (RAG) 和代理 * 多模态基础模型概述 * 使用 Stable Diffusion 模型进行用户可控的模型生成和微调 * 使用 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 的生成式 AI 开发实践 敬请期待！ ### **特别推荐** 除了今年的内容分享预告，我也希望给开发者们推荐以下学习资源，与开发者共勉。 **书籍《Generative AI on Amazon Web Services》** **难度：初级/中级** 该书的作者为来自亚马逊云科技的同事 Chris Fregly、Antje Barth 和 Shelbee Eigenbrode 等。  书籍主要内容包括了：生成式 AI 的生命周期，包括用例定义、模型选择、模型微调、检索增强生成、通过人类反馈的强化学习以及模型量化、优化和部署等。如果开发者计划利用亚马逊云科技的诸多服务，在云端设计和开发生成式 AI 的应用的话，非常推荐此书。 书籍链接：https://www\.amazon.com/\_/dp/1098159225?trk=cndc-detail **在线课程《Generative AI with Large Language Models》** **技术难度：中级** 吴恩达创办的 DeepLearning.AI 一直在提供各种面向 AI 领域的精品课程。而在大语言模型领域，笔者非常推荐 DeepLearning.AI 与亚马逊云科技合作推出这门在线课程。 这门在线课程的主要内容是讲授生成式 AI 的工作原理，以及如何部署面向真实世界应用的生成式 AI 模型。这门课的对象主要是针对中等水平的生成式 AI 开发人员，所以需要有一定的编程基础并且对[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)有一定的了解。此外，官方建议课程的学习时间是三周，也是一个比较长的学习周期。 在线课程链接：https://www\.coursera.org/learn/generative-ai-with-llms?trk=cndc-detail **在线课程《Hands-on Machine Learning with Amazon Web Services and NVIDIA》** **技术难度：中级/高级** 该在线课程是 DeepLearning.AI 与亚马逊云科技合作的又一重要课程，专为数据科学家和开发人员等 ML 实践者设计。课程要求注册课程的开发者，具有[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)工作流程的基础知识。 在该课程中，开发者将了解如何让使用 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) 和 NVIDIA GPU 加速的 [Amazon EC2](https://aws.amazon.com/cn/ec2/?trk=e5041e6a-f554-4849-a507-b83b361d21d1&sc_channel=el) 实例构建、训练和部署可扩展[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型的实践经验。 课程首先概述了 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) 和 NVIDIA GPU。然后指导开发者通过运行由 GPU 驱动的 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) 笔记本实例进行实践操作。学习内容包括：如何准备用于模型训练的数据集、构建模型、执行模型训练以及部署和优化 ML 模型等生成式 AI 模型训练的完整流程。 在线课程链接：https://www\.coursera.org/learn/machine-learning-aws-nvidia?trk=cndc-detail 最后，祝福各位开发者龙年新年快乐，阖家幸福，万事如意！