1024，亚马逊云科技助力开发者在生成式 AI 时代创新构建！

生成式 AI 正激发着全球企业和开发者的创新激情，引领着人工智能的未来。今天，在1024“程序员节”这个对开发者们有特殊意义的节日，**亚马逊云科技生成式 AI 构建者大会**顺利召开。 本次大会**全面分享了生成式 AI 的技术路径和应用场景**，为开发者提供新工具试用与实践的机会，帮助开发者应对生成式 AI 带来的机遇与挑战，确保开发者能够轻松构建创新的应用，在 AI 时代保持竞争力。 那么，对于开发者们而言，生成式 AI 能创造哪些全新的可能？在本次大会的“**开发者论坛**”中，我们邀请到了知名的业界专家为大家讲解和分享。一起看看他们有哪些经验和心得！ ### **个人开发者玩转生成式 AI 的 N 种方法** 开源 AI 算法工程师、bilibili 知名科技 UP 主张子豪 （@同济子豪兄）为大家分享了《个人开发者玩转生成式 AI 的 N 种方法》的主题演讲。他认为，大模型能够脱离“信息茧房”，给出客观全面的建议，将每个行业最顶尖的能力赋予每个普通个体，因此“小而美”创业团队也能迎来重大机遇。  在他个人所做的大语言模型和 AIGC 相关项目中，亚马逊云科技的 AI 编程助手 **[Amazon CodeWhisperer](https://aws.amazon.com/cn/codewhisperer/?trk=cndc-detail) 成为了他开发中得力的“辅助外挂”，帮助他极大地提高了开发的效率**。他为大家总结出了“[Amazon CodeWhisperer](https://aws.amazon.com/cn/codewhisperer/?trk=cndc-detail) 十大玩法”： * **玩法一**：由注释生成代码 * **玩法二**：由函数名生成代码 * **玩法三**：给已有代码生成注释 * **玩法四**：生成正则表达式 * **玩法五**: 批量生成虚拟样本 * **玩法六**：第三方库复杂函数 * **玩法七**: 开源协议引用追踪 * **玩法八**：安全漏洞扫描 * **玩法九**：单元测试玩法+:挑战Leetcode算法题 ### **生成式 AI 面向开发者的关键技术发展** 生成式 AI 的核心是利用[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)领域的模型创新驱动的，这是一项不断演变的技术，我们称之为基础模型。亚马逊云科技资深开发者布道师郑予彬在《生成式 AI 面向开发者的关键技术发展》主题演讲中提到，基础模型在驱动生成式 AI 中，能够对海量非结构化数据进行预训练，同时包含大量参数，能够学习复杂概念，广泛应用于各种场景，适应特定领域或行业相对较少的标记数据。  在生成式 AI 用于代码开发的过程中，如何编写、加速编写、如何提高代码质量也是开发者们关注的问题。亚马逊云科技预见到，编程将是生成式 AI 技术得到快速应用的领域之一。亚马逊云科技提供的[Amazon CodeWhisperer](https://aws.amazon.com/cn/codewhisperer/?trk=cndc-detail) 是一款生成式 AI 编程助手，可在基础模型高级选项中使用，实时生成代码建议，从根本上提高开发人员的生产力。**[Amazon CodeWhisperer](https://aws.amazon.com/cn/codewhisperer/?trk=cndc-detail)目前在国内 AI 编程工具领域处于领先地位，也是目前国内用户增速最快的 AI 编程工具。在《2023 AI开发者生态报告》亮点显示中，[Amazon CodeWhisperer](https://aws.amazon.com/cn/codewhisperer/?trk=cndc-detail) 也处于领先地位，在开发者中占据了较高的使用率**。 ### **高效开发基于大模型的生成式 AI 应用实践** 面对一个新的知识迭代带来的机遇，个人应该具备怎样的规划？亚马逊云科技资深开发者布道师黄浩文在《高效开发基于大模型的生成式 AI 应用实践》从“快速上手”和“高效优化”两部分为我们打开了思路。  他提到，在构建生成式 AI 应用程序中，开发者们会遇到许多挑战。**[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 是一项完全托管的服务，能够帮助开发者们更高效方便地构建生成式 AI 应用程序，简化开发，同时维护隐私和安全**。开发者们无需管理任何基础设施，并且可以使用已经熟悉的亚马逊云科技服务将生成式 AI 功能安全地集成和部署到应用程序中。 ### **从 Cloud Native 到 AI Native，新时代的向量数据库** Zilliz 合伙人和技术总监，LF AI \&Data 基金会技术咨询委员栾小凡介绍了 AIGC 时代的新基建——向量数据库及其应用场景，并分享了从全球第⼀款 AI 原⽣数据库 Milvus 1.0到Milvus 2.0，如何做云原⽣向量数据库。  #### **第⼀式：存算分离** Milvus ⽆状态化，引⼊元信息存储，⽇志存储和数据存储，降低系统的复杂度，提升系统弹性和恢复速度。使⽤亚⻢逊云科技的服务进⾏抽象封装，实现了⾼可⽤，低成本的存储层，⼤⼤降低了数据库服务层本身的复杂性。 #### **第⼆式：微服务化** 每种⻆⾊⾃⾏进⾏扩展和负载均衡，基于 K8s 和容器可以更加容易的实现资源的超卖和隔离。使⽤亚⻢逊云科技的 EKS 服务，实现了弹性的资源调度，多租户隔离，灵活的超卖策略，和企业级的负载均衡和安全。 #### **第三式：多级缓存** 通过⾼性能本地磁盘完成了对象存储的缓存；通过元信息存储缓存了对象存储的⽬录；通过内存缓存了 Collection/Partition 状态等元信息。灵活使⽤亚⻢逊云科技使⽤的多种存储⽅式。基于 S3 构建低成本的冷数据存储，使⽤ EBS 构建云信息存储和⽇志存储。使⽤⾼性能本地机型 M6id, M7gd 上⾼性能的本地 NVMe 磁盘构建查询缓存。 #### **第四式：云原⽣调度** 包括优化请求/任务调度、资源调度、数据调度等。 ### **如何在 K8S 上玩转生成式 AI** ApeCloud 联合创始人 & CTO蔡松露分享了如何在 K8S 上玩转⽣成式 AI。当下，每个企业都在使⽤ LLM + AIGC 来提升效率，LLM + AIGC 的供给呈现爆发式增⻓，⽇新周异。但是维护 LLM + AIGC 基础设施（特别是私有化部署）⾮常复杂，需要 LLMOps ⽀持。K8S 是 LLMOps 孕育和成⻓的天然温床。  针对 LLM Deployment & Serving，KubeBlocks 托管优势有： * 多云和线下环境 * ⼀套框架服务多种 LLM * ⽀持量化 for 开发环境 * LLM 普遍较⼤，Huggingface ⽹络问题，镜像打包与分发 * ⾼性能 batching 针对 Databases for RAG，KubeBlocks 托管优势有： * 本地化部署，保护隐私；兼容云服务 * 多种选择，兼容⽤户已有数据库 * 丰富的 Day-2 功能，⼀键接⼊ * out of box，完整的开发体验 ### **Graph RAG，大模型应用的新技术栈详解** RAG 是 AI 基于私有知识构建认知智能应用的主流范式，但是现有的一些分割、嵌入的方法在生产级别的应用上，依然存在很多的痛点和问题。NebulaGraph 首席开发者布道师古思为向大家详细地介绍了基于图的知识结构在 RAG 领域突破更多挑战。  他提到，**Amazon SageMaker 在 LangChain、LlmaIndex 社区的兼容非常好**，几乎仅需改写少量代码，就能够将在 local 开发的内容迁移至亚马逊云科技平台。 在亚马逊云科技生成式 AI 构建者大会主论坛中，亚马逊云科技大中华区产品部总经理陈晓建用一个很形象的比喻，向我们阐释了生成式 AI 的现状：“生成式 AI 现已成为各行业各组织商业领导者的首要关注点。整个生成式 AI 的应用就像是浮在海面上的冰山，人们常提到的基础模型只是我们能看到的冰山一角，而在冰川底部，同样需要大量的基础模型以外的服务来支撑，如加速芯片、数据库、数据治理、应用集成等。”**亚马逊云科技提供了完整的端到端的生成式 AI 技术堆栈，从底层的加速芯片，存储优化，到中间层模型构建工具和服务，再到最上层的生成式 AI 相关应用**。 推动生成式 AI 普惠化，助力更多企业和个人开发者加速创新是亚马逊云科技的使命之一。亚马逊云科技愿一直与开发者们携手共进，**特此祝各位开发者们节日快乐！**