剑指企业级生成式 AI ，亚马逊云科技推出三层技术堆栈

<!--StartFragment--> 亚马逊云科技总是在不断重构，以推动创新，而今年 re:Invent 的主角毫无疑问是生成式 AI。这从亚马逊云科技副总裁、首席布道师 Jeff Barr 在 re:Invent 2023 之前就迫不及待地写了一篇关于 PartyRock 的体验试玩教程即可窥见一斑。 事实也确实如此。在 Las Vegas，不管是个人开发者，还是企业架构师，亦或是大学教授，无论是来自传统行业还是创新公司，人人都在谈论亚马逊云科技通过重构生成式 AI 而即将到来的创新。 ### **首次发布亚马逊云科技生成式 ****AI**** 技术堆栈** 在 re:Invent 2023 最新发布中，亚马逊云科技首次发布了生成式 AI 技术堆栈，包括底层负责训练和推理的基础设施层，中间微调模型需求的工具服务层，以及上层构建生成式 AI 应用层三个重要层级。通过对这三个层级的不断重构，亚马逊云科技能够为用户提供更具性价比和安全性的技术与服务。  > Adam Selipsky 发布亚马逊云科技生成式 AI 技术堆栈 “我们独特的生成式人工智能堆栈为客户提供了比其他云更大的优势。”对此，亚马逊云科技 CEO Adam Selipsky 表示，“并非所有竞争对手都选择在每一层进行创新”。 ### **自研+合作，基础设施层的持续创新** 生成式 AI 并不能单独创造价值，它需要硬件的支持。高性价比的基础设施是生成式 AI 应用构建的关键。Adam Selipsky 曾在采访中强调了在这一领域创新的重要性，“新一代人工智能工作负载的计算密集程度非常高，因此性价比绝对至关重要。” #### **新一代 Amazon Trainium2 芯片发布** 此前，亚马逊云科技已通过多代 Graviton、Trainium 和 Inferentia 自研芯片证明了在这一领域创新的价值。今年，亚马逊云科技如约带来了全新一代的 Amazon Graviton4 和 Amazon Trainium2 芯片。 其中，Amazon Trainium2 芯片专为基础模型的高性能训练打造，其性能较上一代提升多达 4 倍，内存提升 3 倍，能效提升多达2倍。 Trainium2 实例能在 EC2 UltraClusters 中扩展多达 100,000 个芯片，提供高达 65 exaflops 的算力，可在极短的时间训练基础模型（FMs）和[大语言模型（LLMs）](https://aws.amazon.com/cn/what-is/large-language-model/?trk=cndc-detail)，并支持按需获取性能。 亚马逊云科技方面透露，有了这一级别的规模，训练完成一个具有 3 千亿参数的[大语言模型](https://aws.amazon.com/cn/what-is/large-language-model/?trk=cndc-detail)将从几个月缩短至几周。明星生成式 AI 企业 Anthropic 正计划使用 Trainium2 训练下一代复杂 Claude 模型。  > Amazon Graviton4 和 Amazon Trainium (原型)  #### **首家推出 NVIDIA GH200 NVL32 实例** 备受关注的还有与 NVIDIA 的合作。NVIDIA 创始人、CEO Jensen Huang 现身会场，与 Adam Selipsky 共同宣布双方扩大战略合作，将联合推出先进的基础设施、软件及服务，推动客户在生成式 AI 的创新。合作内容包括： * 亚马逊云科技推出首款结合 NVIDIA Grace Hopper Superchip 与 Amazon UltraCluster 扩展功能的云 AI 超级计算机； * NVIDIA DGX Cloud 率先配备 NVIDIA GH200 NVL32，并首次在亚马逊云科技上提供此 AI 训练即服务； * 英伟达和亚马逊云科技在 Project Ceiba 上合作，打造全球最快的 GPU 驱动 AI 超级计算机以及最新的 NVIDIA DGX Cloud 超级计算机，用于英伟达的 AI 研发以及自研模型开发服务； * 配置 NVIDIA GH200、H200、L40S 以及 L4 GPU 等芯片的全新 [Amazon EC2](https://aws.amazon.com/cn/ec2/?trk=cndc-detail) 实例，大幅提升生成式 AI、HPC 高性能计算、设计以及模拟类工作负载的性能； * 在亚马逊科技上运行的英伟达软件，包括 NeMo LLM 框架、NeMo Retriever 以及 BioNeMo，加速自研模型、语义检索、新药研发等应用的生成式 AI 发展。  > NVIDIA 创始人、CEO Jensen Huang 现身会场 这意味着，亚马逊云科技将成为第一家在云端配备英伟达 GH200 Grace Hopper 超级芯片的云厂商，并将在其平台上推出英伟达 DGX Cloud NVIDIA AI“训练即服务”。此外，双方还将基于 Project Ceiba 合作，构建全球最快的 GPU 驱动的 AI 超级计算机，以及更多基于英伟达芯片的云实例。 ### **Amazon Bedrock 全新功能发布，工具服务层再进化** 作为基于 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 的可共享生成式 AI 应用程序构建游乐场，PartyRock 只是 re:Invent 的开胃前菜。这背后“人人可以构建”的理念才是让所有开发者为之兴奋的关键。  > PartyRock 界面 这一精神的集大成者 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)，本次除 Amazon Titan Family，还上线了 Anthropic Claude 2.1，Meta Llama 2 70B 和 Stability AI Stable Diffusion XL 1.0 等几乎所有业界领先模型的最新版本，以及构建生成式 AI 所以需要的广泛功能。 亚马逊云科技数据和人工智能副总裁 Swami Sivasubramanian 博士如此概括 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 的创新价值，“各行各业都在将生成式 AI 融入各自的业务，但没有一个大模型能够适合所有的场景。利用 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)，客户可选择任何合适的模型来进行快速创新。”  > Claude 2.1 和 Llama 2 70B 接入 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) #### **Amazon Bedrock 迎来两大功能更新** 在 re:Invent 2023 现场，[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 带来了全面更新，包括模型的微调、检索增强生成（RAG）以及基于 Amazon Titan 大模型的预训练，以及正式推出了 Agents 和 Guardrails 两大功能，进一步降低了生成式 AI 应用的构建门槛。 在便捷程度上，开发者使用 Agents 功能，无需设计提示、管理会话上下文或手动编排系统，仅需提供自然语言指令即可轻松便捷地让生成式 AI 应用程序跨公司系统和数据源执行类似处理销售订单这样的多步骤任务。 在安全体验上，为提供所问即所答的用户体验，并更安全地使用生成式 AI 技术，开发人员可以借助 Guardrails 功能为所有应用程序提供跨基础模型的一致的 AI 安全级别，以一种简化的方式在生成 AI 应用程序中强化关键策略和规则，实施跨模型的保护措施。这以功能并不局限于亚马逊云科技的 Titan 模型，还适用于 Bedrock 上的其他模型。 亚马逊云科技负责任 AI 伦理高级实践经理 Diya Wynn 在接受采访时指出，“安全性至关重要。当我们考虑到人工智能时，负责任的 AI 应该是设计之初就要考虑的。如果我们等到事后再考虑这些因素，可能会导致一些灾难性的影响。” [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 从设计之初就考虑了负责任。客户数据在传输过程中和静态时都经过加密，因此所有有价值的客户数据都是始终安全且私密的，不会被亚马逊云科技及第三方提供商用于训练基础模型。 目前，[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 已服务了上万用户，Salesforce、MongoDB 等企业已经率先使用 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 应用生成式 AI。 ### **Amazon Q 发布，完善应用层版图** [Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 是 re:Invent 2023 上最激动人心的发布之一。和 ChatGPT 这样面向 C 端的通用聊天机器人不同，[Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 专门针对办公场景，可为员工提供信息和建议，帮助他们简化任务、加速决策和解决问题，从而推动企业创新。这不仅代表着亚马逊云科技正式加入聊天机器人的竞争，也拉开了企业级生成式 AI 时代的序幕。  > [Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 全新发布 [Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 改变了开发者和 IT 人员在亚马逊云科技上构建、部署和运维应用程序和工作负载的方式。客户可以通过亚马逊云科技管理控制台、文档页面、IDE、Slack 或其他第三方对话应用程序的聊天界面进行访问，且业务内容永远不会被使用来训练底层模型。对此，Swami Sivasubramanian 博士表示，“[Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 是我们生成式 AI 堆栈的应用层的强大补充，为每个组织打开了新的可能性。” [Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 展现了高度的灵活性。当前，开发者为跟上生成式 AI 技术迭代的速度，快速设计和交付新功能，管理应用程序和工作负载端到端的生命周期，并在维护既有产品和构建新功能之间平衡优先级，往往需要投入大量的精力，做大量的工作。[Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 完全支持根据客户业务定制，以帮助企业级开发者专注于开发本身。 Adam Selipsky 现场展示了一段高性能视频编码与转码应用示例。在被问及哪种 [EC2](https://aws.amazon.com/cn/ec2/?trk=cndc-detail) 实例最适合当前用例时，[Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 列出了一份涵盖性能与成本因素的清单。 [Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 还具有出色的代码转换能力。此前由 5 名亚马逊开发者组成的团队使用[Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 代码转换，将 1,000 个生产应用程序从 Java 8 升级到 Java17 仅用了两天，每个应用程序升级的平均时间不足 10 分钟。 此外，[Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 还可以与 [Amazon CodeCatalyst](https://aws.amazon.com/cn/codecatalyst/?trk=cndc-detail) 结合，在受支持的 IDE 当中，为用户代码生成测试，借此衡量其质量水平，加速功能开发。 不过，受限于合规政策，尽管他表示，“我坚信这将是一场生产力层面的变革，希望来自不同行业、从事不同岗位的人们都能从 [Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 身上获益”，但 [Amazon Q](https://aws.amazon.com/cn/q/?trk=cndc-detail) 进入中国仍需要时间。 re:Invent 2023 落下帷幕，生成式 AI 单点竞争的时代也已经结束。随着亚马逊云科技生成式 AI 技术堆栈图景的揭开，一个 AI 使人人受益的时代即将到来。 <!--EndFragment-->