深入探讨亚马逊云科技基础设施为生成式 AI 热潮提供助力

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/CMP201-A_deep_dive_on_AWS_infrastructure_powering_the_generative_AI_boom-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 为帮您兑现生成式 AI 的承诺，亚马逊云科技提供了高性能、可扩展和具有性价比的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)基础架构。从最新 GPU 到专门构建的加速器 Amazon Trainium 和 Amazon Inferentia，从 3200 Gbps 的弹性结构适配器网络到 [Amazon FSx for Lustre](https://aws.amazon.com/cn/fsx/lustre/?trk=cndc-detail) 的数百 Gbps 的数据吞吐量，亚马逊云科技是在云端训练和部署模型的最佳场所。在本论坛中，深入了解亚马逊云科技基础架构创新，并听取亚马逊云科技客户的意见，了解如何在各种产品和服务中构建、部署和扩展大型文本和图像生成模型。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1000字，阅读时间大约是5分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 贾森·麦吉（Jason McGee）是亚马逊EC2的产品经理，在亚马逊云科技（Amazon Web Services）工作已超过7年。他在演讲开始时回顾了过去一年中生成性AI的迅速发展和热烈反响。他认为这种热情很大程度上源于ChatGPT和其他大型语言模型，它们激发了公众的想象力，展示了AI如何提高生产力。这些类型的模型已经存在了3-4年，但在2022年取得了广泛的应用。 如今，麦吉表示，我们正进入一个阶段，大型企业正在认真评估如何在内部运用生成性AI。他引用了高盛的一份研究报告，预测在未来2-3年内，AI可能为全球国内生产总值增长贡献7万亿美元，强调了科技行业与客户之间的巨大机遇。 麦吉详细阐述，生成性AI在许多行业中都具有革命性的潜力，从医疗保健到金融服务、零售、媒体等。实际应用包括医生的数字助手、改善的客户呼叫中心互动、运营效率和新产品发现。虽然大型科技公司将继续推动创新，但企业可以通过在自己的专属数据上训练模型来脱颖而出，以优化为其特定客户和业务需求的体验。 谈到亚马逊云科技在生成性AI方面的策略和功能，麦吉解释道，他们意识到没有单一模型能同等很好地满足每个应用场景。大型复杂模型可能会变得过于昂贵且过度拟合。因此，亚马逊云科技旨在提供多种AI服务组合，包括现成的基础模型、定制模型的工具、端到端应用程序以及培训和部署的优化基础设施。麦吉将专注于基础设施方面，而Adobe的同事将探讨如何利用亚马逊云科技的AI改造他们的业务。 在讨论生成性人工智能的基础设施需求时，麦吉回顾了过去四年内模型规模的惊人增长，其参数增长了约3000倍。这种爆炸式增长背后的原因是什么呢?简而言之，即在更多数据上训练更大规模的模型可以带来更好的效果，这一点已经从Meta和其他公司的研究中得到证实。无论是为了提高搜索结果的相关性还是聊天机器人的一致性，更大的模型都会直接转化为对最终用户有利、进而对公司有利的好结果。 此外，训练这些越来越大的模型所需的计算资源呈指数级增长。例如，使用8000个GPU训练一个5200亿参数的模型需要20周时间，成本约为8000万美元，同时消耗43亿千瓦时的电力。这就是为什么GPU变得稀缺，而英伟达等公司的市值如今已超过1万亿美元的原因。 麦吉还详细解释了为什么GPU能够显著加速深度学习的核心矩阵乘法速度，这是因为它们拥有数千个核心，而相比之下，只有几百个核心的CPU会慢得多。整个人工智能领域是在大约10年前被研究人员展示如何通过使用仅两个GPU在几个月内而非几年内训练模型来激发的。然而，商用GPU存在局限性，因此亚马逊云科技已经大量投资于诸如Inferentia和Trainium等定制芯片，以优化成本和性能。 除了原始硬件之外，麦吉还谈到了亚马逊云科技提供的围绕存储、容器以及像SageMaker这样的服务在内的软件基础设施，以简化基于人工智能的构建。他总结说，亚马逊云科技现在支持超过10,000家使用生成性人工智能来改变其业务的客户。 接下来，来自Adobe的亚历山大·科斯坦（Alexandre Costin）分享了他们进入生成性人工智能领域的经历以及与亚马逊云科技的合作伙伴关系。他解释说，Adobe在2022年意识到人工智能将成为影响其创意、文档和市场推广客户的下一个革命。他们决定早期投资开发适合客户需求的有自有AI能力，而不是仅仅依赖外部供应商。 关键战略决策包括开发和优化专为创意工作流程定制的自有基础模型，并将这些模型紧密整合到客户日常使用的旗舰应用程序如Photoshop和Acrobat中。此外，Adobe还利用其丰富的内容资产（如Adobe Stock）作为优质的训练数据。为了实现这一目标，他们选择了与亚马逊云科技合作而非自建基础设施，这使得他们能够专注于自己的核心业务。 这些努力取得了显著成果，例如过去一年推出的Adobe Firefly系列生成式模型，现已集成到Photoshop、Illustrator和Express等应用程序中。在Photoshop中，生成功能已成为最受欢迎的特性之一，展示了将功能紧密融入日常工作流程的价值。生成的所有内容都经过Firefly处理，确保其具备商业相关性和安全性。 在背后，Adobe构建了一个名为“AI超级高速公路”的平台，旨在加速开发进程。该平台包括精选数据集、基于EC2的模型训练平台、研究团队制作的模型原型、应用研究以及提供服务交付这些功能。通过结合严谨的研究与快速的迭代，Adobe在短短九个月内发布了多个主要的生成式功能。 总的来说，过去一年里，亚马逊云科技通过在专用基础设施（从GPU到定制硅片再到集群服务器和太比特网络）上的大量投资，推动了生成式AI的革命。这使得像Adobe这样的客户能够在全球范围内迅速培训和部署创新的生成式模型，从而改变他们与客户互动的方式。随着针对企业特定需求的解决方案的出现，生成式AI有望彻底改变各种行业和用户体验，引领我们走向未来。 **下面是一些演讲现场的精彩瞬间：** 亚马逊云科技部门领导介绍了来自Adobe的Alexandro Costin，他将在会议上探讨Adobe如何运用生成性人工智能与亚马逊云科技。  领导强调，如GPT-3等生成性人工智能技术已达到了一个关键节点，用户可利用其优势提高工作效率。  深度学习领域在十年前获得了飞速发展，当时一名博士生仅用了两个月时间，使用两个GPU成功训练出了一个名为AlexNet的模型。  亚马逊云科技的新款Ranum芯片拥有两个大型神经网络核心和一个用于矩阵乘法的张量处理器，从而实现了高效的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)功能。  领导正在介绍这款新Ranum单服务器的架构，它包含16个通过超高性能互连结构的Ranum芯片，以及用于支持庞大带宽需求的Nitro卡。  亚马逊云科技提供的高性能网络使得客户能够高效地训练大量机器集群的AI模型。  领导还强调了亚马逊云科技在整个年度发布的众多AI模型，特别是在十月份的Max大会上发布的萤火虫图像模型的第二版本。  ## 总结 视频探讨了亚马逊云计算技术如何通过先进基础设施促进创新性人工智能的发展。首先，来自亚马逊云计算服务EC2团队、Adobe公司的Alexandro Costin以及亚马逊电子商务部门的Belinda Zeng作为演讲嘉宾进行了介绍。 Jason阐述了亚马逊云计算技术支持创新性人工智能应用的策略。他指出，亚马逊云计算技术提供了一系列功能，如基本模型、适用和优化的基础设施，以实现高效且经济实惠的训练和部署模型。此外，亚马逊云计算技术已经在定制化硅芯片（如Trainium）方面投入巨资，以提高训练效率。同时，他们还提供了高性能的网络和存储选项，以实现在数千个GPU集群上进行大型模型的训练。 接下来，Alexandro分享了Adobe在创新性人工智能领域的经验。他表示，Adobe已认识到创新性人工智能将对其客户产生重大影响，因此决定通过在自己数据资产上训练模型并将其集成到创意工具中，积极拥抱这一技术。与亚马逊云计算技术合作的同时，Adobe利用自己的EC2和S3训练框架构建了自己的训练框架。在短短11个月内，Adobe推出了三个基础模型，并将它们深度集成到Photoshop、Illustrator等产品中，取得了巨大成功。Adobe关注的重点是"AI超级高速公路"，以便能够快速将模型从研究阶段过渡到生产阶段。 这次演讲强调了亚马逊云计算技术的基础设施创新如何使得像Adobe这样的公司能够迅速开发并部署创新性人工智能，从而推动当前的发展繁荣。先进的硬件、网络、存储和服务确保了快速的迭代和扩展。亚马逊云计算技术的丰富产品帮助公司专注于他们的数据和信息模型，而无需担忧基础设施问题。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")