Amazon.com 如何通过生成式 AI 和基础模型增强购物体验

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/AMZ301-How_Amazon_com_enhanced_shopping_with_gen_AI_and_foundation_models-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 亚马逊是美国最受欢迎的网站之一。它的搜索引擎是全球使用率最高的服务之一，为数十亿产品编制索引，并为全球数亿客户提供服务。本讲座将为您介绍 Amazon Search 如何使用亚马逊云科技提供的强大服务和生成式 AI 技术，为亚马逊网站的消费者构建愉快的购物体验。请参阅使用亚马逊云科技将生成式 AI 研究理念引入生产所采取的步骤——从提高科学家的生产力到使用 Amazon silicon 在生产中构建基础模型刷新和推理能力。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 会议开始时，詹姆斯·帕克向观众们表示欢迎并介绍了他自己、贝尔琳达·辛和维贾伊。詹姆斯是亚马逊云科技的高级解决方案架构师，贝尔琳达负责亚马逊的大型基础模型工作，维贾伊是亚马逊的主要工程师。 詹姆斯解释道，他们将会讨论亚马逊如何运用人工智能和生成性AI模型来提升客户的购物体验。他还提供了一些关于亚马逊[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)历史的背景信息，该历史始于1999年亚马逊网站的推出。当年，亚马逊部署了一些最早的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型，用于书籍推荐。 在接下来的几十年里，随着亚马逊业务的不断扩张，[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的应用范围也得到了极大的拓展。到2023年，有超过1/3的电子商务购买发生在Amazon.com网站上，每天有超过100万件产品在亚马逊网站上销售，这意味着每天要向客户发送160万件包裹。 现在，[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)已经广泛应用于亚马逊的所有业务中，而不仅仅是主要购物网站。它被用于Alexa处理每周数十亿次的语音互动。它支持对亚马逊库存的4亿种产品的需求预测。在亚马逊运营的150多个国家中，都部署了[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型。 这些模型还支持亚马逊运行其运营所需的大量基础设施，包括仓库中的物品搬运机器人，以及运输包裹的3万辆送货卡车。 詹姆斯回顾了一下在亚马逊网站上购物的客户体验。客户可以浏览产品，只需点击几次即可购买，然后亚马逊的系统会在幕后接管。产品在仓库中进行挑选和包装，然后装载到送货卡车中，并运送到客户的家门口。 客户看到的屏幕由[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)驱动。搜索栏使用ML来解释查询。产品推荐是由ML算法生成的。甚至送货卡车的行驶路线也通过ML优化，以平衡速度和燃料效率。 詹姆斯解释说，现在[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)已经成为客户体验的每一方面的核心。在购买产品后，从包装到装载卡车，整个履行过程都由ML协调。ML执行任务，如检测损坏的包裹，以确保质量。亚马逊的服务，如Monitron，利用ML来监控设备的健康状况，以防止故障。 [机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和人工智能在亚马逊的应用已经非常普遍。例如，亚马逊的卖家履约网络允许第三方卖家在其网站上销售产品。为了减轻卖家的负担，亚马逊推出了一项功能，利用生成性人工智能自动为卖家创建产品描述。对于消费者来说，亚马逊使用生成性人工智能对评价进行归纳总结，将数百条评价精炼成有用的摘要，帮助客户高效地获取所需信息。在内部分析方面，生成性模型还被用于测试工作，例如在亚马逊One掌纹扫描器项目中，他们使用AI生成的合成手部图像进行训练和验证，而非收集数千张手部图片。詹姆斯强调，亚马逊的庞大规模使得构建和部署这些系统变得非常复杂。模型通常拥有超过十亿个参数，需要多个加速器，因此成本相对较高。基础设施必须经过优化以提高效率、利用率和降低成本。此外，模型的性能至关重要——预测速度必须足够快以确保流畅的客户体验。贝尔尼达向我们分享了她团队的工作，他们致力于为公司整个深度学习平台开发大规模的基础模型。她团队的核心产品是语义表示，专注于捕捉电子商务的关键实体（如产品、搜索和语义）之间的关系和概念。通过以数据为中心地表示现实世界中的实体，他们可以改进许多下游[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)应用。 改进跨语言搜索体验的拼写纠正模型。 - 能够根据文本描述生成产品图像的AI图像生成模型。 - 根据适当背景语境化产品图像的模型。 - 通过图像和文字查询找到产品变体的多模态搜索模型。 - 从搜索结果中提取相关产品视频的视频模型。 他们的模型开发过程包括： 1. 在亚马逊数据上预训练基本模型（100B+参数）。 2. 用各种亚马逊任务对其进行微调。 3. 将模型精简到更小的大小以供生产使用。 4. 与团队合作定制并部署。 然而，在建立和部署这些大型模型的过程中也面临着一些技术挑战。亚马逊云科技为他们提供了有效的解决方案。例如，在训练阶段，他们使用了Amazon Trainium芯片，相较于GPU，这种芯片具有更高的性价比。在推断阶段，他们利用了Amazon Inferentia芯片，这种芯片提供了更好的成本效益。 为了提高开发者的效率，他们消除了对失败任务或丢失工作的担忧。他们在S3上构建了一个不可变的存储层，以确保项目永不丢失。他们还添加了自动恢复功能，以便失败的任务可以从上次中断的地方继续执行。 在生产过程中减少处理数据所需的时间。通过在计算节点上实时处理数据，而不是使用复杂的预处理管道，原始数据可以直接流式传输给需要使用的模型。 通过这些创新手段，他们能够实现高达90%的GPU利用效率，从而每月支持超过10,000次实验。如今，他们的基础设施能够在各个地区进行扩展，同时为开发人员提供统一的界面。总的来说，詹姆斯概述了M5团队是如何像使用亚马逊云科技的服务如Batch、ECS、S3、Trainium、Inferentia和RDS等来构建和部署大规模尖端基础模型的。他们的模型几乎涵盖了亚马逊的所有领域，从而提高了客户体验和业务运营效果。 当被问到关于生成性AI工作最令人兴奋的部分时，贝尔丁表示这是为客户提供创新机会的时刻。当她看到他们的研究成果转化为实际提高客户满意度的部署模型时，她感到十分满足。 这次活动展示了一个令人振奋的视角，揭示了亚马逊如何通过人工智能和生成性模型来改变其业务模式。M5团队不断突破可能性的边界，这得益于亚马逊云科技的多样性和规模。他们开创性的工作为其他寻求从AI中获取价值的组织提供了灵感。 **下面是一些演讲现场的精彩瞬间：** 贝琳达·津（Belinda Zing）担任亚马逊大规模基础模型项目的负责人。  在亚马逊云科技re:Invent上，她向与会者发表了欢迎致辞。  亚马逊推出了一项新的AI功能，能够帮助用户在亚马逊网站上筛选产品评论并生成摘要，突显关键兴趣点。  在亚马逊云科技re:Invent上，公司展示了一种利用GPU训练模型并在亚马逊云科技Inferentia上部署它们的方法，从而实现两倍的价格性能提升。  亚马逊还发布了一个新框架，旨在帮助开发者专注于创新，而无需担忧基础设施的可靠性和可重复性问题。  开源的awc rt Python客户端使得加速器实例上的网络卡能够满载运行，从而以经济高效的方式将大型5TB模型无缝地检查到S3。  通过共享数据处理和模型训练代码，大大减少了从研究到生产的转换时间。  ## 总结 亚马逊一直致力于运用人工智能和生成式模型，以提高客户的购物体验。在最近的re:Invent上，詹姆斯·帕克、贝琳达·辛和维贾伊深入探讨了这个话题。他们从20世纪90年代晚期亚马逊初创时期起，详细介绍了[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)如何逐渐成为其核心，为推荐系统和其他功能提供动力。如今，AI已经渗透到了亚马逊业务的方方面面，从全球数百万产品的需求预测到优化仓库运营和送货路线。 当前的研究重点在于开发能够捕捉产品、搜索和交易等关键电子商务实体之间语义关系的大规模基础模型。贝琳达分享了她的团队是如何构建具有数百亿参数的多模态、多语言模型的，这些模型使用了亚马逊丰富的数据进行训练。她还展示了一些AI驱动的应用示例，如改善搜索性能、生成产品图像和视频，以及支持多模式查询。 维贾伊接着揭示了支撑这些大型模型快速实验和扩张的技术基础设施和工程实践。这些关键要素包括高效的分布式训练、云存储的自动检查点、将数据处理与训练相邻放置以及优化资源利用的综合监控。 最后，演讲者们强调以客户为中心的创新仍是亚马逊的核心理念。亚马逊的目标是利用生成性AI的力量为客户提供愉悦的体验，并在其所有业务领域发掘新的可能性。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")