生成式 AI 入门难？速来解锁这份生成式 AI 词汇表（上篇）

近年来，生成式 AI 如雨后春笋般迅速兴起，很多开发者对其中涉及的新兴技术概念还并不熟悉。 然而对于在 AI 和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)行业工作的开发者来说，他们一直都处于学习的状态（无论是开发者本人，还是模型）。因此有能够帮助开发者学习并吸收新概念的学习技巧是非常重要的。  **A：代表注意力（Attention）** 对于 AI 来说，注意力就好比你给某处打光，告诉模型什么是重要的，它需要特别注意什么。在 2017 年发表的论文《注意力是你所需要的一切》（Attention Is All You Need）中，作者们提出了一个全新的想法：转换器（我们在下面的词汇表里也会提到）只需要通过注意力机制就可以处理序列数据，并不需要传统复发的或者回旋神经网络。注意力机制使得模型能够权衡不同信息的重要度，这一技术在最先进的大语言模型应用中，如翻译、总结、以及文本生成，都有一席之地。 **B：代表 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 服务** [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 是亚马逊云科技的一项全托管服务，可以通过基础模型（下文会详细阐述）帮助你打造和规模化自己的 AI 应用。[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 降低了生成式 AI 的使用门槛，并通过提供 API 接口帮助你免去管理基础架构的麻烦，你可以把精力集中在为客户提供服务上。Bedrock 中提供了多种基础模型，包括三方模型，如一些 AI 行业新崛起的公司包括 AI21 Labs、Anthropic、Cohere、和 Stability AI。选择一个基础模型后，你可以利用自己的数据对模型进行定制化，之后将这些模型整合部署到你通过其他亚马逊云科技的工具打造的应用中。 **C：代表 [Amazon CodeWhisperer](https://aws.amazon.com/cn/codewhisperer/?trk=cndc-detail) 服务** [Amazon CodeWhisperer](https://aws.amazon.com/cn/codewhisperer/?trk=cndc-detail) 是一个 AI 驱动的编程辅助服务。CodeWhisperer 是基于几十上百亿行代码（来源包括亚马逊和开源代码）训练的大语言模型，可以在你的集成开发环境（IDE）实时生成精准、安全的代码建议！你可以用英文编写注释， CodeWhisperer 会实时生成片段或全函数代码建议，这些都可以帮助你大大提升编码效率，尤其是在接触不熟悉的 API 接口时。对于我个人来说，它可以让我在写代码时只看着我的 VSCode 窗口就可以了，我不用再多开窗口边写边跑，这样更能让我专注在自己的世界里。 **D：代表扩散模型（Diffusion Models）** 扩散模型也是生成式 AI 模型的一种，它们可以用来创造各种现实的图片或者其他数据。扩散模型很有趣的一点就是它们的工作原理是通过预言“噪声”、去除噪声、从含噪声的信息源中给出一个无噪声的结果。这个过程听起来可能有些拗口，但是在实践中这类模型十分好用，因为它们能够通过学习分辨出噪声和真正有用的数据，比如物品或角色的图像。 **E：代表嵌入（Embeddings）** 理解不同概念在上下文中是怎样关联的是一件很抽象的事，但是这在生成式 AI 中是尤为重要的，尤其是在特定使用场景下。电脑和人类处理单词的方式是不同的，所以你可以将数据编码成元素集，一个元素集可以理解为一个向量。在这种情况下，一个向量包含一批数字，这些数字用来在多维空间映射元素间的关系。当这些向量有了意义，我们称之为语义，而各个向量之间的距离可以衡量它们在语境中的关系。所以在这个场景下的向量被称为嵌入。 **F：代表基础模型（Foundation Models）** 我最喜欢的 F 开头的单词来了——Foundation Models（基础模型）。[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)上取得的进步（如基于Transformer的神经网络架构）意味着我们现在拥有的模型中包含着几十上百亿的参数或者变量。基于如此庞大的数据训练出来的模型可以满足所有任务的需求，它们可以配合各种数据运用在多种场景下。 但可千万不要小看打造这样基础模型所需的工作量。你现在使用的基础模型是已经训练好的模型，你可以开箱即用，也可以根据具体场景微调。基础模型向全世界的开发者们敞开了怀抱，为他们提供了无限的机会与潜能。所以对于基础模型的使用我更喜欢“站在巨人的肩膀上”这种说法！而[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)就是你通过基础模型打造生成式 AI 应用最省时省力的伙伴。 **G：代表生成式 AI（Generative AI）** 生成式 AI 是深度学习的一个子集，是一种可以创造出新内容和想法的人工智能，比如创造出对话、故事、图像、视频、音乐等。和其他类型的 AI 一样，生成式 AI 也是基于[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型的。这里的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型指的是基于海量数据预训练的大模型，也叫基础模型。 **H：代表生成式 AI 带来的“幻觉”（Hallucination）** 生成式 AI 模型存在的一个问题就是它们有时会生成错误的内容却自信地传达给用户，这就是我们说的错觉。比如在大语言模型中，AI 给出的回答中可能会包含用户输入的信息中不涉及的内容，或者捏造了在用户输入的信息中并不存在的关联关系。如果你对这个话题比较感兴趣，Amazon Science 曾发表了一篇名叫“与凯思琳·麦基翁的三问：论对自然语言生成中模型错觉的控制（3 questions with Kathleen McKeown: Controlling model hallucinations in natural language generation）”，很棒的一篇博客，你可以扫描下方二维码了解下。  **I：代表 Amazon Inferentia 和 Amazon Trainium 芯片** 在打造生成式 AI 时，只考虑软件部分可能很容易，但是硬件部分也至关重要。无论你是从零打造一个基础模型，或者运行或定制一个基础模型，一个高性价比、高性能、以及[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)专用的基础架构都是非常重要的。亚马逊云科技在自主芯片方面投入了巨大的精力，也收获了巨大的进展，可以降低生成式 AI 的运行成本，同时提升训练效率。 Amazon Inferentia 芯片帮助开发者在运行高性能的基础模型推理服务时，每单位对比 [Amazon EC2 ](https://aws.amazon.com/cn/ec2/?trk=cndc-detail)实例可节省高达 40% 的成本。Amazon Trainium 芯片在帮助开发者加速训练模型时，对比 [Amazon EC2 ](https://aws.amazon.com/cn/ec2/?trk=cndc-detail)实例可节省高达 50% 的训练成本。 **J：代表 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Jumpstart 服务** [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Jumpstart 是一个为开发者提供各种[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)资源的平台，包括预设的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)解决方案，以及完全可定制且支持简单部署的内置算法。开发者还可在组织内部分享模型和笔记，降低建造和合作成本，同时用户数据也能在私有云（VPC）内部得到很好的加密。 **K：代表[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)核方法（Kernel Methods）** 核方法在[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和人工智能领域都是很受欢迎的技术，因为它们是非常适用于模式分析的算法，同时它们可以将转换数据处理至一个更高的维度空间，这个解释可能听起来比较不好理解。所谓核，是一个用来计算两个对象间相似性的数学函数，核方法的关键在于对于一些初看就难以区分的数据，通过相似性对这些数据进行区分或者分类反而更容易。亚马逊科学（Amazon Science）上有几篇关于核的文章很有意思，包括“通过识别注意力机制中的核结构实现参数高效的迁移学习（Empowering parameter-efficient transfer learning by recognizing the kernel structure in attention）”以及“更高效的‘核方法’——大幅缩短自然语言理解系统的训练时长（More-efficient “kernel methods” dramatically reduce training time for natural-language-understanding systems）”，感兴趣的朋友可以扫描下方二维码阅读相应文章。  **L：代表大语言模型（Large Language Models）** 图片 大语言模型其实已经存在很久了，只是最近才成为了主流技术被广泛关注。大语言模型其实也是基础模型的一种——基于海量数据预训练，可以对文本进行总结和翻译，并进行词语预测。换句话说，它们可以生成类人表达的语句。而大语言模型的闪光点在于它的语境学习能力，也就是说你只需要给这类模型提供少量（甚至是不提供）优质的例子，它们就可以学习并解决一类任务。那么将这一点放大，最大的大语言模型，就算没有精准的预训练，也能够解决所有种类的任务。 如果你对大语言模型感兴趣，可以扫描下方二维码观看我的同事和吴恩达（ Andrew Ng ）以及 DeepLearning.AI 团队共同出品的相关课程——“采用大语言模型的生成式 AI （Generative AI with Large Language Models）”。  **M：代表模型选择（Model Selection）** 在选择基础模型时需要注意以下几点要素：形式、任务、规模、准确性、易用度、许可、案例、以及外部基准。首先，你要了解这些模型处理信息的形式，如语言模型、视觉模型，以及它们的输入输出内容，这样你可以按需选择对应形式的模型。你还要根据具体场景选择模型基础数据的大小，大一点的模型更能生成开放式的回答，但也不是每个任务都要求模型越大越好。选好一个模型并开始实验后，你要从各种下游任务的角度来对这个基础模型进行评估，并根据许可和外部基准来保证你的选择是正确的。同时还要注意基础模型的语言和视觉能力之间的关系，尤其是在多形式方案中，要考虑它们对互相的影响。