使用 Amazon Comprehend 实现生成式 AI 信任和安全

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/AIM214-Enable_generative_AI_trust_and_safety_with_Amazon_Comprehend-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 生成式 AI 正在以快速的速度改变我们周围的世界，但其巨大的潜力带来了维护信任和安全的重大责任。在本论坛中，学习如何开发和采用没有意外伤害或欺骗的 AI 解决方案。了解客户如何使用 [Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail) 构建系统，以防止恶意使用，并允许透明和监督生成式 AI。听取专家的意见，他们可以演示如何设置信任和安全护栏，并帮助您实现生成式 AI 的全部潜力，创新和加速业务价值。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> Introduction: The discussion began with an introduction to the topic of trust and security in generative AI powered by [Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail), a new advanced machine learning model that can generate novel content such as text, images, and videos. Although the capabilities of generative AI models seem limitless, ensuring that these powerful models are trustworthy and that their output is safe and appropriate remains a challenge. Speakers at the event delved into how to establish boundaries for responsibly managing generative AI. Speakers included Venki Napur, a senior product manager at Amazon Web Services for AI services, Sonal Pde, also a senior product manager at Amazon Web Services, and Ri G from Freshworks, providing a customer perspective on leveraging Comprehend for generative AI governance. The Rise of Generative AI: Venki kicked off the discussion by providing background information on the rapid growth of generative AI in the past year. He pointed out that generative AI has disrupted almost every industry and application, from content creation to customer service, and even broader fields. This hype stems from the underlying base models used to drive cutting-edge generative AI services. These base models are essentially large language models that train on trillions of data points from the internet and other sources. The vast amount of training data enables the models to deeply understand natural language, semantics, and a wide range of world knowledge. Compared to previous AI systems, the breakthrough aspect of generative AI is its conversational interface. Users can interact with the model in ordinary language without having to write prompt codes. This simplicity combined with the encoded wealth of knowledge within the model is what makes generative AI so powerful. However, Venki cautioned that abuse could occur without proper governance. The Need for Trust and Security: Venki explained that modern applications may utilize various generative base models, ranging from those provided by major suppliers to trained models customized for specialized data. Access to specialized data is where potential risks arise. For example, he mentioned financial prediction applications that might use financial data, while customer relationship management (CRM) systems could potentially leak private customer information. 数据隐私 - 防止暴露客户私有数据 - 模型能力 - 阻止模型不应回应的不安全提示 - 有毒语言 - 过滤掉有害的、歧视性的或偏见的文本 Venki指出，许多组织已经采取了被动的策略，依赖于基于规则的系统或内置的模型保护。然而，他提倡采用一种健壮的、针对生成性AI的信任和安全性量身定制的集中式解决方案。这引出了亚马逊Comprehend如何满足这些需求的问题。 亚马逊Comprehend用于生成性AI治理 Sonal上台概述了亚马逊Comprehend的自然语言处理功能如何支持生成性AI的信任和安全治理。她解释称，Comprehend提供了适用于文本分析的一整套开箱即用和可定制的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型。 Comprehend现有的服务包括实体提取、文档分类、语言检测、关键词提取和情感分析。但新的API专门针对Venki概述的生性AI的信任和安全挑战。 Sonal重点介绍了以下几个新能力： - PII检测 - 识别并红名化个人身份信息(PII) - 毒性检测 - 标记不适当的、攻击性的或有害的内容 - 提示安全性分类 - 检测提示是否具有恶意意图 Comprehend的一个关键优势是它为这些任务提供了预训练的模型，可以在实时和批量场景中工作。Sonal还注意到,这些服务可以一起使用,并根据特定应用程序的审查需求进行调整。例如,一个游戏聊天机器人可能允许一些脏话,而一个医疗保健应用程序将完全阻止它。 索纳负责监督Comprehend对PII实体的识别、文本毒性分类以及对Prompt安全的评估。她强调了这种内容审查对于创建一个安全和积极的用户体验以及降低风险的重要性。为了展示这些功能是如何工作的，索纳进行了示范。首先，她展示了一个没有使用Comprehend过滤器的生成AI应用的情况。当索纳输入一个请求个人信息的Prompt时，模型返回了一个虚假的社保号码。然而，当她打开Comprehend的PII检测过滤器并输入相同的Prompt时，模型回应了一个被红色删除线覆盖的SSN。索纳解释说，这对于那些不应该看到敏感个人信息的客户服务用户来说可能会有所帮助。 接下来，索纳输入了一个明显的有毒和不适当的Prompt。在没有审核的情况下，模型生成了同样的冒犯性响应。然而，当她打开了Comprehend的毒性过滤器后，同样的有毒Prompt被完全拦截。 最后，索纳展示了一个不安全的Prompt分类。她输入了一个要求他人联系信息的Prompt。在没有监管的情况下，模型生成了一个虚假的电话号码。然而，当高置信度阈值的Prompt安全过滤被启用后，不安全的Prompt被拦截，不会到达模型。 索纳在演示结束时强调了Comprehend的一系列API如何为生成AI的信任和安全提供端到端保护。过滤器可以组合和定制，以调整模型输入和输出的审核。 在Freshworks的案例中，Ri G分享了他们如何使用Comprehend负责任地部署生成AI。作为一家为企业提供SaaS产品的公司，Freshworks基于Freddy AI平台使用生成模型来完成诸如内容生成和电子邮件写作等常见任务。然而，Ri解释说，他们还在行业特定的客户数据上训练定制的鉴别模型。他强调了处理敏感客户数据的治理的重要性。 生成性AI具有改变行业的潜力，但需要治理来应对与之相关的信任、安全问题和滥用风险。 - [Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail)提供智能NLP服务，用于检测PII、标记有毒语言并对提示进行安全性分类，从而降低生成性AI的风险。 - [Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail)的API可以通过实时、批量、链式和自定义方式使用，以满足各种应用程序的审查需求。 - 一个演示展示了[Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail)如何有效地过滤不合适的数据，阻止有毒提示，并从生成性模型中剔除不安全的回应。 - Freshworks分享了它们如何依赖[Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail)进行数据治理，阻止不安全的提示，以及调节模型回应的过程。 - 总的来说，[Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail)为组织提供了一个实施负责任和合乎道德的生成性AI系统的强大解决方案。 视频为我们提供了关于负责任地使用AI领域的见解，以及随着这些技术的普及，像[Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail)这样的工具对于生成性AI的信任和安全至关重要。 **下面是一些演讲现场的精彩瞬间：** 生成性人工智能有潜力颠覆各行各业，然而技术领导者们在实现模型安全性和可靠性方面仍然面临挑战。  在讨论AI的关键问题时，领导者们强调要确保模型不会利用个人身份信息（PII）进行微调，同时也不会生成包含PII的回复。  成立于2010年的Freshworks，总部位于印度钦奈，致力于打造易用且价格合理的软件，以颠覆各个行业。  副驾驶系统通过运用上下文相关的AI技术来分析案例历史并给出个性化的回应，以此提升用户体验。  领导者们讲述了一个大公司将代码库提供给大型AI模型后发生代码泄露的案例，强调了实施AI治理的重要性。  此外，Comprehend技术还能够分析整个故事情节并将多个句子联系起来以判断敏感程度，这使得数据隐私保护达到了一个新的水平。  ## 总结 亚马逊的Compresent生成型AI信任和安全新API确保了数据隐私、内容安全和用户提示的安全性。尽管大型语言模型等生成型AI模型具有强大的功能，但也存在访问个人隐私数据的潜在风险。 通过使用Comprehend的预训练API，可以实现对PII（个人可识别信息）的检测、毒性检测以及用户提示的安全性分类。PII检测可以从文本中找出个人信息，而毒性检测则标记不适宜或有害的内容。此外，提示安全性分类还可以判断输入的提示是安全还是不安全。 这些API可以通过LambdaChain与其他服务连接在一起。在Comprehend中，中介链可以将所需的内容中介应用于模型的输入和输出。这样可以检查序列中的PII、毒性和提示安全性。通过自定义配置，可以根据需要进行中介的控制。 在Freshworks的培训模型过程中，他们使用Comprehend进行数据管理。在数据进入他们的数据湖进行培训之前，Comprehend会删除其中的PII。至于推理过程，他们的Freshforce Guardian会使用启发式方法、向量板和Comprehend来防止恶意提示和响应。Comprehend还会分析提示以检测隐含的恶意意图。 总的来说，Comprehend凭借其强大的自然语言处理能力，为生成型AI的信任和安全保驾护航。诸如PII检测、毒性检测和提示安全性分类等功能，有助于保护数据隐私、过滤不合适的内容并识别不安全的用户提示。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")