10 大 LLM 安全风险避雷！码住深度防御安全架构的构建方法论！

在为企业创造价值和加速实现价值方面，围绕大语言模型 （LLM） 构建的生成式 AI 应用程序已展现出巨大的潜力。这些应用程序的具体例子包括对话式搜索、客户支持座席助手、客户支持分析、自助服务虚拟助手、聊天机器人、富媒体生成、内容审核、推动安全、高性能软件开发的代码编写助手、从多模式内容来源中获得更深入的洞察、加快企业的安全调查和采取缓解措施等等。**在开发生成式 AI 应用程序时，大量客户纷纷寻求有关如何管理安全、隐私和合规性的指导。如果能在设计和架构阶段便发现并解决 LLM 漏洞、威胁和风险，团队就能专注于尽可能地实现生成式 AI 所带来的经济价值和生产力效益**。清楚地认识风险可以提高生成式 AI 应用程序的透明度和可信度，推动实现更好的可观测性，能够更好地满足合规要求，并促使领导者做出明智的决策。 **本博文的目标是增强人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)工程师、数据科学家、解决方案架构师、安全团队和其他利益相关方的认识，让所有人能够按照共同的思维模式和框架来应用安全最佳实践，从而使人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)团队能够快速采取行动，而不必以安全换取速度**。具体而言，本文面向以前可能没有接触过安全原则的人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和数据科学家，帮助他们了解在使用 LLM 开发生成式 AI 应用程序时，所需掌握的核心安全和隐私最佳实践。我们还讨论了可能会造成人们不信任人工智能的常见安全问题 （如开放式全球应用程序安全项目 (OWASP，Open Worldwide Application Security Project) LLM 应用程序 10 大安全风险中所列） ，然后演示了在生成式 AI 进行创新时，如何利用亚马逊云科技服务来增强安全状况和信心。 这篇博文针对使用 LLM 开发生成式 AI 应用程序，提供了用于制定风险管理策略的三个指导性步骤。**我们首先深入研究在实施、部署和使用 LLM 解决方案时会引发的漏洞、威胁和风险，并提供了指导，说明如何在遵守安全准则的情况下开始创新。然后，我们将讨论对于生成式 AI，构建安全的平台何等重要。最后，我们将这些内容与示例 LLM 工作负载结合在一起，用来说明跨信任边界构建深度防御安全架构的方法。** 学完本文后，人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)工程师、数据科学家以及富有安全意识的技术专家将能够确定战略，为其生成式 AI 应用程序构建分层防御措施，并知道如何将 OWASP 10 大 LLM 安全风险与相应的控制措施对应起来，同时还可以积累基础知识，解答以下亚马逊云科技客户有关其应用程序的常见问题主题： * 在我的应用程序中使用基于 LLM 的生成式 AI 时，根据本指南，我可以很好地处理哪些常见的安全和隐私风险？ * 在亚马逊云科技上开发生成式 AI LLM 应用程序的生命周期中，可以采用哪些方法来实施安全和隐私控制措施？ * 在企业构建生成式 AI LLM 应用程序的方法中，为了管理风险并增强对使用 LLM 的生成式 AI 应用程序的信心，我可以融入哪些运营和技术最佳实践？ ### **在开发生成式 AI 的同时改善安全成果** 通过使用 LLM 的生成式 AI 进行创新时，首先要考虑安全性以增强企业弹性，在安全的平台之上构建，并将安全性与深度防御方法相结合。**安全性是亚马逊云科技与亚马逊云科技客户共同承担的责任。亚马逊云科技责任共担模式的所有原则都适用于生成式 AI 解决方案**。回顾您所学到的亚马逊云科技责任共担模式的知识，在构建 LLM 解决方案时，这些内容同样适用于基础设施、服务和数据。 #### **首先要考虑安全性以增强企业弹性** 在开发满足安全与合规性目标的生成式 AI 应用程序时，首先要考虑安全性以增强企业弹性。企业弹性借鉴并扩展了 Amazon Well-Architected Framework 中关于弹性的定义，来融入企业从中断中进行恢复的能力，并为应对中断做好准备。在评测开发采用 LLM 的生成式 AI 的总体准备情况，以及评测企业抵御任何潜在影响的弹性时，请考虑您的安全状况、治理和卓越运营措施。随着企业推动生成式 AI 和 LLM 等新兴技术的使用，您应将企业的整体弹性视为分层防御战略的基石，保护资产和业务部门免受意外后果的影响。 #### **企业弹性对于 LLM 应用程序至关重要** 尽管弹性可以为所有风险管理计划带来益处，但企业弹性对于生成式 AI 尤为重要。在 OWASP 确定的 LLM 应用程序 10 大安全风险中，其中有 5 个依赖于定义架构和运营控制措施，并需要在企业范围内强制执行这些措施来管理风险。这 5 种风险是不安全的输出处理、供应链漏洞、敏感信息泄露、过度代理和过度依赖。**首先要提升企业的弹性，与团队交流，在产品的整个开发周期中，从初始构思到研究，再到应用程序的开发、部署和使用，都要将人工智能、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和生成式 AI 的安全性视为核心业务需求和首要任务**。除了对安全性的认识之外，团队还应采取行动，考虑生成式 AI 在治理、保障和合规性验证实践等方面的事宜。 #### **围绕生成式 AI 建立企业弹性** 企业可以先采用各种方法，来增强企业内部在人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和生成式 AI 安全性方面的能力。首先，您应该扩展现有的安全、保障、合规性和开发计划，将生成式 AI 纳入其中。 **以下是企业在人工智能、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和生成式 AI 安全方面需要考虑的五个关键领域：** * 了解人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)安全格局 * 在安全战略中纳入不同的视角 * 积极采取行动，确保研发活动的安全 * 制定与企业成果相吻合的激励措施 * 准备好应对现实中的人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和生成式 AI 安全场景 #### **开发贯穿于生成式 AI 生命周期的威胁模型** 企业在构建生成式 AI 时，应高度重视风险管理，而不是风险消除，并将威胁建模和业务连续性规划纳入生成式 AI 工作负载的规划、开发和运营中。**从生成式 AI 的生产应用出发，采取逆向思维方法，使用传统安全风险以及特定于生成式 AI 的风险开发威胁模型**。企业可以接受某些风险，而威胁建模活动可以帮助公司确定可接受的风险偏好。例如，您的企业可能不会要求生成式 AI 应用程序具有 99.999% 的正常运行时间，因此，虽然使用 Amazon Backup 和 [Amazon S3 Glacier](https://aws.amazon.com/cn/s3/storage-classes/glacier/?trk=cndc-detail) 进行恢复会需要一段额外的恢复时间，但这可能是可接受的风险。与之相对的是，您模型中的数据可能高度敏感，需要受到严格监管，因此必须使用 Amazon Key Management Service （Amazon KMS） 客户自主管理型密钥 （CMK） 轮换，并且使用 Amazon Network Firewall 对入口和出口流量强制执行传输层安全性协议 （TLS） 以防数据泄露，任何偏离此实践的行为都可能是不可接受的风险。 评估在生产环境中使用生成式 AI 应用程序的风险 （固有风险与剩余风险） ，确定正确的平台和应用程序级别的控制措施。尽早规划在出现生产安全事件和服务中断 （例如提示词注入、训练数据中毒、模型拒绝服务和模型盗窃） 时的回滚和恢复，并定义根据规定的应用程序需求将使用的缓解措施。**了解需要落实的风险和控制措施，有助于定义构建生成式 AI 应用程序的最佳实施方法，并可向利益相关者和决策者提供信息，用来制定明智的风险业务决策**。如果您不熟悉整个人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)工作流，请首先查看 《7 ways to improve security of your machine learning workloads》 （[提高机器学习工作负载安全性的 7 种方法](https://aws.amazon.com/cn/blogs/security/7-ways-to-improve-security-of-your-machine-learning-workflows/?trk=cndc-detail)） ，加深对传统人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)系统所需安全控制措施的了解。 就像构建任何[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)应用程序一样，构建生成式 AI 应用程序也涉及到完成一系列研发生命周期阶段。您可能需要查看 《Amazon Generative AI Security Scoping Matrix》 （[亚马逊云科技生成式 AI 安全范围矩阵](https://aws.amazon.com/cn/blogs/security/securing-generative-ai-an-introduction-to-the-generative-ai-security-scoping-matrix/?trk=cndc-detail)） 来建立一个心理模型，以便根据您选择的生成式 AI 解决方案，确定需要考虑的关键安全准则。 使用 LLM 的生成式 AI 应用程序通常按以下步骤顺序开发和运行： * **应用程序需求** – 确定使用案例的业务目标、要求和成功标准 * **模型选择** – 选择符合使用案例要求的基础模型 * **模型调整和微调** – 准备数据、工程师提示并微调模型 * **模型评估** – 使用特定于使用案例的指标评估基础模型，并选择表现出色的模型 * **部署和集成** – 在优化的基础设施上部署选定的基础模型，并与生成式 AI 应用程序集成 * **应用程序监控** – 监控应用程序和模型性能，开展根本原因分析 **在软件开发生命周期的设计和架构阶段的第 1 天，确保团队便已了解安全的重要性。这意味着要探讨堆栈的每层上以及生命周期中的安全性，并将安全和隐私定位为实现业务目标的推动因素**。在启动 LLM 应用程序之前，针对威胁制定控制措施，并考虑您用于模型调整和微调的数据和信息，是否可以确保在研究、开发和培训环境中实施安全措施。作为质量保证测试的一部分，引入综合安全威胁方法 （例如尝试让训练数据中毒，或尝试通过恶意提示工程提取敏感数据） ，定期测试您的防御和安全状况。 此外，利益相关方应为生产人工智能、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和生成式 AI 工作负载建立规范的审查计划，并在发布前设定企业优先级，了解在人机控制与错误之间的权衡取舍。在部署的 LLM 应用程序中，验证并确保纳入了这些权衡因素，将提高成功缓解风险的机会。 #### **在安全的云平台上构建生成式 AI 应用程序** 在亚马逊云科技，安全是我们的首要任务。亚马逊云科技采用了高度安全的全球云基础设施架构，用于构建、迁移和管理应用程序及工作负载。这背后是我们超过 300 种丰富的云安全工具，以及政府、医疗保健和金融服务等高度注重安全性的数百万企业客户的信任。在亚马逊云科技上使用 LLM 构建生成式 AI 应用程序时，您可享受到安全、可靠和灵活的亚马逊云科技计算环境的安全优势。 ### **使用亚马逊云科技全球基础设施确保安全、隐私和合规性** 在亚马逊云科技上开发数据密集型应用程序时，您可以享受到亚马逊云科技全球区域基础设施带来的益处，这些基础设施采用精心设计的架构，提供能够满足您的核心安全性和合规性要求的功能。**我们的亚马逊云科技数字主权承诺进一步强化了这一点，我们承诺为所有亚马逊云科技客户提供先进的云端主权控制措施和功能。我们致力于扩展我们的能力，让您能够满足自己的数字主权需求，同时又不会影响 Amazon Cloud 的性能、创新、安全性或规模**。为了简化安全和隐私最佳实践的实施，您可以考虑使用参考设计和基础设施即代码资源，例如 Amazon Security Reference Architecture （Amazon SRA） 和 Amazon Privacy Reference Architecture （Amazon PRA） 。阅读有关设计隐私解决方案架构、从设计上保障主权和亚马逊云科技合规性的更多信息，并使用 Amazon Config、Amazon Artifact 和 Amazon Audit Manager 等服务来支持您的隐私、合规性、审计和可观测性需求。 #### **使用 Amazon Well-Architected Framework 和 Amazon Cloud Adoption Framework 了解您的安全状况** **多年来，亚马逊云科技在支持客户使用 Amazon Well-Architected Framework 设计云环境架构方面，以及进一步地使用 Amazon Cloud Adoption Framework （Amazon CAF） 通过云技术来实现商业价值方面积累了丰富的经验，基于这些经验，亚马逊云科技制定了最佳实践指南**。通过开展 Amazon Well-Architected Framework 审查，您可以了解人工智能、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和生成式 AI 工作负载的安全状况。您可以使用 Amazon Well-Architected Tool 等工具进行审查，也可以通过 Amazon Enterprise Support 在亚马逊云科技团队的帮助下进行审查。Amazon Well-Architected Tool 可以自动整合来自 Amazon Trusted Advisor 的见解，以便评估已经实施的最佳实践，以及改进功能和成本优化的机会。Amazon Well-Architected Tool 还提供带有特定最佳实践的自定义 Lens，例如[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail) Lens，供您定期根据最佳实践衡量架构并确定需要改进的领域。 阅读《Amazon Cloud Adoption Framework for Artificial Intelligence, Machine Learning, and Generative AI》（[面向人工智能、机器学习和生成式 AI 的 Amazon Cloud Adoption Framework](https://docs.aws.amazon.com/whitepapers/latest/aws-caf-for-ai/aws-caf-for-ai.html?trk=cndc-detail)） ，了解亚马逊云科技客户如何采取策略来培养企业能力，助您开启通往价值实现和迈向云成熟的旅程。 **您还可以参加亚马逊云科技云就绪性评估，发现了解整体云就绪情况的益处**。亚马逊云科技提供了额外的参与机会，请咨询您的亚马逊云科技客户团队，了解有关如何开始使用生成式 AI 创新中心的更多信息。 #### **通过最佳实践指南、培训和认证，加快学习有关安全性和人工智能与机器学习的知识** **亚马逊云科技还根据安全、身份和合规性最佳实践以及亚马逊云科技安全性文档精心编写了建议，帮助您确定保护训练、开发、测试和运营环境的方法**。如果您刚刚开始使用，请深入了解安全培训和认证，不妨考虑从 Amazon Security Fundamentals 和 Amazon Security Learning Plan （亚马逊云科技安全性学习计划） 开始。您还可以使用亚马逊云科技安全性成熟度模型，指导您根据在亚马逊云科技上不同的成熟度阶段，查找最佳活动并对其进行优先排序，从快速见效开始，然后是基础、效率和优化阶段。在您和团队对亚马逊云科技安全性有了基本的了解之后，我们强烈建议您查看如何进行威胁建模，然后从面向构建者的威胁建模研讨会培训计划开始，与您的团队一起进行威胁建模练习。您还可以使用许多其他亚马逊云科技安全性培训和认证资源。 ### **应用深度防御方法来保护 LLM 应用程序** 对生成式 AI 工作负载、数据和信息应用深度防御安全方法，可以为您实现业务目标创造出色的条件。深度防御安全最佳实践可以缓解任意工作负载面临的多种常见风险，让您和团队可以加快生成式 AI 创新的速度。深度防御安全策略使用多种冗余防御措施，保护您的亚马逊云科技账户、工作负载、数据和资产。通过这种方法可以确保，在任何一项安全控制措施受损或失败时，还有额外的保护层来帮助隔离威胁，以及预防、检测、响应安全事件并从中恢复。**在每一层中，您可结合使用多种策略，包括各种亚马逊云科技服务和解决方案，来提高生成式 AI 工作负载的安全性和灵活性。**  许多亚马逊云科技客户都遵循行业标准框架，例如 NIST Cybersecurity Framework。通过此框架，您可以确保您的保护措施对识别、保护、检测、响应、恢复以及治理 （最近添加） 等支柱提供了保护。然后，此框架可以轻松地与亚马逊云科技安全服务以及来自集成第三方的安全服务相对应，这样您就可以验证，企业在遇到的任何安全事件时，是否有足够的处理措施和策略。  #### **深度防御：保护您的环境，然后添加人工智能与机器学习特定的安全性和隐私增强功能** 深度防御策略应首先保护您的账户和企业，然后再利用 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 和 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) 等服务内置的额外安全和隐私增强功能来添加一层保护。亚马逊云科技的安全性、身份和合规性产品组合中有 30 多项服务，这些服务与亚马逊云科技人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)服务相集成，可以结合用于保护您的工作负载、账户和企业。**为了充分防御 OWASP LLM 10 大安全风险，应将这些服务与亚马逊云科技人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)服务结合使用。** 首先实施最低权限策略，使用 IAM Access Analyzer 等服务来寻找权限过于宽松的账户、角色和资源，限制使用短期凭证进行访问。接下来，确保使用 Amazon KMS 加密所有静态数据，包括考虑使用 CMK，以及对所有数据和模型使用 [Amazon Simple Storage Service](https://aws.amazon.com/cn/s3/?trk=cndc-detail) （[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail)） 版本控制功能进行版本控制和备份，并通过 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 对象锁定在对象级别应用不变性。使用 Amazon Certificate Manager 和 Amazon Private CA 保护服务之间的传输中数据，使用 Amazon PrivateLink 确保数据保留在 VPC 中。定义严格的数据入口和出口规则，并使用 VPC 和 Amazon Network Firewall 策略来防止操纵和泄露。 请考虑在前端插入 Amazon Web Application Firewall （Amazon WAF） ，用于保护 Web 应用程序和 API 免受恶意机器人攻击、SQL 注入攻击、跨站脚本攻击 （XSS） 以及利用欺诈控制手段接管账户。使用 Amazon CloudTrail、Amazon Virtual Private Cloud （[Amazon VPC](https://aws.amazon.com/cn/vpc/?trk=cndc-detail)） 流日志和 [Amazon Elastic Kubernetes Service](https://aws.amazon.com/cn/eks/?trk=cndc-detail) （[Amazon EKS](https://aws.amazon.com/cn/eks/?trk=cndc-detail)） 审计日志进行日志记录，这有助于通过 [Amazon Detective](https://aws.amazon.com/cn/detective/?trk=cndc-detail) 等服务对每个事务进行取证审核。您可以使用 [Amazon Inspector](https://aws.amazon.com/cn/inspector/?trk=cndc-detail) 来自动发现漏洞以及管理 Amazon Elastic Compute Cloud （Amazon EC2） 实例、容器、Amazon Lambda 函数和确定工作负载的网络可访问性。 使用 [Amazon GuardDuty](https://aws.amazon.com/cn/guardduty/?trk=cndc-detail) 基于[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的威胁模型和情报源，保护您的数据和模型免受可疑活动的侵害，并启用额外的功能，用于 Amazon EKS 保护、Amazon ECS 保护、[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 保护、[Amazon RDS](https://aws.amazon.com/cn/rds/?trk=cndc-detail) 保护、恶意软件保护、Amazon Lambda 保护等。**您可以使用 Amazon Security Hub 等服务来集中自动执行安全检查，从而检测偏离安全最佳实践的行为，加快调查速度，并使用行动手册自动修复安全调查发现**。您也可以考虑在亚马逊云科技上实施零信任架构，进一步加强精细身份验证和授权控制，根据各个请求，对人类用户或机器对机器进程进行核验。您还可以考虑使用 [Amazon Security Lake](https://aws.amazon.com/cn/security-lake/?trk=cndc-detail)，将来自亚马逊云科技环境、SaaS 提供商、本地和云服务来源的安全数据，自动集中到存储在您账户中的专用数据湖。使用 Amazon Security Lake，您可以更全面地了解整个企业的安全数据。 在对生成式 AI 工作负载环境实施了保护措施后，您可以分层添加特定于人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的功能，例如 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Data Wrangler （用于在数据准备过程中识别潜在的偏见） 和 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Clarify （用于检测[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)数据和模型中的偏见） 。您还可以使用 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Model Monitor 来评估生产环境中 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) [机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型的质量，并在数据质量、模型质量和特征归因出现偏离时通知您。这些亚马逊云科技人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)服务 （包括使用 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 的 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail)） 与亚马逊云科技安全服务协同工作，可以帮助您识别潜在的自然偏见来源，防止恶意数据篡改。对每个 OWASP 10 大 LLM 安全风险漏洞重复此流程，确保您充分利用了亚马逊云科技服务的价值，利用这些服务实施深度防御，保护您的数据和工作负载。 正如 Amazon Enterprise Strategist Clarke Rodgers 在他的博客文章《CISO Insight: Every Amazon Service Is A Security Service》（[首席信息安全官：每项亚马逊云科技服务都是一项安全服务](https://aws.amazon.com/cn/blogs/enterprise-strategy/ciso-insight-every-aws-service-is-a-security-service/?trk=cndc-detail)） 中所写的那样，**“我认为亚马逊云科技中的几乎所有服务，要么可以自行实现安全结果，要么可以由客户用来 （单独使用或与一项或多项服务结合使用） 实现安全、风险或合规性目标。**” 而且“客户的 Chief Information Security Officer （CISO） （或其相应的团队） 可能需要花时间确保他们熟练掌握了所有亚马逊云科技服务，因为即使服务不属于‘安全性、身份和合规性’类别，也可能存在要实现的安全性、风险或合规性目标。” #### **LLM 应用程序中信任边界处的分层防御** 在开发基于生成式 AI 的系统和应用程序时，您所要考虑的问题与任何其他[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)应用程序相同，如 MITRE ATLAS Machine Learning Threat Matrix （MITRE ATLAS [机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)威胁矩阵） 中所述，例如**注意软件和数据组件的来源 （如执行开源软件审计、审查软件物料清单 (SBOM，Software Bill Of Material) 、分析数据工作流程和 API 集成） ，以及针对 LLM 供应链威胁实施必要的保护**。融入来自行业框架的洞察，并注意方法，使用多种威胁情报和风险信息来源，用于调整和扩展安全防御措施，以应对突发的、未包含在传统框架中的人工智能、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和生成式 AI 安全风险。从工业、国防、政府、国际和学术来源寻找有关人工智能特定风险的相关信息，因为这些领域中会经常出现新威胁并不断演变，与之配套的框架和指南也经常更新。例如，在使用检索式增强生成 （RAG，Retrieval Augmented Generation） 模型时，如果模型不包含所需的数据，则可能会从外部数据来源请求这些数据，以便在推理和微调期间使用。而模型查询的数据来源可能不在您的控制范围内，可能成为供应链中潜在的危害来源。**深度防御方法应进行扩展，应用到外部来源上，确保所访问数据的可信性、身份验证、授权、访问权限、安全性、隐私和准确性**。要深入了解，请点击[这里](https://aws.amazon.com/cn/blogs/machine-learning/build-a-secure-enterprise-application-with-generative-ai-and-rag-using-amazon-sagemaker-jumpstart/?trk=cndc-detail)。 ### **分析和缓解 LLM 应用程序中的风险** 在这一部分中，我们将分析和讨论一些风险缓解技术，这些技术基于信任边界和互动，或者基于具有相似的合理控制范围和风险概况的不同工作负载领域。在这个聊天机器人应用程序的示例架构中，根据亚马逊云科技客户通常构建 LLM 应用程序的方法，展示了五个信任边界的控制措施。您的 LLM 应用程序的可定义信任边界可能会更多，也可能会更少。在以下示例架构中，这些信任边界定义为： 1. **用户界面交互 （请求和响应）** 2. **应用程序交互** 3. **模型交互** 4. **数据交互** 5. **企业交互和使用**  #### **用户界面交互：开发请求和响应监控** 通过评估策略来应对生成式 AI 应用程序输入和输出中的风险，及时检测和响应与生成式 AI 相关的网络事件。例如，LLM 应用程序中使用了敏感信息时，就需要对行为和数据流出进行额外监控，以便检测在您的域或企业之外泄露的敏感信息。 **对于保护数据，生成式 AI 应用程序仍应遵循标准的安全最佳实践。建立安全的数据边界和安全的敏感数据存储**。加密 LLM 应用程序使用的静态和传输中数据和信息。了解并控制允许哪些用户、进程和角色向数据存储提供数据，以及数据在应用程序中如何流动，监控偏差，并在 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 等存储服务中使用版本控制和不可变存储，以此来保护用于训练模型的数据，免于训练数据中毒。使用 Amazon Network Firewall 和 [Amazon VPC](https://aws.amazon.com/cn/vpc/?trk=cndc-detail) 等服务，建立严格的数据入口和出口控制，防范可疑输入和潜在的数据泄露。 在训练、再训练或微调过程中，您应注意使用的任何敏感数据。在某个流程使用了数据后，您应该做好准备，防范模型的任何用户利用提示词注入技术突然提取数据或信息的情景。了解在模型和推理中使用敏感数据的风险和收益。实施可靠的身份验证和授权机制，来建立和管理细粒度的访问权限，这些机制不依赖于 LLM 应用程序逻辑来防止泄露。在某些条件下已经证明，通过用户控制的输入，可以向生成式 AI 应用程序提供向量，以便从模型或输入的任何非用户控制部分提取信息。这可以通过提示词注入来实现，即用户提供的输入会导致模型的输出偏离 LLM 应用程序的预期防护机制，包括提供最初训练模型所用数据集的线索。 针对提供输入和接收模型输出的用户，实施用户级访问配额。**在模型使用敏感的训练数据和信息的情况下，您应该考虑不允许匿名访问的方法，或者如果存在风险，对手有可能根据他们的输入并与您的模型输出相对齐来模仿您的模型，则应考虑不允许匿名访问的方法**。通常，如果模型的部分输入由用户提供的任意文本组成，则应考虑输出容易出现提示词注入的情况，因此请确保，在使用输出时，已经实施了相应的技术和企业应对措施，减少不安全的输出处理、过度代理和过度依赖情况。在前面与使用 Amazon WAF 筛选恶意输入相关的示例中，请考虑在应用程序前面构建一个筛选器，以防此类可能滥用提示词的情况，并制定策略，说明随着模型和数据的增长，如何处理这种情况以及如何不断演进。另外还要考虑在将输出返回给用户之前，对输出进行筛选审查，确保输出符合质量、准确性或内容审核标准。您可能需要根据组织的需求进一步自定义，在模型前面添加一层对输入和输出的控制，防范可疑的流量模式。 #### **应用程序交互：应用程序安全性和可观测性** 审查您的 LLM 应用程序，注意用户可以如何利用您的模型，绕过对他们无权访问或无权使用的下游工具或工具链的标准授权。在这一层，另外需要关注的另一点涉及到使用模型作为攻击机制，利用未加防范的技术或者企业 LLM 漏洞来访问外部数据存储。例如，如果您的模型经过训练，可以访问某些可能包含敏感数据的数据存储，则应确保在模型和数据存储之间进行适当的授权检查。在执行授权检查时，对于并非来自模型中的用户，请使用用户的不可变属性。未予防范的不安全输出处理、不安全的插件设计以及过度代理，可能会为威胁行为者制造条件，用来利用模型欺骗授权系统以提升有效权限，从而导致下游组件认为用户有权检索数据或采取特定操作。 **在实施任何生成式 AI 插件或工具时，必须检查和理解所授予的访问权限级别，并仔细检查已配置的访问控制措置**。使用未加防范的不安全生成式 AI 插件，会导致您的系统容易受到供应链漏洞和威胁的影响，进而可能导致恶意操作，包括运行远程代码。 #### **模型交互：模型攻击防御** 您应该了解所使用的任何模型、插件、工具或数据的来源，以便评估和缓解供应链漏洞。例如，一些常见的模型格式允许在模型本身中嵌入任意可运行的代码。使用与企业安全目标相关的数据包镜像、扫描和其他检查手段。 **您还必须审查训练和微调模型所用的数据集**。如果您根据用户反馈 （或其他最终用户可控制的信息） 进一步自动微调模型，则必须考虑恶意威胁行为者是否可以在操纵其响应的基础上任意更改模型，并导致训练数据中毒。 #### **数据交互：监控数据质量和使用情况** 诸如 LLM 之类的生成式 AI 模型通常运行良好，因为它们已经在大量数据上进行了训练。尽管这些数据可以帮助 LLM 完成复杂的任务，但也可能使您的系统面临训练数据中毒的风险，当训练数据集中包含或省略了不当的数据时，就会发生这种情况，而这些数据可能会改变模型的行为。**为了缓解这种风险，在模型中使用数据之前，您应该查看供应链并了解系统的数据审查流程**。尽管训练管道是数据中毒的主要来源，但您仍应查看模型如何获取数据，例如在 RAG 模型或数据湖中，以及这些数据的来源是否可信和受到保护。使用 Amazon Security Hub、[Amazon GuardDuty](https://aws.amazon.com/cn/guardduty/?trk=cndc-detail) 和 [Amazon Inspector](https://aws.amazon.com/cn/inspector/?trk=cndc-detail) 等亚马逊云科技安全服务，持续监控 Amazon EC2、[Amazon EKS](https://aws.amazon.com/cn/eks/?trk=cndc-detail)、[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail)、Amazon Relational Database Service （ [Amazon RDS](https://aws.amazon.com/cn/rds/?trk=cndc-detail) ） 和网络访问中是否存在可疑活动，这些活动可能表明新出现了威胁，还可使用 Detective 来提供可视化的安全调查结果。此外，您可以考虑使用诸如 [Amazon Security Lake](https://aws.amazon.com/cn/security-lake/?trk=cndc-detail) 之类的服务，创建专用数据湖，来自动集中管理亚马逊云科技环境、SaaS 提供商、本地和云服务等各个来源中会影响人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)工作负载的安全数据，从而加快安全调查的速度。 #### **企业交互：实施企业生成式 AI 治理防护机制** 确定与企业使用生成式 AI 相关的风险。在部署生成式 AI  解决方案时，您应该建立企业风险分类方法并进行风险评测，以便做出明智的决策。制定业务连续性计划 （BCP，business continuity plan） ，在其中包含人工智能、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和生成式 AI 工作负载，并确保可以快速行动，替换受影响或者离线 LLM 应用程序丢失的功能，来满足您的 SLA。 确定流程和资源中的欠缺、效率低下和不一致之处，提高整个企业意识和负责任态度。对所有生成式 AI 工作负载进行威胁建模，识别和缓解可能导致影响业务成果的潜在安全威胁，包括未经授权访问数据、拒绝服务和资源滥用。利用新的 Amazon Threat Composer Modeling Tool，来加快通过执行威胁建模来实现价值的速度。在开发周期的后期，可以考虑引入安全混乱工程故障注入实验，营造真实的情况，了解您的系统将如何应对未知情景，并建立对系统弹性和安全性的信心。 在制定安全策略和风险管理机制时纳入多元化的视角，确保所有工作角色和职能都遵守人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和生成式 AI 的安全要求，实现全方位覆盖。**从一开始就树立安全思维，研究任意生成式 AI 应用程序，与需求相对齐。如果您需要亚马逊云科技的额外帮助，请让您的亚马逊云科技客户经理发出申请，请求亚马逊云科技安全部门和人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)团队的亚马逊云科技解决方案架构师协同提供帮助，确保获得所需的支持。** 确保安全部门定期采取行动，推动在生成式 AI 利益相关方 （例如产品经理、软件开发人员、数据科学家和执行领导层） 之间，围绕风险意识和风险管理进行沟通，从而让可能受到影响的团队能够获得威胁情报和控制指导。 对于生成式 AI 利益相方，安全部门可以通过参与讨论，以及提供与业务目标相关的新想法和信息，来培养负责任披露和迭代改进的文化。详细了解我们对负责任人工智能的承诺以及其他负责任人工智能资源，来帮助我们的客户。 通过加快企业现有安全流程中价值实现的速度，在为企业实现更好的生成式 AI 态势方面获得优势。考虑到生成式 AI 安全环境，积极评估企业在哪些方面可能存在过于繁琐的流程，并加以完善，为开发人员和科学家提供一条明确的启动路径，同时采取正确的控制措施。 **评估在哪些方面可能存在机会，可以调整激励措施、降低风险，并就预期成果提供清晰预期。更新控制措施指导和防御措施，以满足不断变化的人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和生成式 AI 应用程序开发的需求，减少混乱和不确定性，避免耗费开发时间、增加风险和加剧影响。** 确保利益相关方即便不是安全专家，也能够了解如何将企业治理、政策和风险管理步骤应用于其工作负载，而且还能够应用风险管理机制。让企业做好准备，从容应对生成式 AI 应用程序可能出现的现实事件和场景，并确保生成式 AI 构建者角色和响应团队了解上报路径和行动，以防出现任何可疑活动。 ### **总结** 要成功地利用任何新兴技术实现创新的商业价值，首先就要有安全第一的思维意识，然后在安全的基础设施平台上进行构建，并考虑如何尽早使用深度防御安全方法，在技术堆栈的各个级别上进一步融入安全性。这包括在技术堆栈多个层上的交互以及数字化供应链中的集成点，用于确保企业弹性。 **尽管生成式 AI 带来了一些新的安全性和隐私挑战，但如果您能够遵循基本的安全最佳实践，例如使用分层安全服务的深度防御措施，就可以保护企业免受许多常见问题和不断变化威胁的侵害。您应该在生成式 AI 工作负载和整个企业中实施分层亚马逊云科技安全服务，并高度重视数字供应链中的集成点，来保护您的云环境。** 然后，您可以使用 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) 和 [Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail) 等亚马逊云科技人工智能与[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)服务中增强的安全和隐私功能，为您的生成式 AI 应用程序进一步添加增强的安全和隐私控制层。从一开始就融入安全性，就能更快、更容易、更具成本效益地利用生成式 AI 进行创新，同时简化合规性。对于员工、客户、合作伙伴、监管机构和其他相关利益相关方而言，这可以提升对生成式 AI 应用程序的控制能力、信心和可观测性。