owaspcornucopia/llm-companion-game-master-guide
GitHub: owaspcornucopia/llm-companion-game-master-guide
基于 OWASP Cornucopia 卡牌游戏的 LLM 应用安全威胁建模培训指南，通过游戏化桌面推演帮助开发与测试团队学习 AI 安全风险识别与缓解。
Stars: 3 | Forks: 0
# PwnedNext - OWASP Cornucopia LLM 配套指南
通过游戏化的方式，这本 OWASP Cornucopia LLM 配套指南利用 OWASP Cornucopia 网站应用和配套版本，向开发人员和测试人员介绍与 AI 设计和开发相关的威胁、风险和需求，并教授如何缓解 AI 风险。
游戏带领参与者经历一个具有启发性的场景，他们必须通过研究不安全的 AI 实现来识别 AI 威胁。他们需要问自己：“会出什么问题？”以及“我们该怎么做？”此外，通过游戏，他们将了解在负责任地开发 AI 应用程序时，需要考虑 OWASP AI 测试指南 (AITG) 和 OWASP AI 安全验证标准 (AISVS) 中的哪些测试。
## 资源
以下资源可供使用：
- 演示文稿：[odt](/presentation.odp)、[pptx](/presentation.pptx)、[pdf](/presentation.pdf)
- 用于团队桌面推演会议的高分辨率 A1 海报：[illustrator](/A1-poster.ai)、[pdf](/A1-poster.pdf)
- 存在漏洞的应用：
- [AI 反欺诈 3.0 - Python 后端](https://github.com/owaspcornucopia/llm-companion-scenario)
- 速查表（供游戏主持人使用）：
- [AI 反欺诈 3.0 - Python 后端速查表](https://github.com/owaspcornucopia/cornucopia-cheatsheets-llm)
- 各种资源：[图片](/images)
## 说明
请参阅演示文稿中的注释，了解如何运行此桌面推演会议的说明。
允许玩家检查源代码并查看图表。有一张 A1 海报可以打印出来，帮助人们快速融入会议。
在与多个团队一起游戏时，让团队中的一个人来主导会议。
此人将担任团队的游戏主持人，并将收到速查表的链接。向此人展示速查表的[二维码](/images/cheatsheets-qr-code-link.png)。
演示文稿中有一张幻灯片包含了玩 Cornucopia 的 10 个步骤。
在会议期间，请使用投影仪投射该幻灯片。
务必要求大家写下缓解他们发现的威胁的方法。
使用便利贴并将它们贴在 A1 海报上。
如果可能的话，预留 30 分钟召集所有人开会并总结本次会议。
提出以下问题：
- 你发现任何有趣的威胁了吗？
- 你使用速查表或扫描二维码了吗？
- 你学到什么有趣的东西了吗？
- 你还会再玩一次吗？
### AI 反欺诈 3.0 场景 - 后端
游戏开始前，请移除 Cornucopia 花色，并使用 LLM 花色作为主花色。同时移除两张大小王。
## 本游戏场景涵盖的内容
由于 ISO 42001:2023 旨在确保 AI 的透明度、公平性和问责制，因此针对开发人员和测试人员的培训通常包括：
- AI 素养与概念：了解 AI 模型如何运作、其局限性以及预期应用。
- AI 风险管理：学习如何识别模型中的漏洞和偏见。
- 数据质量管理：确保训练和测试数据是安全的、无偏见的，并且符合隐私法规。
- （暂未包含）AI 伦理原则：在设计和测试阶段优先考虑人工监督、安全性和不歧视。
本培训专门针对这些需求而设计。
## ISO 42001:2023
ISO 42001 作为一个广泛的、基于风险的管理框架运作，它要求组织识别 AI 风险，并确保所有员工具备安全履行其职责所需的必要能力。
该标准没有规定死板的培训大纲，而是将学习和能力融入到其高级条款中：
- 条款 7.2（能力）：要求您的组织确定所有在其控制下工作且影响 AI 性能和安全的人员所需具备的必要能力。
- 条款 7.3（意识）：要求人员了解 AI 政策、他们对 AI 管理系统 (AIMS) 有效性的贡献，以及不符合 AIMS 要求的后果。
## 附录 A 控制
ISO 包含了涵盖 AI 生命周期的 38 个可选的风险管理控制措施。如果组织的风险评估确定不熟练的开发人员或测试人员对 AI 安全构成威胁（例如，数据中毒、引入偏见），则组织必须设计并实施适当的培训“控制”措施以缓解该特定风险。
## OWASP Cornucopia 与 ISO 42001:2023
如果您的客户需要遵守 AI 法案，或者您拥有或希望获得一份证书，以证明您拥有适当的 AI 风险管理系统，且该系统涵盖了允许您以负责任的方式开发和测试 AI 功能的控制措施，那么您需要根据 ISO 42001 标准实施相应的附录 A 控制措施。
以下控制措施适用于此方面：
- A.6.2（负责任的 AI 设计与开发）：必须对开发人员进行如何应用合乎伦理和安全的设计模式的培训。他们需要了解编码过程中的透明度、公平性和安全边界等原则。
- A.6.3（验证与确认）：必须对测试人员和 QA 工程师进行针对 AI 的特定测试方法的培训。这包括评估模型准确性、检查算法漂移、针对对抗性攻击进行测试以及进行验证。
- A.4.2（人力资源）要求组织必须确保其能够获得具备必要 AI 专业知识且充足的人力资源，以安全地开发系统。针对内部开发人员和测试人员的培训计划是满足此项控制措施的标准证据。
## 免责声明
ISO/IEC 42001 是一项外部参考标准，不包含在本仓库中，也不受本仓库许可证的保护。本仓库中对 ISO/IEC 42001、其条款或附录 A 控制措施的任何引用，仅供信息和教育目的使用。
本培训材料本身并不能使组织符合 ISO/IEC 42001 标准，且不应被视为认证、法律建议或完整的实施指南。最多，在考虑和实施本 README 中引用的某些附录 A 控制措施时，它可以作为一种小小的辅助支持。
## 许可证
本作品是 OWASP Cornucopia 的衍生作品，使用知识共享署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) 许可证。
本衍生作品也在相同的 CC BY-SA 4.0 许可证下发布。
尽管该许可证明确允许自由的商业使用，但在改编和维护此资源的过程中投入了大量的时间和精力。
如果您的组织从此材料中获取了商业价值（例如，用于内部培训、客户审计或商业服务），我们恳请您考虑通过[自愿捐款](https://owasp.org/donate/?reponame=cornucopia&title=OWASP+Cornucopia)来支持我们正在进行的工作。
## 归属说明
该想法基于 [Engineers & Exploits](https://github.com/northdpole/engineers-and-exploits-the-quest-for-security) - 一个 Cornucopia 研讨会，该研讨会采用 CC BY-SA 4.0 许可证。
原始图片 ["Building_glass_wall.jpg"](https://commons.wikimedia.org/wiki/File:Building_glass_wall.jpg) 已被改编为上图。
原始图片采用知识共享署名-相同方式共享 3.0 未移植许可证。虽然原图保留其原始许可证，但我们的改编版本采用 CC BY-SA 4.0 许可证。
通过游戏化的方式，这本 OWASP Cornucopia LLM 配套指南利用 OWASP Cornucopia 网站应用和配套版本，向开发人员和测试人员介绍与 AI 设计和开发相关的威胁、风险和需求，并教授如何缓解 AI 风险。
游戏带领参与者经历一个具有启发性的场景，他们必须通过研究不安全的 AI 实现来识别 AI 威胁。他们需要问自己：“会出什么问题？”以及“我们该怎么做？”此外，通过游戏，他们将了解在负责任地开发 AI 应用程序时，需要考虑 OWASP AI 测试指南 (AITG) 和 OWASP AI 安全验证标准 (AISVS) 中的哪些测试。
## 资源
以下资源可供使用：
- 演示文稿：[odt](/presentation.odp)、[pptx](/presentation.pptx)、[pdf](/presentation.pdf)
- 用于团队桌面推演会议的高分辨率 A1 海报：[illustrator](/A1-poster.ai)、[pdf](/A1-poster.pdf)
- 存在漏洞的应用：
- [AI 反欺诈 3.0 - Python 后端](https://github.com/owaspcornucopia/llm-companion-scenario)
- 速查表（供游戏主持人使用）：
- [AI 反欺诈 3.0 - Python 后端速查表](https://github.com/owaspcornucopia/cornucopia-cheatsheets-llm)
- 各种资源：[图片](/images)
## 说明
请参阅演示文稿中的注释，了解如何运行此桌面推演会议的说明。
允许玩家检查源代码并查看图表。有一张 A1 海报可以打印出来，帮助人们快速融入会议。
在与多个团队一起游戏时，让团队中的一个人来主导会议。
此人将担任团队的游戏主持人，并将收到速查表的链接。向此人展示速查表的[二维码](/images/cheatsheets-qr-code-link.png)。
演示文稿中有一张幻灯片包含了玩 Cornucopia 的 10 个步骤。
在会议期间，请使用投影仪投射该幻灯片。
务必要求大家写下缓解他们发现的威胁的方法。
使用便利贴并将它们贴在 A1 海报上。
如果可能的话，预留 30 分钟召集所有人开会并总结本次会议。
提出以下问题：
- 你发现任何有趣的威胁了吗？
- 你使用速查表或扫描二维码了吗？
- 你学到什么有趣的东西了吗？
- 你还会再玩一次吗？
### AI 反欺诈 3.0 场景 - 后端
游戏开始前，请移除 Cornucopia 花色，并使用 LLM 花色作为主花色。同时移除两张大小王。
## 本游戏场景涵盖的内容
由于 ISO 42001:2023 旨在确保 AI 的透明度、公平性和问责制，因此针对开发人员和测试人员的培训通常包括：
- AI 素养与概念：了解 AI 模型如何运作、其局限性以及预期应用。
- AI 风险管理：学习如何识别模型中的漏洞和偏见。
- 数据质量管理：确保训练和测试数据是安全的、无偏见的，并且符合隐私法规。
- （暂未包含）AI 伦理原则：在设计和测试阶段优先考虑人工监督、安全性和不歧视。
本培训专门针对这些需求而设计。
## ISO 42001:2023
ISO 42001 作为一个广泛的、基于风险的管理框架运作，它要求组织识别 AI 风险，并确保所有员工具备安全履行其职责所需的必要能力。
该标准没有规定死板的培训大纲，而是将学习和能力融入到其高级条款中：
- 条款 7.2（能力）：要求您的组织确定所有在其控制下工作且影响 AI 性能和安全的人员所需具备的必要能力。
- 条款 7.3（意识）：要求人员了解 AI 政策、他们对 AI 管理系统 (AIMS) 有效性的贡献，以及不符合 AIMS 要求的后果。
## 附录 A 控制
ISO 包含了涵盖 AI 生命周期的 38 个可选的风险管理控制措施。如果组织的风险评估确定不熟练的开发人员或测试人员对 AI 安全构成威胁（例如，数据中毒、引入偏见），则组织必须设计并实施适当的培训“控制”措施以缓解该特定风险。
## OWASP Cornucopia 与 ISO 42001:2023
如果您的客户需要遵守 AI 法案，或者您拥有或希望获得一份证书，以证明您拥有适当的 AI 风险管理系统，且该系统涵盖了允许您以负责任的方式开发和测试 AI 功能的控制措施，那么您需要根据 ISO 42001 标准实施相应的附录 A 控制措施。
以下控制措施适用于此方面：
- A.6.2（负责任的 AI 设计与开发）：必须对开发人员进行如何应用合乎伦理和安全的设计模式的培训。他们需要了解编码过程中的透明度、公平性和安全边界等原则。
- A.6.3（验证与确认）：必须对测试人员和 QA 工程师进行针对 AI 的特定测试方法的培训。这包括评估模型准确性、检查算法漂移、针对对抗性攻击进行测试以及进行验证。
- A.4.2（人力资源）要求组织必须确保其能够获得具备必要 AI 专业知识且充足的人力资源，以安全地开发系统。针对内部开发人员和测试人员的培训计划是满足此项控制措施的标准证据。
## 免责声明
ISO/IEC 42001 是一项外部参考标准，不包含在本仓库中，也不受本仓库许可证的保护。本仓库中对 ISO/IEC 42001、其条款或附录 A 控制措施的任何引用，仅供信息和教育目的使用。
本培训材料本身并不能使组织符合 ISO/IEC 42001 标准，且不应被视为认证、法律建议或完整的实施指南。最多，在考虑和实施本 README 中引用的某些附录 A 控制措施时，它可以作为一种小小的辅助支持。
## 许可证
本作品是 OWASP Cornucopia 的衍生作品，使用知识共享署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) 许可证。
本衍生作品也在相同的 CC BY-SA 4.0 许可证下发布。
尽管该许可证明确允许自由的商业使用，但在改编和维护此资源的过程中投入了大量的时间和精力。
如果您的组织从此材料中获取了商业价值（例如，用于内部培训、客户审计或商业服务），我们恳请您考虑通过[自愿捐款](https://owasp.org/donate/?reponame=cornucopia&title=OWASP+Cornucopia)来支持我们正在进行的工作。
## 归属说明
该想法基于 [Engineers & Exploits](https://github.com/northdpole/engineers-and-exploits-the-quest-for-security) - 一个 Cornucopia 研讨会，该研讨会采用 CC BY-SA 4.0 许可证。
原始图片 ["Building_glass_wall.jpg"](https://commons.wikimedia.org/wiki/File:Building_glass_wall.jpg) 已被改编为上图。
原始图片采用知识共享署名-相同方式共享 3.0 未移植许可证。虽然原图保留其原始许可证，但我们的改编版本采用 CC BY-SA 4.0 许可证。标签：威胁建模, 安全培训, 安全教育, 桌面游戏, 逆向工具, 防御加固