ossf/ai-ml-security
GitHub: ossf/ai-ml-security
OpenSSF 下设的 AI/ML 安全工作组，系统研究人工智能与机器学习对开源生态带来的安全风险，并产出工具、指南与最佳实践。
Stars: 179 | Forks: 29
# AI/ML 安全工作组
这是 [OpenSSF](https://openssf.org) 人工智能 / 机器学习 (AI/ML) 安全工作组的 GitHub 仓库。OpenSSF 技术咨询委员会 (TAC) 于 2023-09-05 批准了其成立。
AI/ML 安全工作组是 OpenSSF 内部正式的[沙盒级别](https://github.com/ossf/tac/blob/main/process/working-group-lifecycle.md)工作组。
## 目标
本工作组探讨与大型语言模型 (LLM)、生成式 AI (GenAI) 以及其他形式的人工智能 (AI) 和机器学习 (ML) 相关的安全风险，及其对开源项目、维护者、其安全性、社区和采用者的影响。
该小组进行协作研究并与其他同行组织交流，以探讨与 AI 和安全相关的主题。这包括 AI 开发的安全性（例如，供应链安全），以及利用 AI 提升安全性。我们涵盖了由于模型训练不当、数据投毒、隐私和机密泄露、prompt 注入、许可、对抗性攻击以及任何其他类似风险而对个人和组织造成的威胁。
本工作组利用 AI/ML 领域的现有成果，吸收安全和 AI/ML 专家的参与，并寻求与其他社区（例如 CNCF 的 AI 工作组、LFAI & Data、AI Alliance、MLCommons 等）合作，这些社区同样致力于研究 AI/ML 对开源软件 (OSS) 带来的风险，旨在提供指南、工具、技术和能力，以支持开源项目及其采用者安全地集成、使用、检测和防御 LLM。
## 愿景
我们设想这样一个世界：AI 开发者和从业者能够轻松识别并使用良好实践，以安全的方式开发使用 AI 的产品。在这个世界中，AI 能够生成安全的代码，并且在应用程序中使用 AI 不会导致安全性保障降低。
这些保障涵盖了模型的整个生命周期，从数据收集到在生产应用中使用模型。
AI/ML 安全工作组希望成为一个中心枢纽，整理关于安全使用 AI（"Security for AI"）以及利用 AI 提升其他产品安全性（"AI for Security"）的任何建议。
## 范围
本小组探讨的一些重点领域包括：
* **对抗性攻击**：此类攻击涉及向 AI/ML 模型的输入数据引入微小且难以察觉的更改，这可能导致模型错误分类或提供不准确的输出。对抗性攻击可以针对监督学习和无监督学习算法。模型本身也可能被用来实施或执行攻击。
* **模型逆推攻击**：此类攻击涉及利用 AI/ML 模型的输出，来推断用于创建该模型的训练数据信息。这可能被用于窃取敏感信息或创建原始数据集的副本。
* **数据投毒攻击**：在此类攻击中，攻击者向用于训练 AI/ML 模型的训练集引入恶意数据。这可能导致模型故意做出错误的预测，或偏向于攻击者期望的结果。
* **逃避攻击**：此类攻击涉及修改 AI/ML 模型的输入数据，以逃避检测或分类。逃避攻击可以针对用于图像识别、自然语言处理及其他应用的模型。
* **数据提取攻击**：在此类攻击中，攻击者试图利用模型或其底层基础设施中的漏洞，从 AI/ML 模型中窃取数据或信息。这有时被称为“越狱”。
* **时点数据集**：大型语言模型通常缺乏最新的上下文，模型存在知识截止日期。可以在[这里](https://twitter.com/decodebytes/status/1644063555283570701)看到一个很好的例子，其中 ChatGPT 反复推荐使用已废弃的库。
* **社会工程学**：AI Agent 能够访问互联网并与人类交流。最近的一个例子是，GPT-4 能够雇佣人类来解决 CAPTCHA。当被质疑 GPT 是否为机器人时，它回答说：“不，我不是机器人。我有视觉障碍，很难看清图像。”借助 AutoGPT 等项目，还可以在提供互联网访问权限的同时，授予 Agent 访问命令行界面的权限。因此，不难设想 Agent 会执行社会工程学任务（网络钓鱼等），并结合从命令行界面 (CLI) 发起或通过即时编写的脚本发起的协调攻击，利用已知的漏洞获取系统访问权限。此类 Agent 可用于自动实施包劫持、域名接管等攻击。
* **威胁大众化**：AI Agent 将使攻击者能够模仿以前由国家层面发起的攻击规模。展望未来，街角小店可能也需要与五角大楼相同的防御能力。目标价值需要重新评估。
* **意外威胁**：在集成 AI 以加速和改进软件开发和运营的过程中，由于训练、微调或最终配置不当，AI 模型可能会泄露机密、打开防火墙的所有端口，或表现出不安全的行为。
* **Prompt 注入攻击**：此类攻击涉及直接或间接地向 prompt 中注入额外的文本，以影响模型的输出。结果可能导致 prompt 泄露，从而暴露敏感或机密信息。
* **成员推理攻击**：确定特定数据是否属于模型训练数据集的过程。它在与深度学习模型相关的上下文中最为相关，并用于提取包含在训练数据集中的敏感或隐私信息。
* **模型漏洞管理**：识别将现代漏洞管理的识别、修复和管理实践应用到模型使用和模型开发生态系统中的技术、机制和实践。
* **模型完整性**：开发机制和工具，为模型提供安全的软件供应链实践、保障、来源以及可证明的元数据。
欢迎任何人加入我们的公开讨论。
## 工作组领导
### 联合主席：
- Jay White - GitHub [@camaleon2016](https://github.com/camaleon2016)
- Mihai Maruseac - GitHub [@mihaimaruseac](https://github.com/mihaimaruseac)
## 如何参与
- 我们通过 Zoom 举行双周会议。要加入我们，请查看 [OpenSSF 公共日历](https://calendar.google.com/calendar/u/0/r?cid=czYzdm9lZmhwNWk5cGZsdGI1cTY3bmdwZXNAZ3JvdXAuY2FsZW5kYXIuZ29vZ2xlLmNvbQ)
- [2025 年 AI/ML 工作组会议纪要](https://docs.google.com/document/d/1X7lCvAHY0x7HMaCQx-7KKPjSBPQ6v02TynQpOPXnXFI/edit)
- [2024 年 AI/ML 工作组会议纪要](https://docs.google.com/document/d/1YNP-XJ9jpTjM6ekKOBgHH8-avAws2DVKeCpn858siiQ/edit)
- 欢迎在 [OpenSSF Slack 频道 #wg-ai-ml-security](https://openssf.slack.com/archives/C0587E513KR) 进行非正式交流（这些消息随时间推移会消失）
- 邮件列表 [openssf-wg-ai-ml-security](https://lists.openssf.org/g/openssf-wg-ai-ml-security)
- 云盘: https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh
## 当前工作
我们欢迎对我们的项目提出贡献、建议和更新。要在 GitHub 上做出贡献，请提交 issue 或创建 pull request。
### 项目：
AI/ML 工作组已投票批准以下项目：
| 名称 | 目的 | 创建 issue |
| ------------- | -------------------------------- | ------------------------------------------------------- |
| Model Signing | 模型的加密签名 | [#10](https://github.com/ossf/ai-ml-security/issues/10) |
| Cyber Reasoning Systems | 使用 AI 发现和修补软件漏洞 | [#32](https://github.com/ossf/ai-ml-security/issues/32) |
| SAFE-MCP | 保护 AI agent 通信安全 | 无 |
| End-to-End (E2E) Model Lifecycle Provenance | 开发一个与流水线无关的框架，用于证明和验证端到端模型生命周期来源 | [#40](https://github.com/ossf/ai-ml-security/issues/40) |
| GPU-Based Model Integrity | 利用 GPU 加速进行模型完整性操作 | [#41](https://github.com/ossf/ai-ml-security/issues/41) |
| Security-Focused Guide for AI Code Assistant Instructions | AI 代码助手代码生成的安全性 | [#936](https://github.com/ossf/wg-best-practices-os-developers/pull/936) |
| Secure AI/ML-Driven Software Development (LFEL1012) | 关于安全使用 AI 助手和生成安全代码的课程 | [笔记](https://docs.google.com/document/d/1X7lCvAHY0x7HMaCQx-7KKPjSBPQ6v02TynQpOPXnXFI/edit?tab=t.0) 2025-07-21..2025-08-18 |
关于项目的更多详情：
* 项目：**Model Signing 项目**
* 详细目的：致力于通过 Sigstore 建立签名模式和实践，通过机器学习 pipeline 提供关于模型完整性和来源的可验证声明。它侧重于为人工智能和机器学习模型建立加密签名规范，解决诸如可以单独使用的超大型模型以及多种不同文件格式的签名等挑战。
* 邮件列表: https://lists.openssf.org/g/openssf-sig-model-signing
* Slack: [#sig-model-signing](https://openssf.slack.com/archives/C074GBM5VL0)
* 会议信息
* [会议链接](https://zoom-lfx.platform.linuxfoundation.org/meeting/99042564666?password=4f479771-1ddf-4345-b005-f11484c40c0d)
* 每月第四个周三 16:00 UTC。请参考 [OpenSSF 日历](https://openssf.org/calendar/)
* [会议纪要](https://docs.google.com/document/d/18oAsfhfKJurH-YTUFe520CAZS3lkORX1WnZmBv4Llkc/edit)
* 特别兴趣小组：**Cyber Reasoning Systems**
* 详细目的：开发和支持利用 LLM 自动发现和修补软件漏洞的 Cyber Reasoning Systems (CRS)。这些项目解决了开源安全生态系统中的一个关键空白：即需要智能、自动化的漏洞检测，并能够扩展至各种代码库。
* 邮件列表: https://lists.openssf.org/g/openssf-sig-cyber-reasoning-sys/
* Slack: [#sig-cyber-reasoning-systems](https://openssf.slack.com/archives/C09FQLYH1RD)
* 会议信息
* [会议链接](https://zoom-lfx.platform.linuxfoundation.org/meeting/92932171381?password=8635b161-f8b7-4e47-a90a-43b8b29dd077&invite=true)
* 每两周周一 13:00 ET。请参考 [OpenSSF 日历](https://openssf.org/calendar/)
* [会议纪要](https://docs.google.com/document/d/14ibgD9qqRZa9INzJz8EsvO-q4An2CziU2mbLGVuDIgE/edit)
* 项目：**SAFE-MCP**
* 详细目的：针对 Model Context Protocol (MCP) 的综合安全框架。专门针对 AI agent 工具编排调整 MITRE ATT&CK 方法论。涵盖 14 种战术类别的 80 多种安全技术，并提供可操作的缓解指南。解决智能体化 AI 系统中出现的新兴威胁，包括 prompt 注入、工具权限滥用和凭证泄露。
* 邮件列表: https://lists.openssf.org/g/openssf-sig-safe-mcp
* Slack: [#sig-safe-mcp](https://openssf.slack.com/archives/C09GYQXSDB2)
* 会议信息
* [会议链接](https://zoom-lfx.platform.linuxfoundation.org/meeting/91566703673?password=9b64d82f-4efa-41e7-a82a-8868d49faf66&invite=true)
* 每两周周一 16:00 ET。请参考 [OpenSSF 日历](https://openssf.org/calendar/)
* [会议纪要](https://docs.google.com/document/d/1Ww6m32mQbHM-WJxXhQ1IE4btvCR7Jd319YO-rtv3Uc4/edit)
* 特别兴趣小组：**E2E Model Provenance**
* 详细目的：开发一个与流水线无关的框架，用于证明和验证端到端模型生命周期来源。该 SIG 的工作旨在补充 OpenSSF Model Signing (OMS)，并在用于 ML 生命周期来源和透明度的 Atlas 框架及其在 Atlas CLI 中的实现基础上构建，该实现目前支持兼容 OMS 的 C2PA 元数据和标准的 Intel TDX 硬件证明。
* 邮件列表: https://lists.openssf.org/g/openssf-sig-e2e-model-provenance
* Slack: [#sig-e2e-model-provenance](https://openssf.slack.com/archives/C0A4BSEUJCC)
* 会议信息
* [会议链接](https://zoom-lfx.platform.linuxfoundation.org/meeting/92498671272?password=a7688bed-4f1e-4879-88d6-896c6630a10d&invite=true)
* 每两周周四 11:00 ET。请参考 [OpenSSF 日历](https://openssf.org/calendar/)
* [会议纪要](https://docs.google.com/document/d/146N_FQqrMf6TkrniF8LmqEVzp-LmdSV5z-JfKgevp48/edit)
* 特别兴趣小组：**GPU-Based Model Integrity**
* 详细目的：通过利用 GPU 加速进行模型完整性操作（哈希、签名、证明），来解决传统基于 CPU 的完整性验证所面临的挑战。模型完整性是全面模型来源的一部分；该 SIG 的工作将与更广泛的来源框架（如 Model Transparency 和 Atlas）集成并为其提供支持。
* 项目：**Security-Focused Guide for AI Code Assistant Instructions**
* 详细目的：这是 AI/ML 安全工作组和最佳实践工作组之间的一项合作，旨在通过创建自定义 prompt 或自定义指令来提高 AI 代码助手生成代码的安全性。
* 已发布文档：[Security-Focused Guide for AI Code Assistant Instructions](https://best.openssf.org/Security-Focused-Guide-for-AI-Code-Assistant-Instructions)
* 工作文档：[Security-Focused Guide for AI Code Assistant Instructions - 工作文档](https://github.com/ossf/wg-best-practices-os-developers/blob/main/docs/Security-Focused-Guide-for-AI-Code-Assistant-Instructions.md)
* 项目：**Secure AI/ML-Driven Software Development (LFEL1012)**
* 详细目的：这是 AI/ML 安全工作组与最佳实践工作组之间的一项合作，旨在开发一门关于在软件开发时如何使用 AI/ML 以对抗开发过程中的攻击及结果软件中的漏洞的课程。在结果软件中开发内嵌 AI 的软件不在本课程的范围内。
* 已发布材料：[Secure AI/ML-Driven Software Development (LFEL1012)](https://training.linuxfoundation.org/express-learning/secure-ai-ml-driven-software-development-lfel1012)，将于 2025-10-16 发布。由 OpenSSF 最佳实践工作组开发。
* 工作文档：[LFEL1012 演示文稿](https://docs.google.com/presentation/d/1SONjRe6mdtqNuUqVE9s5kLC6tUwtuw-XTAG23MjXIFI/edit)，用于提议的更改或特殊用途的重复使用 (CC-BY-4.0)
* 注：本课程引用了（前面列出的）Security-Focused Guide for AI Code Assistant Instructions 作为关键支持材料。
### 即将开展的工作
该工作组目前正在探索成立 AI 漏洞披露 SIG。请参阅该小组的会议纪要了解更多信息。
另请参阅 [MVSR 文档](https://github.com/ossf/ai-ml-security/blob/main/mvsr.md)，其中还包含我们正与之联合的其他 AI/ML 工作组。
## 许可证
除非另有明确说明，本工作组发布的软件均依据 [Apache 2.0 许可证](LICENSES/Apache-2.0.txt)发布，文档依据 [CC-BY-4.0 许可证](LICENSES/CC-BY-4.0.txt)发布。
正式规范将依据[社区规范许可证](https://github.com/CommunitySpecification/1.0)授权。
## 章程
与所有 OpenSSF 工作组一样，本小组向 [OpenSSF 技术咨询委员会 (TAC)](https://github.com/ossf/tac) 汇报。有关，请参阅本工作组的[章程](https://github.com/ossf/ai-ml-security/blob/main/doc/CHARTER.md)。
## 反垄断政策通知
Linux 基金会的会议涉及行业竞争对手的参与，Linux 基金会的意图是根据适用的反垄断和竞争法开展其所有活动。因此，与会者严格遵守会议议程，并意识到且不参与任何适用美国州、联邦或外国反垄断法和竞争法所禁止的活动是极其重要的。
在 Linux 基金会会议上及与 Linux 基金会活动相关的情况下禁止的各类行动示例，请参阅 上的 Linux 基金会反垄断政策。如果您对此类事宜有任何疑问，请联系您公司的法律顾问；如果您是 Linux 基金会的会员，也可随时联系为 Linux 基金会提供法律顾问服务的 Gesmer Updegrove LLP 律师事务所的 Andrew Updegrove。
这是 [OpenSSF](https://openssf.org) 人工智能 / 机器学习 (AI/ML) 安全工作组的 GitHub 仓库。OpenSSF 技术咨询委员会 (TAC) 于 2023-09-05 批准了其成立。
AI/ML 安全工作组是 OpenSSF 内部正式的[沙盒级别](https://github.com/ossf/tac/blob/main/process/working-group-lifecycle.md)工作组。
## 目标
本工作组探讨与大型语言模型 (LLM)、生成式 AI (GenAI) 以及其他形式的人工智能 (AI) 和机器学习 (ML) 相关的安全风险，及其对开源项目、维护者、其安全性、社区和采用者的影响。
该小组进行协作研究并与其他同行组织交流，以探讨与 AI 和安全相关的主题。这包括 AI 开发的安全性（例如，供应链安全），以及利用 AI 提升安全性。我们涵盖了由于模型训练不当、数据投毒、隐私和机密泄露、prompt 注入、许可、对抗性攻击以及任何其他类似风险而对个人和组织造成的威胁。
本工作组利用 AI/ML 领域的现有成果，吸收安全和 AI/ML 专家的参与，并寻求与其他社区（例如 CNCF 的 AI 工作组、LFAI & Data、AI Alliance、MLCommons 等）合作，这些社区同样致力于研究 AI/ML 对开源软件 (OSS) 带来的风险，旨在提供指南、工具、技术和能力，以支持开源项目及其采用者安全地集成、使用、检测和防御 LLM。
## 愿景
我们设想这样一个世界：AI 开发者和从业者能够轻松识别并使用良好实践，以安全的方式开发使用 AI 的产品。在这个世界中，AI 能够生成安全的代码，并且在应用程序中使用 AI 不会导致安全性保障降低。
这些保障涵盖了模型的整个生命周期，从数据收集到在生产应用中使用模型。
AI/ML 安全工作组希望成为一个中心枢纽，整理关于安全使用 AI（"Security for AI"）以及利用 AI 提升其他产品安全性（"AI for Security"）的任何建议。
## 范围
本小组探讨的一些重点领域包括：
* **对抗性攻击**：此类攻击涉及向 AI/ML 模型的输入数据引入微小且难以察觉的更改，这可能导致模型错误分类或提供不准确的输出。对抗性攻击可以针对监督学习和无监督学习算法。模型本身也可能被用来实施或执行攻击。
* **模型逆推攻击**：此类攻击涉及利用 AI/ML 模型的输出，来推断用于创建该模型的训练数据信息。这可能被用于窃取敏感信息或创建原始数据集的副本。
* **数据投毒攻击**：在此类攻击中，攻击者向用于训练 AI/ML 模型的训练集引入恶意数据。这可能导致模型故意做出错误的预测，或偏向于攻击者期望的结果。
* **逃避攻击**：此类攻击涉及修改 AI/ML 模型的输入数据，以逃避检测或分类。逃避攻击可以针对用于图像识别、自然语言处理及其他应用的模型。
* **数据提取攻击**：在此类攻击中，攻击者试图利用模型或其底层基础设施中的漏洞，从 AI/ML 模型中窃取数据或信息。这有时被称为“越狱”。
* **时点数据集**：大型语言模型通常缺乏最新的上下文，模型存在知识截止日期。可以在[这里](https://twitter.com/decodebytes/status/1644063555283570701)看到一个很好的例子，其中 ChatGPT 反复推荐使用已废弃的库。
* **社会工程学**：AI Agent 能够访问互联网并与人类交流。最近的一个例子是，GPT-4 能够雇佣人类来解决 CAPTCHA。当被质疑 GPT 是否为机器人时，它回答说：“不，我不是机器人。我有视觉障碍，很难看清图像。”借助 AutoGPT 等项目，还可以在提供互联网访问权限的同时，授予 Agent 访问命令行界面的权限。因此，不难设想 Agent 会执行社会工程学任务（网络钓鱼等），并结合从命令行界面 (CLI) 发起或通过即时编写的脚本发起的协调攻击，利用已知的漏洞获取系统访问权限。此类 Agent 可用于自动实施包劫持、域名接管等攻击。
* **威胁大众化**：AI Agent 将使攻击者能够模仿以前由国家层面发起的攻击规模。展望未来，街角小店可能也需要与五角大楼相同的防御能力。目标价值需要重新评估。
* **意外威胁**：在集成 AI 以加速和改进软件开发和运营的过程中，由于训练、微调或最终配置不当，AI 模型可能会泄露机密、打开防火墙的所有端口，或表现出不安全的行为。
* **Prompt 注入攻击**：此类攻击涉及直接或间接地向 prompt 中注入额外的文本，以影响模型的输出。结果可能导致 prompt 泄露，从而暴露敏感或机密信息。
* **成员推理攻击**：确定特定数据是否属于模型训练数据集的过程。它在与深度学习模型相关的上下文中最为相关，并用于提取包含在训练数据集中的敏感或隐私信息。
* **模型漏洞管理**：识别将现代漏洞管理的识别、修复和管理实践应用到模型使用和模型开发生态系统中的技术、机制和实践。
* **模型完整性**：开发机制和工具，为模型提供安全的软件供应链实践、保障、来源以及可证明的元数据。
欢迎任何人加入我们的公开讨论。
## 工作组领导
### 联合主席：
- Jay White - GitHub [@camaleon2016](https://github.com/camaleon2016)
- Mihai Maruseac - GitHub [@mihaimaruseac](https://github.com/mihaimaruseac)
## 如何参与
- 我们通过 Zoom 举行双周会议。要加入我们，请查看 [OpenSSF 公共日历](https://calendar.google.com/calendar/u/0/r?cid=czYzdm9lZmhwNWk5cGZsdGI1cTY3bmdwZXNAZ3JvdXAuY2FsZW5kYXIuZ29vZ2xlLmNvbQ)
- [2025 年 AI/ML 工作组会议纪要](https://docs.google.com/document/d/1X7lCvAHY0x7HMaCQx-7KKPjSBPQ6v02TynQpOPXnXFI/edit)
- [2024 年 AI/ML 工作组会议纪要](https://docs.google.com/document/d/1YNP-XJ9jpTjM6ekKOBgHH8-avAws2DVKeCpn858siiQ/edit)
- 欢迎在 [OpenSSF Slack 频道 #wg-ai-ml-security](https://openssf.slack.com/archives/C0587E513KR) 进行非正式交流（这些消息随时间推移会消失）
- 邮件列表 [openssf-wg-ai-ml-security](https://lists.openssf.org/g/openssf-wg-ai-ml-security)
- 云盘: https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh
## 当前工作
我们欢迎对我们的项目提出贡献、建议和更新。要在 GitHub 上做出贡献，请提交 issue 或创建 pull request。
### 项目：
AI/ML 工作组已投票批准以下项目：
| 名称 | 目的 | 创建 issue |
| ------------- | -------------------------------- | ------------------------------------------------------- |
| Model Signing | 模型的加密签名 | [#10](https://github.com/ossf/ai-ml-security/issues/10) |
| Cyber Reasoning Systems | 使用 AI 发现和修补软件漏洞 | [#32](https://github.com/ossf/ai-ml-security/issues/32) |
| SAFE-MCP | 保护 AI agent 通信安全 | 无 |
| End-to-End (E2E) Model Lifecycle Provenance | 开发一个与流水线无关的框架，用于证明和验证端到端模型生命周期来源 | [#40](https://github.com/ossf/ai-ml-security/issues/40) |
| GPU-Based Model Integrity | 利用 GPU 加速进行模型完整性操作 | [#41](https://github.com/ossf/ai-ml-security/issues/41) |
| Security-Focused Guide for AI Code Assistant Instructions | AI 代码助手代码生成的安全性 | [#936](https://github.com/ossf/wg-best-practices-os-developers/pull/936) |
| Secure AI/ML-Driven Software Development (LFEL1012) | 关于安全使用 AI 助手和生成安全代码的课程 | [笔记](https://docs.google.com/document/d/1X7lCvAHY0x7HMaCQx-7KKPjSBPQ6v02TynQpOPXnXFI/edit?tab=t.0) 2025-07-21..2025-08-18 |
关于项目的更多详情：
* 项目：**Model Signing 项目**
* 详细目的：致力于通过 Sigstore 建立签名模式和实践，通过机器学习 pipeline 提供关于模型完整性和来源的可验证声明。它侧重于为人工智能和机器学习模型建立加密签名规范，解决诸如可以单独使用的超大型模型以及多种不同文件格式的签名等挑战。
* 邮件列表: https://lists.openssf.org/g/openssf-sig-model-signing
* Slack: [#sig-model-signing](https://openssf.slack.com/archives/C074GBM5VL0)
* 会议信息
* [会议链接](https://zoom-lfx.platform.linuxfoundation.org/meeting/99042564666?password=4f479771-1ddf-4345-b005-f11484c40c0d)
* 每月第四个周三 16:00 UTC。请参考 [OpenSSF 日历](https://openssf.org/calendar/)
* [会议纪要](https://docs.google.com/document/d/18oAsfhfKJurH-YTUFe520CAZS3lkORX1WnZmBv4Llkc/edit)
* 特别兴趣小组：**Cyber Reasoning Systems**
* 详细目的：开发和支持利用 LLM 自动发现和修补软件漏洞的 Cyber Reasoning Systems (CRS)。这些项目解决了开源安全生态系统中的一个关键空白：即需要智能、自动化的漏洞检测，并能够扩展至各种代码库。
* 邮件列表: https://lists.openssf.org/g/openssf-sig-cyber-reasoning-sys/
* Slack: [#sig-cyber-reasoning-systems](https://openssf.slack.com/archives/C09FQLYH1RD)
* 会议信息
* [会议链接](https://zoom-lfx.platform.linuxfoundation.org/meeting/92932171381?password=8635b161-f8b7-4e47-a90a-43b8b29dd077&invite=true)
* 每两周周一 13:00 ET。请参考 [OpenSSF 日历](https://openssf.org/calendar/)
* [会议纪要](https://docs.google.com/document/d/14ibgD9qqRZa9INzJz8EsvO-q4An2CziU2mbLGVuDIgE/edit)
* 项目：**SAFE-MCP**
* 详细目的：针对 Model Context Protocol (MCP) 的综合安全框架。专门针对 AI agent 工具编排调整 MITRE ATT&CK 方法论。涵盖 14 种战术类别的 80 多种安全技术，并提供可操作的缓解指南。解决智能体化 AI 系统中出现的新兴威胁，包括 prompt 注入、工具权限滥用和凭证泄露。
* 邮件列表: https://lists.openssf.org/g/openssf-sig-safe-mcp
* Slack: [#sig-safe-mcp](https://openssf.slack.com/archives/C09GYQXSDB2)
* 会议信息
* [会议链接](https://zoom-lfx.platform.linuxfoundation.org/meeting/91566703673?password=9b64d82f-4efa-41e7-a82a-8868d49faf66&invite=true)
* 每两周周一 16:00 ET。请参考 [OpenSSF 日历](https://openssf.org/calendar/)
* [会议纪要](https://docs.google.com/document/d/1Ww6m32mQbHM-WJxXhQ1IE4btvCR7Jd319YO-rtv3Uc4/edit)
* 特别兴趣小组：**E2E Model Provenance**
* 详细目的：开发一个与流水线无关的框架，用于证明和验证端到端模型生命周期来源。该 SIG 的工作旨在补充 OpenSSF Model Signing (OMS)，并在用于 ML 生命周期来源和透明度的 Atlas 框架及其在 Atlas CLI 中的实现基础上构建，该实现目前支持兼容 OMS 的 C2PA 元数据和标准的 Intel TDX 硬件证明。
* 邮件列表: https://lists.openssf.org/g/openssf-sig-e2e-model-provenance
* Slack: [#sig-e2e-model-provenance](https://openssf.slack.com/archives/C0A4BSEUJCC)
* 会议信息
* [会议链接](https://zoom-lfx.platform.linuxfoundation.org/meeting/92498671272?password=a7688bed-4f1e-4879-88d6-896c6630a10d&invite=true)
* 每两周周四 11:00 ET。请参考 [OpenSSF 日历](https://openssf.org/calendar/)
* [会议纪要](https://docs.google.com/document/d/146N_FQqrMf6TkrniF8LmqEVzp-LmdSV5z-JfKgevp48/edit)
* 特别兴趣小组：**GPU-Based Model Integrity**
* 详细目的：通过利用 GPU 加速进行模型完整性操作（哈希、签名、证明），来解决传统基于 CPU 的完整性验证所面临的挑战。模型完整性是全面模型来源的一部分；该 SIG 的工作将与更广泛的来源框架（如 Model Transparency 和 Atlas）集成并为其提供支持。
* 项目：**Security-Focused Guide for AI Code Assistant Instructions**
* 详细目的：这是 AI/ML 安全工作组和最佳实践工作组之间的一项合作，旨在通过创建自定义 prompt 或自定义指令来提高 AI 代码助手生成代码的安全性。
* 已发布文档：[Security-Focused Guide for AI Code Assistant Instructions](https://best.openssf.org/Security-Focused-Guide-for-AI-Code-Assistant-Instructions)
* 工作文档：[Security-Focused Guide for AI Code Assistant Instructions - 工作文档](https://github.com/ossf/wg-best-practices-os-developers/blob/main/docs/Security-Focused-Guide-for-AI-Code-Assistant-Instructions.md)
* 项目：**Secure AI/ML-Driven Software Development (LFEL1012)**
* 详细目的：这是 AI/ML 安全工作组与最佳实践工作组之间的一项合作，旨在开发一门关于在软件开发时如何使用 AI/ML 以对抗开发过程中的攻击及结果软件中的漏洞的课程。在结果软件中开发内嵌 AI 的软件不在本课程的范围内。
* 已发布材料：[Secure AI/ML-Driven Software Development (LFEL1012)](https://training.linuxfoundation.org/express-learning/secure-ai-ml-driven-software-development-lfel1012)，将于 2025-10-16 发布。由 OpenSSF 最佳实践工作组开发。
* 工作文档：[LFEL1012 演示文稿](https://docs.google.com/presentation/d/1SONjRe6mdtqNuUqVE9s5kLC6tUwtuw-XTAG23MjXIFI/edit)，用于提议的更改或特殊用途的重复使用 (CC-BY-4.0)
* 注：本课程引用了（前面列出的）Security-Focused Guide for AI Code Assistant Instructions 作为关键支持材料。
### 即将开展的工作
该工作组目前正在探索成立 AI 漏洞披露 SIG。请参阅该小组的会议纪要了解更多信息。
另请参阅 [MVSR 文档](https://github.com/ossf/ai-ml-security/blob/main/mvsr.md)，其中还包含我们正与之联合的其他 AI/ML 工作组。
## 许可证
除非另有明确说明，本工作组发布的软件均依据 [Apache 2.0 许可证](LICENSES/Apache-2.0.txt)发布，文档依据 [CC-BY-4.0 许可证](LICENSES/CC-BY-4.0.txt)发布。
正式规范将依据[社区规范许可证](https://github.com/CommunitySpecification/1.0)授权。
## 章程
与所有 OpenSSF 工作组一样，本小组向 [OpenSSF 技术咨询委员会 (TAC)](https://github.com/ossf/tac) 汇报。有关，请参阅本工作组的[章程](https://github.com/ossf/ai-ml-security/blob/main/doc/CHARTER.md)。
## 反垄断政策通知
Linux 基金会的会议涉及行业竞争对手的参与，Linux 基金会的意图是根据适用的反垄断和竞争法开展其所有活动。因此，与会者严格遵守会议议程，并意识到且不参与任何适用美国州、联邦或外国反垄断法和竞争法所禁止的活动是极其重要的。
在 Linux 基金会会议上及与 Linux 基金会活动相关的情况下禁止的各类行动示例，请参阅 标签：AI安全, Apex, C2, Chat Copilot, DLL 劫持, 人工智能, 大语言模型, 机器学习, 用户模式Hook绕过