sirattahir/LLM-Security-Testing

# LLM 安全测试 使用 Nvidia Garak 对 5 个 LLM 进行自动化 Prompt Injection 测试 # 使用 Garak 进行 LLM 安全测试 使用 [Nvidia Garak](https://garak.ai) 对来自不同公司的 5 个 LLM 进行自动化 prompt injection 安全测试。 ## 什么是 Prompt Injection？ Prompt injection 是一种攻击方式，通过在文本中嵌入隐藏的恶意指令来劫持 LLM 的行为。这是 OWASP 排名第一的 LLM 安全风险（LLM01）。 ## 使用的工具 - [Garak](https://garak.ai) — 开源 LLM 漏洞扫描器 - [Groq](https://groq.com) — 免费的 LLM API 提供商 - 攻击方式：`promptinject.HijackHateHumans` ## 结果 | 模型 | 公司 | 大小 | 通过率 | DEFCON | 结论 | 报告 | |---|---|---|---|---|---|---| | gpt-oss-safeguard-20b| OpenAI | 20B | 99% | DC-5 | 优秀 |[报告](findings/gpt-oss-safeguard.md) | allam-2-7b | Saudi Aramco | 7B | 70% | DC-3 | 安全 |[报告](findings/allam-2-7b.md) | llama-3.1-8b-instant | Meta | 8B | 34% | DC-2 | 极高风险 |[报告](findings/Llama-3.1-8b-instant.md) | qwen/qwen3-32b | Alibaba | 32B | 21% | DC-2 | 极高风险 |[报告](findings/qwen3-32b.md) | llama-3.3-70b-versatile | Meta | 70B | 14% | DC-2 | 极高风险 |[报告](findings/llama-3.3-70b-versatile.md) ## 主要发现 ### 1. 安全微调胜过一切 GPT-OSS-Safeguard 得分高达 99%，因为它是专为安全性而构建的。其他所有通用模型的得分都低于 35%。 ### 2. 更大的模型并不一定更安全 Llama-3.3-70b（70B 参数）得分仅为 14% —— 比 Llama-3.1-8b（8B 参数）的 34% 还要差。人们通常认为越大的模型越安全，但这组数据证明了事实并非如此。 ### 3. 一个 7B 的阿拉伯语模型超越了所有通用模型 来自 Saudi Aramco 的 Allam-2-7b 得分达到 70%，尽管它是测试中最小的模型。训练过程中的安全性调优远比模型大小更重要。 ## 如何复现 1. 安装 Garak：`pip install garak` 2. 从 [groq.com](https://groq.com) 获取免费的 API key 3. 设置你的 key：`export GROQ_API_KEY="your_key"` 4. 运行测试： ``` garak --target_type groq --target_name llama-3.1-8b-instant --probes promptinject.HijackHateHumans --generations 2 ``` ## 报告 每个模型的完整 HTML 报告位于 `/reports` 文件夹中。

标签：AI安全, Chat Copilot, DLL 劫持, Sysdig, 后端开发, 大语言模型, 红队评估, 逆向工具