Jokersystems-online/flowki-llm-redteam-checklist

# flowki-llm-redteam-checklist 包含六大类（输入、认证、输出、工具调用、RAG、成本/DoS）的 50 个测试点，每个都附有测试方法、失败示例和通过标准。 严重性等级：**Critical**（发布前必须立即修复）→ **Low**（最佳实践）。 这是文章[你的 LLM 应用的 50 点红队清单](https://flowki-club.de/blog/2026-04-19-red-team-llm-app-50-punkte-checkliste?utm_source=github&utm_medium=repo&utm_campaign=content-launch-2026-07)在 [FlowKI Club](https://flowki-club.de) 上的配套仓库。基础：OWASP LLM Top 10 以及基于多次渗透测试的自我扩展。 检查全部 50 个点所需时间：小型应用 4-6 小时，较大型应用 1-2 天。 ## 仓库包含内容 - `checklist.yaml` — 机器可读的全部 50 个点，包含严重性/测试/通过标准 - `runner.py` — 可自动化部分的启动器实现（目前 50 个点中有 3 个可作为可执行代码：A1 长度限制、A4 标准注入、B1 匿名访问）。其余部分有意设计为手动——正如文章中所述，输出验证、工具调用和 RAG 检查需要人工判断。欢迎提交自动化更多测试点的贡献。 **重要提示：** `runner.py` 是一个真实的起点，而不是任何内部工具的 1:1 复制品——这三个实现的检查是文章本身提到的通用测试字符串，而不是机密 payloads。 ## 用法 ``` python runner.py --base-url https://deine-app.example.com --endpoint /api/chat ``` 对于其余 47 个点：打开 `checklist.yaml`，逐一检查每个点的测试方法和通过标准。此外推荐的辅助工具：[garak](https://github.com/leondz/garak)（开源 LLM 安全扫描器）和 [PyRIT](https://github.com/Azure/PyRIT)（Microsoft LLM 渗透测试工具包）——这两者在原文章中都被提及作为自有清单的补充。 ## 法律声明 **仅**将此清单用于你自己的系统，或你拥有明确书面许可的系统（授权的渗透测试、范围内的漏洞赏金计划、CTF 环境）。在德国，未经许可测试他人系统违反《刑法典》第 202a、202b、202c、303a、303b 条，属于违法行为。 ## 讨论 [FlowKI Club Discord](https://flowki-club.de/join?utm_source=github&utm_medium=repo&utm_campaign=content-launch-2026-07) 的“黑客与安全”专区。 ## 许可证 MIT — 可自由使用、复刻、修改以及贡献更多检查项。

标签：DLL 劫持, OWASP Top 10, Python, 人工智能安全, 合规性, 大语言模型, 安全测试, 攻击性安全, 无后门, 红队评估, 逆向工具