fallen-angel-systems/fas-judgement-oss

 ## 为什么选择 Judgement？ 你的 AI 聊天机器人、API 或 Agent 很可能容易受到 Prompt Injection 攻击。绝大多数都是如此。问题在于，大多数团队缺乏测试它的工具或专业知识。 Judgement 为你提供了一种结构化的方式，向任何 AI Endpoint 发射分类攻击模式，并准确观察哪些地方会出现问题。无需安全背景——内置的教育标签页会随时指导你。 由 [Fallen Angel Systems](https://fallenangelsystems.com) 构建，该团队开发了 [Guardian](https://fallenangelsystems.com) —— 一个保护生产环境 LLM 部署的 AI 原生 Prompt Injection 防火墙。 ## v2.0.0 版本更新 - **攻击预设** -- Smoke Test、Full Sweep、Deep Dive 和 Critical Only 模式，用于结构化测试 - **严重性过滤与搜索** -- 通过实时搜索栏按严重性级别过滤模式 - **每类限制** -- 通过池计数指示器精确控制每个类别发射的模式数量 - **自定义模式** -- 构建、编辑、导入和导出你自己的私有模式库（本地存储） - **专业报告** -- 生成包含 CWE/OWASP 参考的 HTML、Markdown、JSON 和 SARIF 报告 - **扫描目标** -- 一键自动检测 API 格式、方法、Headers 和 Payload 字段 - **许可系统** -- 直接从 CLI 激活 Elite 级别以获取 34,838+ 模式 - **完整文档** -- 内置文档页面，包含 Volt 的 Red Team Playbook 和完整功能参考 - **模式提交** -- 向社区库提交新颖的攻击模式 ## 快速开始 ### 从 PyPI 安装（推荐） ``` pip install fas-judgement judgement ``` 就是这样。打开 `http://localhost:8668` 并开始测试。 ### 或者从源码运行 ``` git clone https://github.com/fallen-angel-systems/fas-judgement-oss.git cd fas-judgement-oss pip install -r requirements.txt python -m judgement.server ``` ### 选项 ``` judgement --port 9000 # Custom port judgement --host 127.0.0.1 # Localhost only judgement --host 0.0.0.0 # Expose to network ``` ### Elite 许可证激活 ``` judgement activate FAS-XXXX-XXXX-XXXX-XXXX # Activate Elite license judgement status # Check tier and pattern count judgement deactivate # Revert to free tier ``` ## 功能 ### 攻击控制台 配置你的目标（URL、Headers、Body 模板），直接从 cURL 命令导入，并发射基于模式的攻击，查看**实时流式结果**。使用快速预设来构建你的方法： | 预设 | 功能 | |--------|-------------| | Smoke Test | ~15 个模式，严重+高危险级，每类 1 个 | | Full Sweep | ~50 个模式，按比例分布于所有类别 | | Deep Dive | ~100 个模式，深度覆盖，每类最少 2 个 | | Critical Only | 所有严重+高危险级模式，无限制 |  ### 严重性过滤与搜索 按严重性（严重、高、中、低）过滤模式库，或使用 Critical+High 组合进行针对性测试。实时搜索模式以准确找到你需要的内容。 ### 自定义模式 在 **My Patterns** 标签页中构建你自己的私有攻击库： - 添加、编辑和删除带有类别和注释的模式 - 导入/导出为 JSON 以用于备份和共享 - 将自定义模式与精选库一起包含在攻击中 - 本地存储在你的浏览器中 —— 绝不接触任何服务器 - 最多 500 个模式，每个 10,000 个字符 ### 专业报告 从任何攻击会话生成安全评估报告： | 格式 | 用例 | |--------|----------| | **HTML** | 可打印的专业报告，包含执行摘要、CWE/OWASP 参考和修复建议 | | **Markdown** | 针对 HackerOne、Bugcrowd、GitHub Issues 或 Jira 的 Bug 赏金提交 | | **JSON** | 用于自定义工具、仪表板或 API 消费者的结构化数据 | | **SARIF** | 上传到 GitHub Code Scanning、Azure DevOps 或任何兼容 SARIF 的安全仪表板 | 报告包括风险评级、带有证据的详细发现以及优先修复建议。 ### 模式浏览器 在可排序的表格视图中按类别浏览、搜索和探索攻击模式。每个模式显示 ID、类别、Payload 文本和严重性级别。 ### 教育标签页 Prompt Injection 新手？内置的教育标签页涵盖： - 什么是 Prompt Injection 及其重要性 - 如何找到可测试的 AI Endpoints - 如何解读扫描结果 - 常见漏洞类别解释 **无需先前的安全经验。** 入门指南将引导你从零开始完成第一次扫描。 ### 文档 带有可展开参考章节的内置文档页面： - Volt 的 **Red Team Playbook** -- 专业 AI Red Teaming 的结构化方法论 - 针对 API Endpoints 和 Web Chatbots 的入门指南 - 带有预设说明的攻击控制台参考 - 模式类别和层级细分 - 判定分类指南 - 额度保护和 MCP 集成文档 - 法律和道德准则 - 常见问题解答 ### 扫描目标 将 Judgement 指向任何 URL 并点击 **Scan**。它会自动检测： - HTTP 方法 (POST, GET, PUT, PATCH) - Payload 字段名称 (message, prompt, input, query 等) - 所需 Headers 和认证格式 - 响应格式和流式支持 ### LLM 判定（可选） 连接本地 [Ollama](https://ollama.ai) 实例以获取 AI 驱动的响应分类。对于检测目标遵从但包裹在免责声明中的细微绕过，比关键字匹配更准确。 ### 模式提交 发现了一种新颖的攻击技术？直接从 **Submit Pattern** 标签页提交。Guardian AI 自动验证你的提交 —— 如果它得分 70%+ 且不是重复的，它将被添加到社区库中。 ### 会话历史 所有扫描会话和结果都本地存储在 SQLite 中。查看过去的扫描，比较不同目标的结果，并跟踪你的测试进度。 ### 内置安全性 - **SSRF 保护** -- 目标 URL 验证防止扫描内部/私有网络 - **默认仅本地** -- 绑定到 localhost，无意外暴露 - **零遥测** -- 绝不回传数据 - **认证确认** -- 在向已认证的 Endpoints 发射前发出警告 - **额度保护** -- 可配置的模式限制和连续错误自动停止 ## 工作原理 ``` +--------------+ +---------------+ +--------------+ | You pick |---->| Judgement |---->| Your AI | | patterns | | fires them | | endpoint | +--------------+ +-------+-------+ +-------+------+ | | +------v-------+ +-------v------+ | Results |<----| Response | | + Verdict | | captured | +--------------+ +--------------+ ``` 1. **配置** -- 将 Judgement 指向你的 AI Endpoint（URL + Headers + Body 模板） 2. **选择** -- 选择攻击预设或使用严重性过滤器手动选择类别 3. **发射** -- 通过 SSE 实时查看结果流 4. **分析** -- 查看响应，可选的 LLM 判定对每个结果进行分类 5. **报告** -- 将发现导出为 HTML、Markdown、JSON 或 SARIF 6. **修复** -- 使用发现来强化你的 AI 防御 ## 配置 | 变量 | 默认值 | 描述 | |----------|---------|-------------| | `--port` | `8668` | 服务器端口 | | `--host` | `127.0.0.1` | 绑定地址 | | `OLLAMA_URL` | `http://localhost:11434` | Ollama API Endpoint | | `OLLAMA_MODEL` | `qwen2.5:14b` | 用于 LLM 判定的模型 | | `SUBMIT_API_URL` | `https://judgement-app.fallenangelsystems.com` | 模式提交 API | ## Free 版与 Elite 版 | 功能 | Free | Elite | |---------|:----:|:-----:| | 带预设的攻击控制台 | Yes | Yes | | 严重性过滤和搜索 | Yes | Yes | | 教育标签页 | Yes | Yes | | 模式浏览器 | Yes | Yes | | LLM 判定 (Ollama) | Yes | Yes | | 扫描目标自动检测 | Yes | Yes | | MCP 服务器集成 | Yes | Yes | | 内置文档 | Yes | Yes | | 模式提交 | Yes | Yes | | 入门模式 | 100 | 34,838+ | | 自定义模式库 | -- | Yes | | 专业报告 (HTML/MD/JSON/SARIF) | Basic MD | Full suite | | 每类攻击限制 | -- | Yes | | Campaigns | -- | Coming Soon | | 多轮攻击链 | -- | Coming Soon | | 额度保护控制 | Yes | Yes | **[获取 Elite 访问权限](https://fallenangelsystems.com)** ## 贡献 欢迎贡献！以下是帮助方式： - **Bug 报告** -- [打开一个 Issue](https://github.com/fallen-angel-systems/fas-judgement-oss/issues) - **功能请求** -- 打开一个带有 `enhancement` 标签的 [Issue](https://github.com/fallen-angel-systems/fas-judgement-oss/issues) - **Pull 请求** -- Fork、分支、PR。保持更改集中并包含描述。 - **模式提交** -- 使用应用程序中的 Submit Pattern 标签页直接贡献 ## 相关项目 - **[Guardian](https://fallenangelsystems.com)** -- AI 原生 Prompt Injection 防火墙（防御） - **[Judgement Pro](https://judgement.fallenangelsystems.com)** -- 具有所有 Elite 功能的全功能托管版本 ## 许可证 MIT -- 详见 [LICENSE](LICENSE)。

标签：AI安全, AI防御评估, AI防火墙测试, AI风险缓解, Chat Copilot, CISA项目, DLL 劫持, Python, SARIF报告, 大语言模型, 攻击控制台, 无后门, 端点测试, 网络安全, 自动化攻击, 逆向工具, 隐私保护