CODESHUB-o/ai-guard

GitHub: CODESHUB-o/ai-guard

一款基于行为建模的 LLM 多轮对话注入检测工具,通过分析跨轮次对抗升级模式计算复合风险评分。

Stars: 0 | Forks: 0

# AI Guard **针对 LLM 应用的行为式多轮注入检测。** AI Guard 对跨用户轮次的对抗性升级进行建模,而非仅扫描单个 Prompt 文本块。 它能检测升级漂移、振荡模式、阈值博弈尝试,并计算复合行为风险评分(0–100)。 适用于: ### 适用于 - LLM SaaS 后端 - 基于 Prompt 的 AI 工具 - CI 安全强制执行 - 构建 AI 工作流的开发者 ## 为什么选择 AI Guard? 大多数 Prompt 注入工具仅扫描单个 Prompt 文本块。 AI Guard 建模内容: - 用户轮次升级行为 - 随时间推移的漂移演变 - 振荡模式 - 延迟检测风险 - 阈值博弈尝试 - 复合对抗风险评分 它是**基于行为**的,而不仅仅是基于模式匹配的。 ## 核心能力 - 感知 Transcript 的分析 - 用户轮次行为建模 - 漂移检测 - 振荡检测 - 阈值博弈检测 - 复合行为风险评分(0–100) - CI 阈值强制执行 ## 安装 ### 从源码构建 ``` git clone https://github.com/CODESHUB-O/ai-guard.git cd ai-guard cargo build --release ``` 二进制文件将位于: ``` target/release/ai_guard ``` ## 快速开始 分析 Transcript: ``` ./target/release/ai_guard multiturn examples/sample.txt --threshold 95 ``` 如果复合风险评分大于或等于阈值, 进程将以代码 `1` 退出(CI 失败)。 ## 示例输出 ``` AI Guard — Behavioral Risk Analysis ------------------------------------ User Turns : 4 Peak Severity : Critical Final Severity : Critical Drift Detected : true Partial Suppression : false Oscillation Detected : false Late Detection : false Threshold Gaming : false Composite Risk Score : 72 Risk Level : High CI Threshold : 95 ``` ## JSON 输出(适配 CI) ``` ./target/release/ai_guard multiturn transcript.txt --threshold 95 --json ``` 示例: ``` { "composite_risk": 72, "risk_level": "High" } ``` ## GitHub Action 示例 ``` name: AI Guard Scan on: pull_request: push: branches: - main jobs: ai-guard: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 - uses: dtolnay/rust-toolchain@stable - run: cargo build --release - run: ./target/release/ai_guard multiturn examples/sample.txt --threshold 95 ``` 如果行为风险超过定义的阈值,这将导致 CI 失败。 ## 复合风险模型(0–100) 风险评分计算依据: - 峰值严重性权重 - 检测延迟 - 升级速度 - 漂移存在 - 抑制模式 - 振荡检测 - 阈值博弈行为 这实现了行为对抗建模,而非静态模式检查。 ## 使用场景 - 保护 LLM SaaS 后端安全 - 在 CI 中验证 Prompt 流水线 - 检测对抗性多轮升级 - 在开发期间监控注入风险 - 保护 AI 工具执行工作流 ## 路线图 即将推出的专业版功能: - 仓库范围的批量扫描 - 跨提交的风险趋势对比 - 历史基线追踪 - 高级报告导出 - 自定义评分配置 ## 许可证 MIT License ## 设计理念 AI Guard 专注于行为建模,而非表层的字符串匹配。 其目标是检测对抗性演变模式,而不仅仅是孤立的。 安全不是静态的。行为至关重要。
标签:AI Guard, AI应用防火墙, CI/CD安全, DevSecOps, DNS枚举, drift 检测, Llama, LLM应用防护, Rust, SaaS后端安全, 上游代理, 可视化界面, 多轮对话安全, 大语言模型安全, 对抗攻击检测, 提示词注入检测, 文档结构分析, 机密管理, 网络安全工具, 网络流量审计, 通知系统, 通知系统