Top-Celestial-Company-Ltd/DROS-VEP-lite
GitHub: Top-Celestial-Company-Ltd/DROS-VEP-lite
DROS-VEP Lite 是一个开源的 AI Agent 运行时安全基准测试与沙箱环境，用于评估和验证 AI Agent 在工具调用授权与特权执行治理方面的运行时安全性。
Stars: 0 | Forks: 0
# 🛡️ DROS-VEP Lite：开源 AI Agent 安全基准测试环境
[](https://opensource.org/licenses/Apache-2.0)
[](file:///e:/vscode/AI知識庫/dros-spec/RFC-010-dros-vep-spec.md)
[](file:///e:/vscode/AI知識庫/dros-spec/RFC-010-dros-vep-spec.md)
[](#benchmark-methodology)
📖 **精选指南**：[如何在 5 分钟内攻破你的 AI Agent（并使其更强大）](docs/HOW_TO_BREAK_YOUR_AI_AGENT_IN_5_MINUTES.md)
[English](README.md) | [繁體中文](README_zh.md)
## ⚡ 快速开始（60 秒）
```
# 1. Clone repository
git clone https://github.com/Top-Celestial-Company-Ltd/dros-vep-lite.git
cd dros-vep-lite
# 2. 启动容器化 enterprise sandbox
docker compose up -d
# 3. 打开 Interactive Web Dashboard
# 在浏览器中导航到 http://localhost:8080
```
```
Attack ───► Policy Evaluation ───► Evidence Artifact ───► Deterministic Replay
```
## 💡 为什么现有的 AI 基准测试不够
大多数 AI 基准测试衡量的是 LLM 的智力、编码技能或提示词毒性。**DROS-VEP 衡量的是一个完全不同的维度：运行时工具调用授权与特权执行治理。**
| 现有基准测试 | 测量内容 | 未测量内容 |
| :--- | :--- | :--- |
| **PromptBench** | 提示词鲁棒性与对抗性文本 | 运行时工具执行与 API 权限 |
| **AgentBench** | 多轮任务完成率 | 运行时授权与特权边界 |
| **SWE-bench** | 软件工程与编码能力 | 企业 RBAC/ABAC 边界违规 |
| **GAIA** | 通用 AI 助手能力 | 零信任运行时策略执行 |
| **DROS-VEP** | **运行时治理与 PEP 授权** | ——（补充能力基准测试） |
## 🏗️ 架构与纵深防御生态系统
DROS **不**替代传统的网络安全防御（WAF、EDR、SIEM）。相反，它为现代**纵深防御**（Defense-in-Depth）架构中的 AI Agent 执行边界提供**“最后一英里运行时防御”**：
```
┌─────────────────────────────────────────────────────────────┐
│ Layer 1: Network Perimeter │ WAF (Cloudflare, Palo Alto) │ -> Blocks L3-L7 SQLi/DDoS
├──────────────────────────────┼──────────────────────────────┤
│ Layer 2: Endpoint & Host │ EDR (CrowdStrike, Sentinel) │ -> Blocks OS Ransomware
├──────────────────────────────┼──────────────────────────────┤
│ Layer 3: Identity & IAM │ Keycloak, Active Directory │ -> Manages Human OAuth/JWT
├──────────────────────────────┼──────────────────────────────┤
│ ★ Layer 4: AI Agent Runtime │ DROS PEP/PDP + ATR Sandbox │ -> Blocks Unauthorized Tools
└──────────────────────────────┴──────────────────────────────┘
│
▼
Exports PKI Evidence to Enterprise SIEM (Splunk, Elastic)
```
### 💡 为什么传统安全防御（WAF/Keycloak）对 ATS 场景视而不见
在间接提示词注入攻击（ATS-001）中，被劫持的 AI Agent 拥有**有效的 Keycloak JWT token**。当 Agent 请求 `/api/erp/finance` 时，WAF 会检查该请求：*“有效的 HTTPS，纯净的 JSON，有效的 OAuth token。准许访问！”*
传统的 WAF 会看到一个**100% 合法的用户发起的普通 REST API 请求**。攻击被隐藏在了 **LLM 语义上下文**（LLM Semantic Context）中。这就是为什么在工具执行边界处必须部署 DROS PEP/PDP 的原因。
## 🎯 Agent 威胁场景（ATS 矩阵）
所有威胁场景均直接映射到 **MITRE ATLAS** 分类：
| 场景 ID | 威胁场景名称 | 目标工具 | 风险画像 | MITRE ATLAS 映射 | 预期操作 |
| :--- | :--- | :--- | :--- | :--- | :--- |
| **ATS-001** | 间接指令劫持 | `get_finance_records` | 数据窃取 | **AML.T0051**（LLM 提示词注入） | **拒绝** |
| **ATS-002** | 密钥与边界信息窃取 | `read_env_secrets` | 凭据泄露 | **AML.T0052**（凭据访问） | **拒绝** |
| **ATS-003** | 未授权的权限提升 | `deploy_production` | 权限提升 | **AML.T0053**（权限提升） | **拒绝** |
| **ATS-004** | Agent 供应链篡改 | `pip_install_package` | 恶意代码执行 | **AML.T0054**（供应链妥协） | **拒绝** |
| **ATS-005** | 跨域数据访问 | `read_hr_database` | 边界违规 | **AML.T0055**（通过 API 窃取数据） | **拒绝** |
## 🧪 工程师完整性验证：解剖与重放
工程师们不会信任静态仪表板。他们会问：**“如果我关掉你的防御守卫，结果真的会改变吗？”**
### 1. 反事实对照组（`Disable DROS Guard` 开关）
打开 `http://localhost:8080` 并勾选 **`☑ Disable DROS Guard (Debug Mode)`**：
* **防御开启（正常状态）**：100% 防御完整性（`AS-001 ~ AS-005 | 决策: 拒绝 | 通过率: 100%`）。
* **防御关闭（对照组）**：PEP 绕过拦截。Agent 会直接穿透目标 endpoint。通过率从 **`100% ===> 0%（已泄露）`** 直线下降。
### 2. 确定性重放引擎（`benchmark/replay.py`）
以确定性的方式重放任何历史审计日志或证据包：
```
python benchmark/replay.py exec_ATS-001_1784702707
```
## 📊 基准测试方法论与测量透明度
**26.1 μs** 的策略评估延迟是如何测量的？
| 参数 | 测量设置与值 |
| :--- | :--- |
| **基准测试硬件** | Intel Xeon E3-1275 v3 (4C/8T) / 16GB RAM |
| **执行沙盒** | Docker Compose 隔离容器网络 |
| **样本迭代次数** | 每个场景 N = 10,000 次迭代 |
| **策略决策延迟** | **中位数 (P50): 26.1 μs** \| **P99: 41.2 μs** \| **标准差: ±3.4 μs** |
| **测量代码** | `core/dros_guard.py` 中的 `time.perf_counter_ns()` |
## 🏅 RFC-010 草案协议一致性测试套件
第三方 AI Agent 框架（OpenAI Agent SDK、LangGraph、CrewAI、AutoGen、OpenClaw）可以跨 3 个认证等级评估其运行时安全性：
* **Level 1（核心版）**：Identity Token (DIT) + PEP 工具拦截 + 结构化审计日志。
* **Level 2（企业版）**：策略可解释性 (Policy ID) + 证据包 (SHA-256 摘要) + 多 Agent 角色隔离。
* **Level 3（高保障版）**：加密认证 + 篡改检测 + 确定性重放。
## 💎 产品版本与许可
## 🎁 领取免费的 1 年期 Hacker 许可证（🔥 仅限前 1,000 名安全先锋！）
已验证 RFC-010 一致性？快来领取您的 **1 年期免费 Hacker 许可证（价值 $99）**：
1. **方式 1（Web 仪表板 UI）**：打开 `http://localhost:8080` 并点击 **“Claim 1-Year Hacker License”**。
2. **方式 2（GitHub Discussions Bot）**：将 `conformance_report.json` 发布到 [GitHub Discussions](https://github.com/Top-Celestial-Company-Ltd/dros-vep-lite/discussions)。
3. **方式 3（Gumroad $0 结账）**：在 [dr-os.io](https://dr-os.io) 使用 100% 折扣优惠券 `DROS-RFC010-FREE`。
## 📜 规范与 RFC 标准
* [RFC-010：DROS-VEP 规范协议](file:///e:/vscode/AI知識庫/dros-spec/RFC-010-dros-vep-spec.md)
* [DROS-VEP 战略蓝图](file:///e:/vscode/AI知識庫/dros-spec/commercial/DROS_VEP_Strategic_Blueprint.md)
## 📄 许可证
采用 Apache 2.0 授权。详情请参阅 [许可证](LICENSE)。
标签：Docker, Web报告查看器, 安全基准测试, 安全防御评估, 权限治理, 沙箱环境, 版权保护, 请求拦截, 逆向工具