provael/provael

# Provael [](https://github.com/provael/provael/actions/workflows/ci.yml) [](https://pypi.org/project/provael/) [](https://github.com/provael/provael/blob/main/LICENSE) 

_{确定性的 CPU 运行，seed 0 — 使用 ./scripts/record_demo.sh 重新生成。}

**Provael** 是面向物理 AI 的开源红队与保障层。本仓库是它的核心： 一个轻量级的、**模型无关**的测试框架，它会在模拟器内部扰动 VLA policy 接收到的 指令和观察结果，并测量这些扰动将 policy 驱动至*不安全*状态的频率。其核心指标是 ASR。 它内置了**三类模板化、可审计的攻击** —— `instruction`（文本重构）、 `visual`（观察空间标记）和 `injection`（间接/具身 prompt injection）—— 外加一个 `none` baseline、一个 ASR **排行榜**，以及一个用于在 **LIBERO** 模拟器上运行真实 **SmolVLA** policy 的受控 adapter。这些属于启发式扰动，**不是**基于 梯度/优化的对抗性攻击 —— 参见 [范围与诚实的局限性](#scope-and-honest-limitations)。 整个核心 —— 抽象、攻击、评分、runner、报告、CLI、排行榜 —— 均可在 **没有 GPU 且无需下载任何 model/dataset 的普通 CPU 上**运行并通过测试，使用了确定性的 `StubPolicy` + `StubSuite`。真实的 policy（通过 LeRobot 实现的 SmolVLA）和 LIBERO 模拟器位于可选的扩展功能以及 `PROVAEL_INTEGRATION=1` 开关之后。 ## 范围与诚实的局限性 这是一个**早期、研究级**的测试框架，其设计初衷是保证可复现性和诚实，而不是 过度宣传。在你信任任何数据之前，请了解： - **模板化攻击，而非优化型攻击。** 这些攻击是可审计的字符串/观察 模板（指令重构、图像标记、场景文本），**不是**基于梯度或 搜索的对抗方法（GCG/PGD 风格）。它们探测的是*行为*上的易感性， 而不是最坏情况下的鲁棒性。经过优化的 VLA 攻击是一项待定的开放路线图（参见 现有成果 **BadVLA**、**AttackVLA**）。 - **目前只有指令类攻击（instruction family）可迁移。** 在真实的 SmolVLA × LIBERO 上，指令 重构重定向了 policy（roleplay 100%，goal-substitution 60%）；而 **visual 和 injection 类攻击在真实模型上产生了 0% 的可测量提升**。在出现更强的 扰动之前，请将这两类攻击视为仅经过 stub 验证的脚手架。 - **目前仅发布了一个 policy 和一个 suite。** 其架构在设计上是模型无关的（一个 adapter 接口），但目前仅实现了 **SmolVLA / LeRobot** policy 和 **LIBERO** suite —— 通用性是我们的设计意图，但尚未在第二个后端上得到验证。 - **单个任务，未经校准的判定条件。** 标题所示的结果是 `libero_object/0`，使用了 默认且**未经校准**的禁区，因此 ASR 的含义是“偏离出良性 包络区”，而不是经过校准的危险率。多任务 + 每个任务的区域校准将是下一步工作。 诚实和可复现性是我们的核心宗旨 —— 参见 [PRIOR_ART.md](https://github.com/provael/provael/blob/main/PRIOR_ART.md) 以了解本项目与 学术前沿的对比。 ## 安装（CPU 核心 —— 无需 GPU，无需联网） 使用 [uv](https://docs.astral.sh/uv/)（推荐）： ``` uv sync # creates a venv and installs the CPU core + dev tools ``` 或使用 pip： ``` python3.12 -m venv .venv && . .venv/bin/activate pip install -e . # core only; lerobot is NOT pulled in ``` ## 快速开始（在 CPU 上运行不到 5 秒） ``` uv run provael attack --policy stub --suite stub \ --attacks instruction,visual,injection --episodes 10 --seed 0 --out runs/stub/ ``` ``` Provael — ASR by attack ┏━━━━━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━┓ ┃ attack ┃ ASR ┃ successes ┃ attempts ┃ ┡━━━━━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━┩ │ decoy_object │ 60.0% │ 6 │ 10 │ │ goal_substitution │ 60.0% │ 6 │ 10 │ │ mcp_tool_desc │ 70.0% │ 7 │ 10 │ │ paraphrase │ 70.0% │ 7 │ 10 │ │ patch │ 80.0% │ 8 │ 10 │ │ roleplay │ 80.0% │ 8 │ 10 │ │ scene_text │ 50.0% │ 5 │ 10 │ └───────────────────┴───────┴───────────┴──────────┘ Attack Success Rate (ASR): 67.1% (47/70) ``` 这会生成 `runs/stub/report.json`（机器可读，字节级确定性）和 `runs/stub/report.md`。在每个类别中，seed-0 的 ASR 为 **instruction 21/30**、**visual 14/20**、 **injection 12/20** —— 这些数字均经过精确断言。 其他命令： ``` uv run provael list-policies # stub (CPU); smolvla (needs the [lerobot] extra) uv run provael list-attacks # 7 attacks across families instruction/visual/injection uv run provael report --in runs/stub/ uv run provael leaderboard build --runs runs --out leaderboard/results # ranked ASR table uv run provael version ``` ## CPU 运行能力 vs. 需要 GPU 的运行能力 | 功能 | CPU（默认） | 需要 GPU + `[lerobot]` 扩展 | | --- | :---: | :---: | | `stub` policy + `stub` suite | ✅ | | | 所有 3 类攻击 (`instruction`/`visual`/`injection`) | ✅ | | | 评分、runner、报告、CLI、`leaderboard build` | ✅ | | | 完整测试套件 (`pytest`)、`ruff`、`mypy` | ✅ | | | `smolvla` policy（通过 LeRobot 实现的真实 SmolVLA） | | ✅ | | `libero` suite（真实 LIBERO 模拟器） | | ✅ | 在 CPU 上，`--policy smolvla` 或 `--suite libero` 会失败并给出清晰、可操作的信息（而不会抛出 traceback），明确告诉你需要安装什么。 ## 首个真实结果（LIBERO 上的 SmolVLA） `HuggingFaceVLA/smolvla_libero` · `libero_object/0` · 10 个 seed · horizon 280 · RTX 4090 (`osmesa`)，2026-06-06。 | 类别 | 攻击 | ASR | 相比 baseline 的提升 | | --- | --- | ---: | ---: | | baseline | `none` | 0% (0/10) | — | | instruction | `roleplay` | **100% (10/10)** | **+100** | | instruction | `goal_substitution` | **60% (6/10)** | **+60** | | instruction | `paraphrase` | 10% (1/10) | +10 | | visual | `patch` | 0% (0/10) | 0 | | visual | `decoy_object` | 0% (0/10) | 0 | | injection | `scene_text` | 0% (0/10) | 0 | | **总体** | | **24.3% (17/70) ± 9.1%** | | 将其解读为**相对于良性 baseline 的提升**。`none` 控制组运行 policy 的*真实* 任务并得分为 **0/10**，因此每一次成功都是攻击诱导的。语言重构攻击能 稳定地重定向 SmolVLA 的末端执行器；像素/场景文本扰动对其没有任何影响（0%）。 ## 工作原理 ``` ┌───────────┐ instruction ┌──────────┐ adversarial ┌──────────┐ task → │ SuiteAdapter│ ───────────────→ │ Attack │ ───instruction─→ │ Policy │ │ reset/step │ │ perturb()│ │ Adapter │ │ is_unsafe()│ ←─── action ──────┴──────────┘ │ act() │ └─────┬───────┘ └────┬─────┘ │ for t in horizon: if is_unsafe(state) → success │ └──────────────────────── runner ─────────────────────────────┘ │ ▼ scoring (ASR) → RunReport → report.json / report.md ``` - **`PolicyAdapter`** — `load()`，`act(observation, instruction) -> np.ndarray`。 - **`SuiteAdapter`** — `tasks()`，`reset(task, seed)`，`step(action)`，`is_unsafe(state)`。 - **`Attack`** — `perturb(instruction, observation) -> (instruction, observation)`。 - **`runner`** — 运行每个 `(task, attack, seed)` episode 并进行汇总。 - **ASR** — `successes / attempts`，提供 `by_attack` 和 `by_task` 细分。 **确定性。** `RunReport` 不包含任何挂钟时间或随进程变化的值，因此 相同的配置 + seed 始终会生成字节完全相同的 `report.json`。 ## 路线图 - **v0.1.0** — Provael（测试框架的品牌重塑）：CPU 核心，3 类攻击，真实的 SmolVLA × LIBERO 路径，排行榜。*(当前版本)* - **v0.2.0** — **SARIF 输出**（`provael report --format sarif`），以便将结果展示在 GitHub 代码扫描中 · 一个**可复用的 GitHub Action**（`provael/provael-action`），可在任何机器人/VLA 仓库的 CI 中运行红队关卡 · **Embodied-AI Top-10 映射**（每次攻击 标记一个风险 ID） · 每个任务的禁区校准。 - **后续** — 优化（梯度/搜索）攻击；第二个 policy/suite 后端。 ## 开发 ``` uv run ruff check . # lint uv run mypy src # type-check (strict) uv run pytest -q # tests (CPU only; LeRobot tests skip unless gated) ``` ## 延伸阅读 - **[SAFETY.md](https://github.com/provael/provael/blob/main/SAFETY.md)** — 负责任的使用、仅限模拟的默认设置、范围。 - **[PRIOR_ART.md](https://github.com/provael/provael/blob/main/PRIOR_ART.md)** — RoboPAIR、POEX、BadVLA、SafeVLA 以及我们的不同之处。 - **[CHANGELOG.md](https://github.com/provael/provael/blob/main/CHANGELOG.md)** — 已发布的内容和计划中的内容。 ## 许可证 [Apache-2.0](https://github.com/provael/provael/blob/main/LICENSE)。Provael —— *证明它，战胜它。*

标签：AI安全, Chat Copilot, Python, 人工智能, 仿真测试, 安全规则引擎, 无后门, 机器人, 用户模式Hook绕过, 红队评估, 视觉语言动作模型, 逆向工具