agp-369/infra-security-agent-workflow

title: Infra Security Agent Workflow emoji: 🛡️ colorFrom: blue colorTo: indigo sdk: docker app_port: 7860 pinned: false tags: - openenv # 🛡️ Infra-Security-Agent 工作流程 **一个高保真、对抗性的 OpenEnv 沙箱，用于通过 GRPO 训练自主 SOC 分析师。** ## 📖 问题：网络安全中的强化学习部署鸿沟 传统的有监督微调在自主网络安全智能体上失效。现实的企业环境具有部分可观测性、动态威胁以及复合的多步推理能力。然而，企业无法在不承担系统中断风险的情况下，在生产环境基础设施上安全地训练强化学习（RL）智能体。 **我们的解决方案**：Infra-Security-Agent 弥合了这一差距。我们提供了一个安全的、严格隔离的、符合 OpenEnv 标准的沙箱，让小型开源权重模型可以通过试错，使用 **基于可验证奖励的强化学习（RLVR）** 来学习防御网络。 ## 📐 架构：蓝队 vs. 红队 我们的环境将学习智能体与动态世界状态分离开来： ``` graph TD Agent[Blue Team: Qwen2.5-0.5B] <--> |Action/Observation| EnvServer[OpenEnv FastAPI Server] EnvServer <--> |Logic| SecurityLogEnv[Adversarial Logic] SecurityLogEnv --> |Adversary| RedTeam[Groq Red Team] SecurityLogEnv --> |Verifier| RLVR[RLVR Grader] SecurityLogEnv --> |Drift| Drift[Schema Drift Engine] ``` - **蓝队（学习者）**：您的小型基础模型（例如 Qwen2.5-0.5B），通过 GRPOTrainer 进行微调。它观测模糊的警报并执行安全工具。 - **红队（对手）**：由 **Groq Llama-3** 动态驱动，该对手会注入误报噪声并在模拟过程中动态改变攻击模式，以防止模型死记硬背。 - **沙箱**：一个严格符合规范的 OpenEnv FastAPI 服务器，运行在隔离的 Docker 容器中。 ## 🌟 核心功能与黑客松机制 - **对抗性噪声注入**：日志中充斥着随机生成的合法流量。智能体必须学会在安全性和业务连续性之间取得平衡。 - **模式漂移**：攻击向量动态变化（例如，日志键在训练过程中交换）。智能体必须学会具有弹性的推理能力。 - **结构化错误恢复**：格式错误的工具调用会返回可操作的 JSON 错误（例如 HTTP 400/403 提示），迫使智能体进入自纠循环。 - **客观的 RLVR 评分**：奖励在数学上被限制在 0.01 到 0.99 之间，以实现完美的验证。 ## 🧪 学习证明：第三阶段 GRPO 训练 为了证明我们的环境提供了可操作的学习信号，我们展示了通过 **Hugging Face TRL** 和 **Unsloth** 进行的训练。 - 📉 **基线**：由于误报陷阱，现成的（off-the-shelf）基础模型得分较低（约 0.42）。 - 📈 **训练后**：在 GRPO 推进（rollouts）之后，模型学会了在行动之前 `query_logs`，有效地忽略了噪声。 👉 **[在此查看 Google Colab TRL + GRPO 训练 Notebook](https://colab.research.google.com/drive/your-link-here)** ## ⚡ 快速开始 1. **启动沙箱**： docker build -t infra-security-agent . docker run -p 7860:7860 infra-security-agent 2. **运行基线推理**： python inference.py ## 📁 仓库结构 ``` . ├── env/ │ ├── security_env.py # Core RLVR logic, Red Team drift, and Grader │ ├── models.py # Pydantic type-safe schemas │ └── app.py # FastAPI OpenEnv implementation ├── Dockerfile # Isolated execution ├── pyproject.toml # uv dependency management └── inference.py # Spec-compliant baseline script ```

标签：AI安全, AV绕过, Chat Copilot, CI/CD安全, DevSecOps, Docker, FastAPI, GRPO, Llama, OpenEnv, PyTorch, Qwen, RLVR, 上游代理, 凭据扫描, 安全防御评估, 对抗性攻击模拟, 强化学习, 数据展示, 智能体训练, 沙箱环境, 红队, 网络安全, 自动化事件响应, 请求拦截, 逆向工具, 隐私保护, 黑客松