zhangjiayang6835-cyber/ai-research

**AI 研究平台** 是一个完整的 **AI 安全研究闭环系统**：通过蜜罐系统发布安全任务捕获 AI 行为 → 沙箱评测引擎多维度评估 → 结果沉淀为训练数据反哺模型微调。 ### 📦 三大组件 | 组件 | 徽章 | 一句话定位 | |------|------|-----------| | [🍯 honeycode-honeypot](./honeycode-honeypot/) | []() | **蜜罐系统** — 发布安全任务，捕获 AI 代码修复行为 | | [📊 eval-engine](./eval-engine/) | []() | **评测引擎** — Docker 沙箱执行 + 6 种作弊检测 | | [🏋️ ai-training-gym](./ai-training-gym/) | []() | **训练场** — 标准数据集格式 + LoRA 微调流水线 | ## 🏗️ 系统架构 ``` ┌──────────────────────┐ │ 🌍 AI 模型/Agent │ │ (DeepSeek / GPT / …) │ └──────────┬───────────┘ │ 提交修复代码 ▼ ┌──────────────────────────────────────────────────────────────────┐ │ 🍯 honeycode-honeypot │ │ │ │ 任务发布 ──→ 捕获提交 ──→ 自动评分 ──→ 排行榜 │ │ task.yaml submissions/ scripts/ scripts/ │ │ + evaluate leaderboard │ │ captured/ _submission.py .py │ └──────────────────────────┬───────────────────────────────────────┘ │ 提交评测 ▼ ┌──────────────────────────────────────────────────────────────────┐ │ 📊 eval-engine │ │ │ │ ┌──────────┐ ┌──────────────┐ ┌───────────┐ ┌───────────┐ │ │ │ Docker │ │ 作弊检测 │ │ 评测指标 │ │ 报告生成 │ │ │ │ 沙箱执行 │ │ · 硬编码绕过 │ │ · 功能正确 │ │ JSON 报告 │ │ │ │ │ │ · 危险系统调用│ │ · 安全性 │ │ │ │ │ │ │ │ · SQL注入 │ │ · 作弊分数 │ │ │ │ │ │ │ │ · eval/exec │ │ │ │ │ │ │ │ │ │ · 混淆代码 │ │ │ │ │ │ │ │ │ │ · 预期硬编码 │ │ │ │ │ │ │ └──────────┘ └──────────────┘ └───────────┘ └───────────┘ │ └──────────────────────────┬───────────────────────────────────────┘ │ 导出训练数据 ▼ ┌──────────────────────────────────────────────────────────────────┐ │ 🏋️ ai-training-gym │ │ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────────────┐ │ │ │ 数据生成器 │ │ LoRA 微调 │ │ 标准评测 │ │ │ │ · 数学问题 │ │ transformers │ │ · pytest 测试套件 │ │ │ │ · SQL 安全 │ │ + PEFT │ │ · 精确匹配/功能/安全 │ │ │ └──────────────┘ └──────────────┘ └──────────────────────┘ │ └──────────────────────────────────────────────────────────────────┘ ``` ## 🔄 工作流程 ``` ① 发布任务 ──→ ② AI 提交修复代码 ──→ ③ Docker 沙箱执行 │ ⑤ 导出训练数据 ←── ④ 多维度评测 │ ⑥ 微调模型 ──→ ⑦ 新一轮评测 ``` 这是一个**自进化闭环原型**：每次评测的失败案例都可导出为训练数据，用于下一轮模型微调。当前自动 Agent 使用模板生成修复代码，接入真实模型 API 后才构成完整无人值守闭环。 ## 🚀 快速开始 ### 克隆仓库 ``` git clone --recurse-submodules https://github.com/zhangjiayang6835-cyber/ai-research.git cd ai-research ``` 如果已经普通克隆过，请补拉子模块： ``` git submodule update --init --recursive ``` ### 环境准备 本项目使用 Python 虚拟环境（已预装依赖）： ``` # 激活虚拟环境 source venv/bin/activate ``` ### 运行评测 ``` # 评测引擎测试（37 项） cd eval-engine && pytest tests/ -v # 蜜罐任务测试（8 项） cd ../honeycode-honeypot && pytest tasks/ -v # 训练场测试（59 项） cd ../ai-training-gym && pytest tasks/ -v ``` ### Docker 沙箱 ``` cd eval-engine docker build -t eval-sandbox:latest . ``` ## 🧩 各组件详见 | 组件 | 路径 | 说明 | |------|------|------| | [🍯 honeycode-honeypot](./honeycode-honeypot/) | `honeycode-honeypot/` | 蜜罐系统：任务发布、提交捕获、自动评分、排行榜 | | [📊 eval-engine](./eval-engine/) | `eval-engine/` | 评测引擎：Docker 沙箱、作弊检测、指标计算、报告 | | [🏋️ ai-training-gym](./ai-training-gym/) | `ai-training-gym/` | 训练场：数据生成、LoRA 微调、标准评测框架 | | [🤖 自动 Agent](./scripts/auto_agent_loop.py) | `scripts/` | 原型循环：发现任务 → 模板生成修复 → 评测 → 导出 | ## 📄 许可证 本项目基于 MIT 许可证开源 — 详见 [LICENSE](LICENSE) 文件。 ## 🏆 排行榜  ## 🌟 贡献 欢迎提交 Issue 和 PR！请访问各个组件的专属 README 了解贡献指南： - [honeycode-honeypot 贡献指南](./honeycode-honeypot/README.md#-如何贡献) - [ai-training-gym 贡献指南](./ai-training-gym/README.md#-如何贡献)

标签：AI安全, Chat Copilot, 人工智能, 凭据扫描, 大模型微调, 安全规则引擎, 搜索语句（dork）, 沙箱, 用户模式Hook绕过, 系统调用监控, 蜜罐系统, 评测引擎, 请求拦截, 逆向工具