SRKRZ23/ibm-bob-forge

# FORGE — 基于 IBM Bob 的 LLM 治理策略生成器 FORGE 利用 IBM Bob 深入理解仓库上下文，检测每一个 LLM 调用点和治理漏洞，然后自动生成针对特定代码库的 SOUF AI / Lobster Trap YAML 策略。 ## 🚀 提交（IBM Bob 黑客马拉松，2026年5月） | 资源 | 链接 | |----------|------| | 🎯 lablab.ai 项目页面 | [lablab.ai/.../forge-ai-security-policy-generator-for-llms](https://lablab.ai/ai-hackathons/ibm-bob-hackathon/forge/forge-ai-security-policy-generator-for-llms) | | 🎥 演示视频（3:53，未列出） | [youtu.be/_9PXGN_nxn8](https://youtu.be/_9PXGN_nxn8) | | 💼 LinkedIn 公告 | [linkedin.com/feed/update/...](https://www.linkedin.com/feed/update/urn:li:activity:7461775548038459392/) | | 🐦 X 公告 | [@SardorRazi99093](https://x.com/SardorRazi99093) (搜索 `#ibm-bob-hackathon`) | | 📺 YouTube 频道 | [@FORGE-LLM_SECURITY_SCANNER](https://www.youtube.com/@FORGE-LLM_SECURITY_SCANNER) | **提交时间：** 2026年5月17日 18:46 UZT（截止日期前1小时14分钟） · **状态：** 已接受，评审进行中 **📣 入选“公开构建”系列帖子（黑客马拉松周5篇中的4篇，奖金资格 $242K+）：** [LinkedIn 长文](https://www.linkedin.com/posts/sardor-razikov-569a5327b_atlas-enterprise-multi-agent-system-ai-activity-7462457002317975552-ADGR) · [X 5条推文串](https://x.com/SardorRazi99093/status/2056690128613970060) · [Facebook](https://www.facebook.com/share/p/1Nr4M2WhUG/) — 完整生态系统故事（FORGE + CITADEL + SOUF AI + ATLAS） ## FORGE 的功能 ``` GitHub URL / local path → Bob: full codebase context scan → OWASP LLM Top 10 vulnerability detection → SOUF AI governance policy generation (YAML) → BobShell: tamper-evident audit trail of every action → Ready-to-deploy policy for Lobster Trap / SOUF AI ``` **一条命令。从仓库到受保护。** ## 架构 ``` ┌─────────────────────────────────────────────────────────────────┐ │ FORGE Pipeline │ │ │ │ Repo Path ──► Scanner ──► Findings ──► Generator ──► Policy │ │ │ │ │ │ OWASP LLM SOUF AI YAML │ │ Top 10 map for Lobster Trap │ │ │ │ │ │ BobShell ◄─────────────────────► │ │ (tamper-evident audit trail) │ └─────────────────────────────────────────────────────────────────┘ ``` ### 扫描器：它能检测什么 | 类别 | 示例 | |----------|----------| | LLM 调用点 | `openai.chat.completions.create`, `LLMChain`, `genai.GenerativeModel` | | 提示注入风险 | 包含 `{user_input}` 的 f-strings，`.format(query=...)` | | 缺失输出验证 | 原始 `.content` 使用，`response["choices"][0]` 未验证 | | 凭证暴露 | 硬编码的 `sk-` 密钥，`api_key = "..."` | | 代理过限 | 代理循环中的 `subprocess.run`，`os.system` | | 供应链漏洞 | 未固定的 `langchain`，`llama_index` 导入 | 直接映射到 **OWASP LLM Top 10**（LLM01–LLM10）。 ### 策略生成器：它产生什么 生成的策略是有效的 SOUF AI / Lobster Trap YAML，可直接用于： ``` lobstertrap serve --policy forge_output/my_repo/forge_my_repo.yaml --listen :8080 ``` 每个策略包含： - **入站规则**：阻止/审查提示注入、PII 请求、危险命令 - **出站规则**：阻止凭证泄露、模型输出中的 PII - **速率限制**：根据检测到的 DoS 风险进行校准（LLM04） - **OWASP 元数据**：哪些漏洞触发了哪些规则 ### BobShell：IBM Bob 审计跟踪 FORGE 的每个操作都被记录为一个 BobShell 条目： ``` { "seq": 2, "timestamp": "2026-05-13T16:14:12", "action": "forge_policy_generated", "params": {"policy_name": "forge_atlas", "owasp_findings": ["LLM01", "LLM02"]}, "output_hash": "a3f1b2c4d5e6f7a8", "prev_hash": "c9d8e7f6a5b4c3d2", "entry_hash": "1234567890abcdef", "bob_session_id": "bob_a1b2c3d4e5f6" } ``` 链式结构：`entry_hash = sha256(seq + ts + action + params + output_hash + prev_hash)` — 篡改任一条目 → 链条断裂。 ## 快速开始 ``` # 扫描您的仓库并生成 policy python src/cli/__main__.py scan --repo /path/to/your/llm-app --out ./forge_output # 验证生成的 policy 结构 python src/cli/__main__.py verify --policy forge_output/your-app/forge_your-app.yaml # 在 3 个仓库（ATLAS、CITADEL、FORGE 本身）上运行演示 python src/cli/__main__.py demo # 验证 BobShell 防篡改 SHA-256 审计链 python3 verify_bobshell.py demo/output/forge_sample_vulnerable_repo_bobshell.jsonl # → BobShell 链已验证：4 条目，SHA-256 防篡改 ``` ## 文档 ### 📚 综合指南 - **[USAGE.md](docs/USAGE.md)** — 完整使用指南，包括安装、首次扫描、结果解读和 CI/CD 集成 - **[API.md](docs/API.md)** — Python API 参考，含代码示例，用于编程式使用 - **[OWASP_MAPPING.md](docs/OWASP_MAPPING.md)** — OWASP LLM Top 10 与 FORGE 检测模式和策略的详细映射 - **[SECURITY.md](SECURITY.md)** — 安全考虑、威胁模型和漏洞披露政策 - **[ARCHITECTURE.md](ARCHITECTURE.md)** — 系统架构和设计决策 - **[ROADMAP.md](ROADMAP.md)** — v1.1 / v2 / v3 计划，包含多动作置信度评分 + Plan/Task DAG 架构 - **[CHANGELOG.md](CHANGELOG.md)** — 完整发布历史，包括提交后的改进 ### 💡 工作示例 - **[examples/scan_openai_app/](examples/scan_openai_app/)** — 含漏洞的示例 OpenAI 应用、扫描输出和生成的策略 - **[examples/scan_langchain_app/](examples/scan_langchain_app/)** — LangChain 代理示例，含安全问题及修复方法 - **[examples/ci_integration/](examples/ci_integration/)** — CI/CD 流水线配置（GitHub Actions、GitLab CI、Jenkins、pre-commit 钩子） ### 🚀 入门指南 1. **新用户**：从 [USAGE.md](docs/USAGE.md) 开始，按步骤安装并进行首次扫描 2. **开发者**：查阅 [API.md](docs/API.md) 了解编程集成 3. **安全团队**：审阅 [OWASP_MAPPING.md](docs/OWASP_MAPPING.md) 了解漏洞详情 4. **DevOps**：查看 [examples/ci_integration/](examples/ci_integration/) 设置流水线 ## 演示结果 FORGE 扫描了 AI 可靠性生态系统中的 3 个仓库： | 仓库 | 文件数 | 发现数 | OWASP | BobShell | |------|-------|----------|-------|----------| | ATLAS | 15 | 7 | LLM01, LLM02 | ✅ 已验证（4个操作） | | CITADEL | 27 | 6 | LLM01, LLM08 | ✅ 已验证（4个操作） | | FORGE | 9 | 15 | LLM01, LLM02, LLM05, LLM06, LLM07, LLM08 | ✅ 已验证（4个操作） | 所有策略均成功导入 Lobster Trap： ``` lobstertrap serve --policy forge_output/atlas/forge_atlas.yaml # → 在 :8080 端口提供服务，包含 4 条 ingress 规则 + 2 条 egress 规则 ``` ## OWASP LLM Top 10 覆盖情况（2025 v2） | ID | 名称 | 检测方式 | |----|------|-------------| | LLM01 | 提示注入 | f-string、format()、concat 模式 | | LLM02 | 不安全输出处理 | 原始 `.content`、未验证的响应使用 | | LLM04 | 模型拒绝服务 | 无界 LLM 循环 | | LLM05 | 供应链漏洞 | 未固定的 LLM 框架导入 | | LLM06 | 敏感信息泄露 | 硬编码密钥、模板中的 PII | | LLM07 | 系统提示泄露 | 硬编码系统提示、提示日志、用户连接、f-string 模板 | | LLM08 | 过度授权 | subprocess + 代理模式 | ## IBM Bob 集成 FORGE 围绕 IBM Bob 的深度代码理解能力设计： 1. **Bob 读取整个仓库** — 不只是表面搜索；理解调用链 2. **Bob 分类意图** — 能区分“测试 mock”和“生产 LLM 调用” 3. **BobShell 记录每个操作** — 企业审计的合规产物 4. **Bob 会话 ID** 将每个策略链接到特定的 Bob 分析运行 在生产环境中：`WATSON_BOB_API_KEY` 环境变量激活完整的 Bob API 集成。 ## 文件结构 ``` forge/ ├── src/ │ ├── scanner/ │ │ └── repo_scanner.py # LLM call-site detection + OWASP mapping (LLM01-LLM10) │ ├── generator/ │ │ └── policy_generator.py # SOUF AI YAML policy generation │ ├── audit/ │ │ └── bobshell.py # Tamper-evident IBM Bob audit log │ ├── cli/ │ │ └── __main__.py # CLI: scan | verify | demo │ └── forge.py # Full pipeline orchestrator ├── tests/ # 95 tests (pytest) ├── bob_sessions/ # IBM Bob IDE markdown exports + screenshots (mandatory) ├── docs/ # USAGE.md, API.md, OWASP_MAPPING.md ├── examples/ # Sample apps + CI integrations ├── demo/ # sample_vulnerable_repo + benchmarks ├── forge_output/ # Generated policies (after running demo) ├── ONBOARDING.md # Contributor guide (Bob IDE Task 2 output) ├── RISK_REGISTER.md # Security self-audit (Bob IDE Task 3 output) ├── ARCHITECTURE.md ├── SECURITY.md ├── CHANGELOG.md └── README.md ``` ## 与 AI 可靠性生态系统的连接 ``` FORGE ──generates policies──► SOUF AI (ATLAS governance layer) │ └── YAML policies importable into Lobster Trap binary └── BobShell audit trail used in CITADEL L7 compliance reports └── Scans ATLAS + CITADEL repos for vulnerabilities ``` **该生态系统中的每个黑客马拉松项目都使用 FORGE 生成的策略作为其治理基础。** ## 科学验证 测试套件：**95/95 通过** — 所有断言均为数据驱动，无未经测试的声明。 ``` pytest tests/ -v # → 1.2 秒内通过 95 项测试 # → 覆盖率：整体 41%，policy_generator 100%，repo_scanner 84% ``` ## IBM Bob — 强制提交产物 针对 FORGE 代码库执行了三个生产性的 Bob IDE 任务。每个任务包括导出的 Markdown 记录**和** Bob IDE 任务会话消耗摘要面板的截图，符合官方 IBM Bob 黑客马拉松指南（2026年5月，第18-19页）。 | # | 任务 | Markdown 导出 | 截图 | |---|------|-----------------|--------------| | 1 | 添加 OWASP LLM07 系统提示泄露检测 | [`bob_sessions/task1_llm07.md`](bob_sessions/task1_llm07.md) | [`bob_sessions/task1_llm07_summary.png`](bob_sessions/task1_llm07_summary.png) | | 2 | 生成 `ONBOARDING.md` 贡献者指南（717行） | [`bob_sessions/task2_onboarding.md`](bob_sessions/task2_onboarding.md) | [`task2_onboarding_summary_1.png`](bob_sessions/task2_onboarding_summary_1.png)、[`task2_onboarding_summary_2.png`](bob_sessions/task2_onboarding_summary_2.png) | | 3 | 安全自审 → `RISK_REGISTER.md`（595行） | [`bob_sessions/task3_risk_register.md`](bob_sessions/task3_risk_register.md) | [`task3_risk_register_summary_1.png`](bob_sessions/task3_risk_register_summary_1.png)、[`task3_risk_register_summary_2.png`](bob_sessions/task3_risk_register_summary_2.png) | **Bobcoin 使用量：** ~27 / 40（约 68% 的分配量）。账户：`ibm-coding-challenge-uat`（企业计划）。 补充的 Bob Shell 会话 JSON 文件（可选的 CLI 变体）也保存在 `bob_sessions/` 下，作为早期构建冲刺的历史记录 — 详见 [`bob_sessions/README.md`](bob_sessions/README.md) 获取完整说明。 Bob 产出的产物现位于项目根目录： - [`ONBOARDING.md`](ONBOARDING.md) — 5分钟设置、首次扫描演练、“如何使用真实的 LLM07 示例添加检测模式” - [`RISK_REGISTER.md`](RISK_REGISTER.md) — 5+ 已识别风险，含严重程度、复现 PoC、缓解措施、OWASP ASVS 交叉引用 ## 作者 **Sardor Razikov** — 独立 ML 工程师 · 创始人 · 研究员 · 塔什干 🇺🇿 **研究与竞赛** - CVPR 2026 步态识别挑战赛：**第 2 名 / 56 支团队**（sub40 = 0.90271） - Kaggle SPR 2026 乳腺X线摄影：**第 7 名 / 371 支团队**（前 1.9%） — 葡萄牙语医学 NLP / BI-RADS - Kaggle S6E3 客户流失：第 23 名 / 4,142（前 1%） - 作者：[Epistemic Curie 基准测试](https://doi.org/10.5281/zenodo.19791329) — Zenodo DOI，CC BY 4.0 - AIMO3（XTX $2.2M 奥林匹克数学）：使用定制的 SC-TIR 推理流水线在 gpt-oss-120B 上取得 39 / 50 分 **创始人履历** - UCAR（汽车服务市场，2023至今）— **2023 U-Start 演示日第一名**（85M UZS 补助 + 韩国实习） - **2024 首尔 KUSE** — 总排名第二，国际组第一（KOICA × 顺天乡大学） - **UJC PMP-43** 高管项目管理 — 有史以来录取的最年轻学生 - 掌握5种语言（乌兹别克语 / 俄语 / 英语 / 土耳其语 B1 / 中文）· 业务覆盖英国、中国、韩国、乌兹别克斯坦 **FORGE：由一人独立完成，经历 5 个 Bob Shell 会话 + 3 个 Bob IDE 任务（使用 ~27 / 40 Bobcoins）。** ## 团队 FORGE 由 Sardor Razikov 独立构建，获得了塔什干一个小型资深导师网络（技术、商业和运营领域）的非正式战略指导。寻求在融资后正式确定联合创始人并组建工程团队。 **欢迎大型战略合作伙伴咨询** — 任何对招聘、收购或合作感兴趣的人均可通过以下地址联系。 ## 联系方式 | 渠道 | 地址 | |---|---| | 电子邮件（主要） | razikovsardor1@gmail.com | | 电子邮件（备用） | razikovs777@gmail.com | | LinkedIn | [linkedin.com/in/sardor-razikov-569a5327b](https://linkedin.com/in/sardor-razikov-569a5327b) | | X | [@SardorRazi99093](https://x.com/SardorRazi99093) | | GitHub | [SRKRZ23](https://github.com/SRKRZ23) | | lablab | [lablab.ai/u/@Sardor_R](https://lablab.ai/u/@Sardor_R) | 为 [2026 年 IBM Bob 黑客马拉松](https://lablab.ai/ai-hackathons/ibm-bob-hackathon) 构建 · AI 可靠性生态系统的一部分：SOUF AI · CITADEL · ATLAS · FORGE

标签：AI安全, AI治理工具, Chat Copilot, DevSecOps, GitHub集成, IBM Bob, LLM安全扫描器, LLM治理, OWASP Top 10, YAML政策, 上游代理, 人工智能安全, 代码安全, 代码治理, 合规性, 大型语言模型, 安全扫描, 安全策略生成, 审计跟踪, 数据管道, 时序注入, 治理政策, 漏洞枚举, 结构化查询, 自动化安全, 自动合规, 软件工程, 逆向工具