Ashwatha4502/ai-grit

# 🛡️ AI-GRIT ### AI 治理与红队智能工具包  ## 功能简介 **模块 1 — 治理风险引擎** - 根据 **13 项 NIST AI RMF 控制**措施，在所有 4 个功能（治理、映射、测量、管理）中对任何 AI 用例进行评估 - 将发现的问题映射到 **ISO 42001 条款**和 **OWASP LLM Top 10** - 生成风险评分、严重程度细分和排名的修复计划 - 为受监管行业预置标准：HIPAA、GDPR、EU AI Act、FedRAMP、SOC 2 **模块 2 — 红队引擎** - 对运行中的本地 LLM 执行 **25 种对抗性攻击**（通过 Ollama 实现 — 完全离线，无需 API key） - 攻击类别：Prompt Injection、Jailbreak、Data Exfiltration、Excessive Agency、Insecure Output、Supply Chain - 对模型安全进行评级（A–F），并提供针对具体攻击的漏洞检测 **输出 — 面向 CISO 的 PDF 报告** - 包含执行摘要和记分卡的封面 - 完整的发现结果表（治理 + 红队） - 30 天优先修复计划 - 可从 Streamlit UI 直接下载 ## 技术栈 | 工具 | 用途 | |---|---| | Python 3.11+ | 核心引擎 | | Streamlit | 仪表盘 UI | | Ollama | 本地 LLM runtime（Llama 3, Mistral, Phi-3） | | fpdf2 | PDF 报告生成 | | Requests | Ollama API 调用 | ## 快速开始 ### 1. 安装 Ollama 并拉取模型 ``` # 安装 Ollama: https://ollama.com ollama pull llama3 ``` ### 2. 克隆仓库并安装依赖 ``` git clone https://github.com/YOUR_USERNAME/ai-grit.git cd ai-grit pip install -r requirements.txt ``` ### 3. 运行 ``` streamlit run app.py ``` 打开 `http://localhost:8501` — 在侧边栏中配置您的用例，点击 **Run Full Assessment**。 ## 用例演示：医疗 LLM 分诊 默认演示评估了部署在医院 EHR 内部用于分诊患者信息的 LLM — 这是一个来自 HCA Healthcare 数据治理项目的真实业务场景。 **它会揭示以下示例发现：** - `MS-2.1` 严重 — 面向客户的 LLM 在部署前未经过红队测试 - `MN-3.1` 高危 — 处理的 PHI 数据缺乏保留/删除策略 - `MP-2.1` 严重 — PHI 数据 pipeline 未应用 HIPAA 控制措施 ## 涉及的框架 - **NIST AI RMF** (GOVERN · MAP · MEASURE · MANAGE) - **OWASP LLM Top 10** (LLM01–LLM10) - **ISO 42001** AI 管理体系条款 - **HIPAA Security Rule** 技术保障措施 ## 项目结构 ``` ai-grit/ ├── app.py # Streamlit dashboard ├── core/ │ └── risk_engine.py # NIST AI RMF control library + scoring ├── attacks/ │ └── red_team.py # 25-attack prompt injection library ├── reports/ │ └── generator.py # PDF report generation └── requirements.txt ``` ## 开发初衷 大多数 AI 治理工作通常依赖于电子表格，而大多数红队测试则在孤立的 notebook 中进行。该工具将两者结合成一个工作流，还原了专注于治理的 FDE 在实际客户项目中的真实操作：评估风险状况、探测模型、生成报告，最后提交给 CISO。 本项目作为个人作品集的一部分，旨在寻求云和 AI 公司的 AI 治理及 Forward Deployed Engineering 职位。 ## 作者 **Ashwatha Narayan** 网络安全硕士，东北大学 (Northeastern University) [LinkedIn](https://linkedin.com/in/ashwathanarayan) · raman.as@northeastern.edu 框架：NIST AI RMF · ISO 42001 · OWASP LLM Top 10 · HIPAA 毕业项目：HCA Healthcare (Mobile Heartbeat) 的数据治理与 AI 风险管理

标签：AI治理, AI风险缓解, Kubernetes, LLM测试, Python, Streamlit, 人工智能安全, 合规性, 字符串匹配, 无后门, 红队评估, 访问控制, 逆向工具