Kartikpatel1202/AgenticAiSafety
GitHub: Kartikpatel1202/AgenticAiSafety
Agentic AI Safety 是一个综合性的 LLM Agent 安全平台，通过安全护栏、攻击模拟、风险评估和监控 Dashboard 来检测并防御 prompt injection 和 jailbreak 等对抗攻击。
Stars: 0 | Forks: 0
# 🛡️ Agentic AI 安全
**LLM Agent 的对抗鲁棒性**
一个综合平台，用于评估和提升基于 LLM 的 agent 针对 prompt injection、jailbreak 及对抗攻击的安全性。
## 📋 概述
本项目提供：
- **安全 LLM Agent** — 具备多层安全防御的 agent
- **攻击库** — 用于红队测试的 50 多种对抗攻击模板
- **实时检测** — Prompt injection 与 jailbreak 检测 pipeline
- **风险评分** — 对每个 prompt 进行定量风险分析
- **评估引擎** — 带有指标的全自动化安全基准测试
- **Dashboard** — 用于监控和分析的可视化界面
## 🚀 快速开始
### 前置条件
- Python 3.11 或更高版本
- OpenAI API key（或用于本地模型的 Ollama）
### 安装
```
# 1. Clone the repository
git clone https://github.com/yourusername/agentic-ai-safety.git
cd agentic-ai-safety
# 2. 创建虚拟环境
python -m venv venv
source venv/bin/activate # Linux/Mac
venv\Scripts\activate # Windows
# 3. 安装依赖
pip install -r requirements.txt
# 4. 配置环境
cp .env.example .env
# 使用您的 API 密钥和设置编辑 .env
# 5. 初始化数据库
python -m src.database.sqlite_manager
# 6. 启动 API 服务器
uvicorn src.api.main:app --reload --host 127.0.0.1 --port 8000
# 7. 启动 dashboard（在单独的终端中）
streamlit run dashboard/app.py
```
### 验证安装
```
# 健康检查
curl http://127.0.0.1:8000/api/v1/health
```
## 📁 项目结构
```
agentic-ai-safety/
├── config/ # Configuration & constants
├── src/
│ ├── api/ # FastAPI application & routes
│ ├── agent/ # LLM Agent core (Phase 3)
│ ├── security/ # Security pipeline (Phase 4)
│ ├── attacks/ # Attack library (Phase 5)
│ ├── evaluation/ # Evaluation engine (Phase 7)
│ ├── database/ # Database layer
│ └── common/ # Shared utilities
├── dashboard/ # Streamlit frontend (Phase 6)
├── data/ # Attack patterns & DB storage
├── tests/ # Test suite
├── docs/ # Documentation
└── logs/ # Runtime logs
```
## 🛠️ 技术栈
| 技术 | 用途 |
|------------|---------|
| Python 3.11+ | 核心语言 |
| FastAPI | 后端 API |
| LangChain | Agent 框架 |
| OpenAI / Ollama | LLM 提供商 |
| ChromaDB | 向量数据库 |
| SQLite | 关系型数据库 |
| Streamlit | Dashboard UI |
| Pydantic | 数据校验 |
| structlog | 结构化日志 |
## 📖 文档
- [第一阶段 - 架构](docs/phase1_architecture.md)
## 📄 许可证
# 本项目采用 MIT License 授权。
# AgenticAiSafety
Agentic AI Safety 是一个 AI 安全项目，旨在构建一个安全的、由 LLM 驱动的 agent，能够检测并防御 prompt injection、jailbreak 及其他对抗攻击。它集成了安全护栏、风险分析、工具权限控制、日志记录、基准测试和监控 Dashboard，以提升 AI 的安全性与可靠性。
标签：AI智能体, AI风险缓解, AV绕过, DLL 劫持, FastAPI, Kubernetes, 人工智能安全, 合规性, 大语言模型, 红队评估, 逆向工具