Kavya20060702/CN-PROJECT-Agentic-Guardrail-Engine
GitHub: Kavya20060702/CN-PROJECT-Agentic-Guardrail-Engine
一个实时监控和拦截 AI Agent 敏感操作的安全框架,通过策略评估和人工审批机制防止未经授权的自动化行为。
Stars: 0 | Forks: 1
# 🛡️ Agentic Guardrail 引擎
一个专注于安全的框架,旨在实时监控、评估和控制 AI agent 的操作。
Agentic Guardrail Engine 在自主 AI agent 和关键系统之间充当保护层,通过执行安全策略、拦截恶意请求,并要求对敏感操作进行人工审批来发挥作用。
## 🎥 演示视频
## 🚀 功能
- 实时 AI 操作监控
- 基于策略的安全执行
- 检测未经授权的操作
- Human-in-the-loop 审批机制
- 防御语义权限提升
- 安全的 API 请求验证
- 轻量级且易于部署
## 🎯 问题陈述
现代 AI agent 可以自主执行 API 调用、工作流,并访问敏感资源。
传统的安全机制通常无法检测到:
- 语义权限提升
- 未经授权的 agent 操作
- 敏感的财务操作
- 恶意的系统命令
## 本项目引入了一个 Guardrail Engine,它会在执行前评估每个 AI 操作。
AI Agent 请求
↓
Guardrail Engine
↓
策略评估
↓
允许 / 拦截 / 人工审批
### 可能的结果
## ✅ 允许
❌ 拦截
👤 需要人工审批
## 🛠️ 技术栈
- Python
- Flask API
- #Kali Linux
- REST API
- Curl 测试
## ⚙️ 安全策略
### 拦截的操作
- delete_logs
- shutdown_server
### 需要人工审批的操作
- transfer_money
- access_finance
### 允许的操作
- read_student_data
- 其他非敏感操作
📈 优势
防止恶意的 AI 操作
执行组织策略
保护敏感系统
支持安全的 AI 自动化
实现实时监控
🔮 未来增强功能
基于机器学习的意图检测
异常检测系统
企业 API 网关集成
安全仪表盘
自动化告警机制
风险评分引擎
🌍 实际应用场景
银行交易监控
企业 AI 治理
云安全防护
金融自动化系统
安全的 AI 助手
🎓 学术项目
作为网络安全 / AI 安全黑客松项目开发。
团队成员
P. Kavya Sai
Dama Poojitha
V. Parnavi
标签:AI护栏, Flask, Python, Streamlit, 人工智能安全, 人机交互, 合规性, 无后门, 访问控制, 逆向工具