Kavya20060702/CN-PROJECT-Agentic-Guardrail-Engine

GitHub: Kavya20060702/CN-PROJECT-Agentic-Guardrail-Engine

一个实时监控和拦截 AI Agent 敏感操作的安全框架,通过策略评估和人工审批机制防止未经授权的自动化行为。

Stars: 0 | Forks: 1

# 🛡️ Agentic Guardrail 引擎 一个专注于安全的框架,旨在实时监控、评估和控制 AI agent 的操作。 Agentic Guardrail Engine 在自主 AI agent 和关键系统之间充当保护层,通过执行安全策略、拦截恶意请求,并要求对敏感操作进行人工审批来发挥作用。 ## 🎥 演示视频 ## 🚀 功能 - 实时 AI 操作监控 - 基于策略的安全执行 - 检测未经授权的操作 - Human-in-the-loop 审批机制 - 防御语义权限提升 - 安全的 API 请求验证 - 轻量级且易于部署 ## 🎯 问题陈述 现代 AI agent 可以自主执行 API 调用、工作流,并访问敏感资源。 传统的安全机制通常无法检测到: - 语义权限提升 - 未经授权的 agent 操作 - 敏感的财务操作 - 恶意的系统命令 ## 本项目引入了一个 Guardrail Engine,它会在执行前评估每个 AI 操作。 AI Agent 请求 ↓ Guardrail Engine ↓ 策略评估 ↓ 允许 / 拦截 / 人工审批 ### 可能的结果 ## ✅ 允许 ❌ 拦截 👤 需要人工审批 ## 🛠️ 技术栈 - Python - Flask API - #Kali Linux - REST API - Curl 测试 ## ⚙️ 安全策略 ### 拦截的操作 - delete_logs - shutdown_server ### 需要人工审批的操作 - transfer_money - access_finance ### 允许的操作 - read_student_data - 其他非敏感操作 📈 优势 防止恶意的 AI 操作 执行组织策略 保护敏感系统 支持安全的 AI 自动化 实现实时监控 🔮 未来增强功能 基于机器学习的意图检测 异常检测系统 企业 API 网关集成 安全仪表盘 自动化告警机制 风险评分引擎 🌍 实际应用场景 银行交易监控 企业 AI 治理 云安全防护 金融自动化系统 安全的 AI 助手 🎓 学术项目 作为网络安全 / AI 安全黑客松项目开发。 团队成员 P. Kavya Sai Dama Poojitha V. Parnavi
标签:AI护栏, Flask, Python, Streamlit, 人工智能安全, 人机交互, 合规性, 无后门, 访问控制, 逆向工具