neehanayak/ai-incident-response-agent

# AI 事件响应 Agent 一个用于对基础设施事件进行分诊、分析和缓解的自动化 AI agent。基于 **FastAPI**、**LangGraph** 和 **SQLAlchemy** 构建，并使用由 Langfuse 驱动的 **LLM-as-a-judge** 框架进行评估。 ## 目录 - [前置条件](#prerequisites) - [快速开始](#getting-started) - [1. 环境配置](#1-environment-setup) - [2. 安装依赖](#2-install-dependencies) - [3. 启动数据库](#3-start-the-database) - [4. 运行应用程序](#4-run-the-application) - [评估与指标](#evaluation--metrics) - [核心指标](#core-metrics) - [运行评估](#running-evaluations) - [技术栈](#tech-stack) ## 前置条件 在开始之前，请确保你的 Windows 机器上已安装以下内容： | 工具 | 用途 | |---|---| | [Python 3.11+](https://www.python.org/downloads/) | 运行时 | | [Poetry](https://python-poetry.org/docs/#installation) | 依赖管理 | | [Docker Desktop](https://www.docker.com/products/docker-desktop/) | 运行 PostgreSQL 数据库 | ## 快速开始 ### 1. 环境配置 本项目使用**分离的环境文件**。由于 Docker Compose 和 FastAPI 应用在 Windows 上解析文件路径的方式不同，你必须在项目根目录下维护 `.env` 和 `.env.development` **这两个文件**，并确保它们包含相同的数据库凭据。 创建这两个文件，并按如下方式填充内容： ``` # 数据库 POSTGRES_HOST=127.0.0.1 POSTGRES_PORT=5432 POSTGRES_DB=mydb POSTGRES_USER=myuser POSTGRES_PASSWORD=mypassword # Application ENV=development OPENAI_API_KEY=your_openai_api_key_here LANGFUSE_PUBLIC_KEY=your_langfuse_public_key_here LANGFUSE_SECRET_KEY=your_langfuse_secret_key_here LANGFUSE_HOST=https://us.cloud.langfuse.com ``` ### 2. 安装依赖 ``` poetry install ``` ### 3. 启动数据库 确保 Docker Desktop 正在运行，然后启动 PostgreSQL 容器： ``` docker-compose down docker-compose up -d db ``` ### 4. 运行应用程序 启动 FastAPI 开发服务器： ``` poetry run uvicorn app.main:app --reload ``` 运行后，可以通过以下地址访问交互式 API 文档 (Swagger UI)： **http://127.0.0.1:8000/docs** ## 评估与指标 本项目包含一个由 [Langfuse](https://langfuse.com) 驱动的 **LLM-as-a-judge** 评估套件，用于监控和评估 agent 随时间推移的响应质量。 ### 核心指标 | 指标 | 描述 | |---|---| | **简洁性 (Conciseness)** | 检查 agent 的回复是否没有不必要的废话 | | **幻觉 (Hallucination)** | 检测捏造的系统日志或不存在的错误 | | **有用性 (Helpfulness)** | 验证缓解措施是否清晰且可执行 | | **相关性 (Relevancy)** | 确认回复是否直接针对报告的事件 | | **毒性 (Toxicity)** | 标记不安全或不专业的语言 | ### 运行评估 由于 `make` 在 Windows 上原生不可用，请直接运行评估模块： ``` set ENV=development&& poetry run python evals/main.py --quick ``` 评估脚本会从 Langfuse 检索真实的历史 trace，并根据上述指标对其进行评分。 ## 技术栈 - **[FastAPI](https://fastapi.tiangolo.com/)** — API 框架 - **[LangGraph](https://langchain-ai.github.io/langgraph/)** — Agent 编排 - **[SQLAlchemy](https://www.sqlalchemy.org/)** — ORM 和数据库管理 - **[PostgreSQL](https://www.postgresql.org/)** — 主数据存储（通过 Docker） - **[Langfuse](https://langfuse.com/)** — LLM 可观测性和评估 - **[Poetry](https://python-poetry.org/)** — Python 依赖管理

标签：AI智能体, AV绕过, BurpSuite集成, FastAPI, LangGraph, RAG, 故障响应, 测试用例, 请求拦截, 运维监控, 逆向工具