KaranKumar2326/SentinelX

GitHub: KaranKumar2326/SentinelX

面向数据运维的自主数据可靠性平台,集成 OpenMetadata 元数据监控、AI 根因分析与 Airflow 自动修复闭环,解决数据事件的检测、诊断与自愈问题。

Stars: 1 | Forks: 0

# 🛡️ SentinelX:自主数据可靠性引擎 [![SentinelX 演示](https://img.shields.io/badge/🎥_Watch_Demo-SentinelX-blueviolet?style=for-the-badge)](https://drive.google.com/file/d/1zTKIaCkUtCgRroeRu0ImeFZ4AD12bpOS/view?usp=sharing) ## 🌟 概述 SentinelX 是一个最先进的**数据可靠性平台**,旨在解决“隐性数据故障”问题。与仅发出警报的传统监控不同,SentinelX 通过打通 Metadata、Orchestration 和 AI 之间的闭环,能够**自主检测**、**诊断 (RCA)** 和**修复**数据事件。 ### 🚀 核心特性 * **实时元数据可观测性**:与 **OpenMetadata** 深度集成,以监控数据质量 (DQ)、归属和新鲜度。 * **AI 驱动的根因分析**:利用 **Groq 加速的 LLM** 分析血缘数据,精准定位故障源头。 * **自主修复**:一键“自愈”触发 **Airflow/Astronomer** DAG 重新运行并修复受损的数据集。 * **血缘与爆炸半径**:交互式可视化下游影响,防止错误数据影响高管看板。 * **企业级告警**:强大的通知引擎,支持 **Resend (Email)** 和 **Slack Webhooks**,并提供实时发送日志。 ## 🛠️ 技术栈 ### **前端** - **框架**:React 18 (Vite) - **样式**:Tailwind CSS / Vanilla CSS - **可视化**:React Flow (血缘图) - **图标**:Lucide React - **状态管理/API**:Axios + React Context ### **后端** - **运行时**:Node.js + TypeScript - **数据库**:PostgreSQL (托管于 Neon.tech) - **ORM**:Prisma - **通信**:Socket.io (实时更新) - **编排**:Airflow REST API (Astronomer) ## 🏗️ 架构 ``` graph TD A[OpenMetadata] -- Metadata Events --> B(SentinelX Detection Engine) B -- AI Analysis --> C[Groq AI Agent] C -- Root Cause --> D[SentinelX Dashboard] D -- One-Click Fix --> E[Airflow / Astronomer] E -- Re-run Pipeline --> A B -- Multi-Channel Alert --> F[Resend / Slack] ``` ## 🚦 快速开始 ### 1. 前置条件 - Node.js (v18+) - PostgreSQL 实例 - OpenMetadata 实例 (v1.2+) ### 2. 环境配置 在 `/backend` 目录下创建 `.env` 文件: ``` DATABASE_URL="your_postgres_url" OPEN_METADATA_URL="http://your-om-server:8585/api/v1" OPEN_METADATA_TOKEN="your_jwt_token" AIRFLOW_URL="your_astronomer_url" AIRFLOW_API_TOKEN="your_astro_token" SMTP_HOST="smtp.resend.com" SMTP_PASS="your_resend_key" GROQ_API_KEY="your_groq_key" ``` ### 3. 安装说明 ``` # 安装 dependencies npm install # Database sync npx prisma generate npx prisma db push # 启动 Backend cd backend && npm run dev # 启动 Frontend cd frontend && npm run dev ``` ## 🎥 视频演示 请观看 SentinelX 实际运行的完整演示,展示其实时检测与自主修复能力: [**在 Google Drive 上观看 SentinelX 演示**](https://drive.google.com/file/d/1zTKIaCkUtCgRroeRu0ImeFZ4AD12bpOS/view?usp=sharing) ## ⚖️ 许可证 基于 MIT 许可证分发。有关更多信息,请参见 `LICENSE`。 为 2026 OpenMetaData 黑客松倾注 ❤️ 打造。
标签:Airflow, AI根因分析, Astronomer, Data Observability, GNU通用公共许可证, LLM, MITM代理, Node.js, OpenMetadata, PostgreSQL, Prisma, React, React Flow, Self-Healing, Slack集成, Socket.io, Syscalls, TypeScript, Unmanaged PE, Vite, 元数据监控, 元数据驱动, 安全插件, 数据事件响应, 数据可靠性平台, 数据告警, 数据异常检测, 数据治理, 数据监控, 数据管道编排, 数据血缘, 数据质量监控, 测试用例, 自主修复, 自动化攻击, 自动化运维, 静默数据故障, 黑客松项目