KaranKumar2326/SentinelX
GitHub: KaranKumar2326/SentinelX
面向数据运维的自主数据可靠性平台,集成 OpenMetadata 元数据监控、AI 根因分析与 Airflow 自动修复闭环,解决数据事件的检测、诊断与自愈问题。
Stars: 1 | Forks: 0
# 🛡️ SentinelX:自主数据可靠性引擎
[](https://drive.google.com/file/d/1zTKIaCkUtCgRroeRu0ImeFZ4AD12bpOS/view?usp=sharing)
## 🌟 概述
SentinelX 是一个最先进的**数据可靠性平台**,旨在解决“隐性数据故障”问题。与仅发出警报的传统监控不同,SentinelX 通过打通 Metadata、Orchestration 和 AI 之间的闭环,能够**自主检测**、**诊断 (RCA)** 和**修复**数据事件。
### 🚀 核心特性
* **实时元数据可观测性**:与 **OpenMetadata** 深度集成,以监控数据质量 (DQ)、归属和新鲜度。
* **AI 驱动的根因分析**:利用 **Groq 加速的 LLM** 分析血缘数据,精准定位故障源头。
* **自主修复**:一键“自愈”触发 **Airflow/Astronomer** DAG 重新运行并修复受损的数据集。
* **血缘与爆炸半径**:交互式可视化下游影响,防止错误数据影响高管看板。
* **企业级告警**:强大的通知引擎,支持 **Resend (Email)** 和 **Slack Webhooks**,并提供实时发送日志。
## 🛠️ 技术栈
### **前端**
- **框架**:React 18 (Vite)
- **样式**:Tailwind CSS / Vanilla CSS
- **可视化**:React Flow (血缘图)
- **图标**:Lucide React
- **状态管理/API**:Axios + React Context
### **后端**
- **运行时**:Node.js + TypeScript
- **数据库**:PostgreSQL (托管于 Neon.tech)
- **ORM**:Prisma
- **通信**:Socket.io (实时更新)
- **编排**:Airflow REST API (Astronomer)
## 🏗️ 架构
```
graph TD
A[OpenMetadata] -- Metadata Events --> B(SentinelX Detection Engine)
B -- AI Analysis --> C[Groq AI Agent]
C -- Root Cause --> D[SentinelX Dashboard]
D -- One-Click Fix --> E[Airflow / Astronomer]
E -- Re-run Pipeline --> A
B -- Multi-Channel Alert --> F[Resend / Slack]
```
## 🚦 快速开始
### 1. 前置条件
- Node.js (v18+)
- PostgreSQL 实例
- OpenMetadata 实例 (v1.2+)
### 2. 环境配置
在 `/backend` 目录下创建 `.env` 文件:
```
DATABASE_URL="your_postgres_url"
OPEN_METADATA_URL="http://your-om-server:8585/api/v1"
OPEN_METADATA_TOKEN="your_jwt_token"
AIRFLOW_URL="your_astronomer_url"
AIRFLOW_API_TOKEN="your_astro_token"
SMTP_HOST="smtp.resend.com"
SMTP_PASS="your_resend_key"
GROQ_API_KEY="your_groq_key"
```
### 3. 安装说明
```
# 安装 dependencies
npm install
# Database sync
npx prisma generate
npx prisma db push
# 启动 Backend
cd backend && npm run dev
# 启动 Frontend
cd frontend && npm run dev
```
## 🎥 视频演示
请观看 SentinelX 实际运行的完整演示,展示其实时检测与自主修复能力:
[**在 Google Drive 上观看 SentinelX 演示**](https://drive.google.com/file/d/1zTKIaCkUtCgRroeRu0ImeFZ4AD12bpOS/view?usp=sharing)
## ⚖️ 许可证
基于 MIT 许可证分发。有关更多信息,请参见 `LICENSE`。
为 2026 OpenMetaData 黑客松倾注 ❤️ 打造。
标签:Airflow, AI根因分析, Astronomer, Data Observability, GNU通用公共许可证, LLM, MITM代理, Node.js, OpenMetadata, PostgreSQL, Prisma, React, React Flow, Self-Healing, Slack集成, Socket.io, Syscalls, TypeScript, Unmanaged PE, Vite, 元数据监控, 元数据驱动, 安全插件, 数据事件响应, 数据可靠性平台, 数据告警, 数据异常检测, 数据治理, 数据监控, 数据管道编排, 数据血缘, 数据质量监控, 测试用例, 自主修复, 自动化攻击, 自动化运维, 静默数据故障, 黑客松项目