zxvozayy/global-incident-monitor

# 全球事件监控 一个实时、多语言的 OSINT（开源情报） pipeline，可聚合全球新闻源，利用基于 LLM 的 pipeline 对事件进行分类，并与经过验证的历史数据集进行交叉比对——同时提供地理空间和时间轴可视化。 本项目作为一个端到端的数据工程 + AI 系统构建：数据摄取 → 多语言相关性过滤 → LLM 分类 → 结构化提取 → 可视化。 ## 功能介绍 聚合、分类并可视化来自全球 153 个国家/地区 330 多个新闻源的事件报道，将经过验证的历史统计数据与实时 LLM 分类的新闻相结合，呈现出单一、可查询的实时全景。 ### 核心功能 | 功能 | 描述 | |---|---| | **实时新闻 Pipeline** | 每 5 分钟抓取 15+ 种语言的 330+ 个 RSS 订阅源 | | **AI 分类** | 双层分类：关键词规则 + Groq LLaMA 3.1 — 涵盖 6 种事件类别 | | **覆盖 153 个国家/地区** | 针对每个国家/地区的 Google News 搜索订阅源 + 发布者 RSS | | **38 年历史数据** | 从多个主要来源交叉比对得到的经过验证的统计数据 | | **世界热力图** | 基于国家/地区级别事件密度的 D3.js 交互式地图 | | **事件数据库** | 由 AI 提取的结构化事件记录，包含位置、类别、严重程度 | | **传播追踪** | 追踪新闻报道在各媒体间的传播路径，识别原始发布者 | | **多语言 NLP** | 支持阿拉伯语、法语、德语、土耳其语、俄语、中文、印地语等的相关性过滤 | | **AI 聊天助手** | 基于数据集的自然语言查询，由通过 Groq 提供的 LLaMA 3.1 驱动 | ## 系统架构 ``` 330+ RSS Feeds ──► Relevance Filter ──► AI Classifier ──► Location Extractor GDELT API ──► (15+ languages) ──► Event Detector ──► Incident Extractor Guardian API Propagation Tracker NewsAPI │ Unified Snapshot Service │ ┌────────────────┼────────────────┐ REST API WebSocket Frontend /api/news live updates 6 pages /api/map /api/chat ``` ### 技术栈 - **后端：** Node.js, Express.js - **AI：** Groq API (LLaMA 3.1 8B) — 分类、摘要、聊天、翻译 - **前端：** Vanilla JS, D3.js, Chart.js - **数据源：** GDELT, Guardian API, NewsAPI, 330+ 个 RSS 订阅源 - **存储：** 基于 JSON 的文章存储库（最多支持 5 万篇文章） ## 分类 Pipeline **第一层 — 多语言规则引擎** 支持 15+ 种语言的关键词评分，包含主要、次要、否定和上下文词汇。即时处理，零成本。 **第二层 — Groq AI (LLaMA 3.1 8B)** 处理语义模糊的文章。提取类别、严重程度、位置和关键实体。在免费额度内运行。 **6 大类别：** `incident` · `political` · `media` · `discrimination` · `institutional` · `online` ## 环境配置 ``` git clone https://github.com/zxvozayy/global-incident-monitor.git cd global-incident-monitor npm install cp .env.example .env # 添加你的免费 API keys (Groq, Guardian, NewsAPI) node server.js # 打开 http://localhost:3000 ``` 免费 API 密钥获取：[Groq](https://console.groq.com) · [Guardian](https://open-platform.theguardian.com) · [NewsAPI](https://newsapi.org) ## 页面说明 | 页面 | 描述 | |---|---| | `/` | 核心统计数据、历史图表、类别细分、实时 KPI | | `/timeline` | 包含主要来源引用的完整交互式历史记录 | | `/news` | 实时分类文章 | | `/map` | D3 世界热力图 — 点击任意国家/地区查看详情 | | `/incidents` | 支持筛选的结构化事件数据库 | | `/about` | 完整的研究方法与所有数据来源 | ## 核心 API Endpoints ``` GET /api/news/all Combined articles from all sources GET /api/map/unified Country-level incident data GET /api/incidents Incident database GET /api/stats/cross-verified Verified timeline GET /api/propagation News propagation graph POST /api/chat AI chat assistant ``` ## 起源与范围 本 pipeline 最初构建是为了追踪全球范围内的反穆斯林仇恨事件，其数据主要来源包括 FBI UCR、CAIR、Tell MAMA UK、ENAR EU、German BMI、France CCIF/CNCDH、Canada NCCM 和 Australia IRA。其底层架构——多源摄取、多语言 NLP 过滤、LLM 分类、地理空间与历史可视化——可广泛应用于任何实时事件监控或媒体情报领域。 ## 许可证 专有许可 — 详见 [LICENSE](LICENSE)。

标签：DLL 劫持, ESC4, MITM代理, OSINT, Sysdig, 大语言模型, 情报分析, 数据工程, 新闻聚合, 网络诊断, 自定义脚本