ram2163772-cyber/argos-intel

## ⚡ 30 秒演示 ``` $ python argos_correlate.py --scope full ``` ``` ╔══════════════════════════════════════════════════════════════════╗ ║ 🔱 ARGOS CORRELATION ENGINE — Full Scope Scan ║ ╠══════════════════════════════════════════════════════════════════╣ ║ ║ ║ 📡 Channels Monitored ......... 1,693 ║ ║ 📄 Documents Indexed .......... 43,549 ║ ║ 🎯 CVEs Tracked ............... 894 ║ ║ 🔗 Cross-Channel Correlations . 3,424 ║ ║ ║ ║ 🚨 ALERTS ───────────────────────────────────────────────── ║ ║ ████ CRITICAL ................. 26 [█▓▓▓▓▓▓▓░░] ║ ║ ████ HIGH ..................... 583 [█▓▓▓▓▓░░░░] ║ ║ ████ MEDIUM ................... 833 [█▓▓▓░░░░░░] ║ ║ ║ ║ 🔥 TOP CORRELATION ║ ║ CVE-2025-32432 (CVSS 9.8) mentioned in 47 channels ║ ║ ├─ Exploit PoC: t.me/darknet_exploits/12891 ║ ║ ├─ KEV Listed: ✅ EPSS: 0.973 ║ ║ ├─ NER: 12 IPs · 8 Domains · 3 Hashes extracted ║ ║ └─ Priority Score: 99.2 / 100 ⛔ IMMEDIATE ACTION ║ ║ ║ ║ ✅ Correlation complete — 3,424 links across 1,693 channels ║ ╚══════════════════════════════════════════════════════════════════╝ ``` ## 🧠 为什么选择 ARGOS？ Telegram 是全球最大的无监管威胁情报源——勒索软件团伙、0day 漏洞交易者、APT 操作人员和漏洞利用市场在数千个频道中公开活动。**没有人有时间去手动监控它们。** ARGOS 是为您代劳的开源情报引擎： - **实时监控** 1,693+ 个频道 - **关联** 您无法手动联系的各个频道中的 CVE、IOC 和主题 - **优先级排序** 采用 CVSS + CISA KEV + EPSS——了解*真正*正在被利用的威胁 - **提取** 实体（IP、域名、哈希值、CVE），结合正则表达式与 GLiNER NER 技术 - **搜索** 结合 FTS5 与语义相似度搜索（sqlite-vec）——发现关键词搜索遗漏的内容 - **报告** 自动生成、去重和富化的情报报告 **一个引擎。所有信号。零噪音。** ## 🏛️ 架构 ``` ┌─────────────────────────────────────────────────────────────────────┐ │ 🔱 ARGOS INTELLIGENCE ENGINE │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────────────────┐ │ │ │ 📡 TG Monitor │ │ 🌐 Universal │ │ 🔍 Intel Bridge │ │ │ │ (real-time) │ │ Scraping │ │ (discovery + monitor) │ │ │ └──────┬───────┘ │ Engine │ └──────────┬───────────────┘ │ │ │ │ (SearXNG + │ │ │ │ ┌──────┴───────┐ │ adaptive │ ┌──────────┴───────────────┐ │ │ │ 🚀 Fleet │ │ hunter) │ │ 🔎 Self Scanner │ │ │ │ Scraper │ └──────┬───────┘ └──────────┬───────────────┘ │ │ │ (multi-acct │ │ │ │ │ │ Telethon) │ │ │ │ │ └──────┬───────┘ │ │ │ │ │ │ │ │ │ └────────┬────────┴─────────┬───────────┘ │ │ │ │ │ │ ▼ ▼ │ │ ┌───────────────────────────────────────────────────────────────┐ │ │ │ 💾 SQLite + FTS5 + Redis 7 │ │ │ │ 43,549 docs · 894 CVEs · 3,424 correlations │ │ │ └───────────────────────┬───────────────────────────────────────┘ │ │ │ │ │ ┌────────────────┼────────────────┐ │ │ ▼ ▼ ▼ │ │ ┌─────────────┐ ┌─────────────┐ ┌──────────────┐ │ │ │ 🧬 NER │ │ 🔗 Correlate │ │ ⚡ Priority │ │ │ │ (Regex + │ │ (CVE, topic, │ │ Scorer │ │ │ │ GLiNER) │ │ URL cross- │ │ (CVSS + KEV │ │ │ └──────┬──────┘ │ channel) │ │ + EPSS) │ │ │ │ └──────┬──────┘ └──────┬───────┘ │ │ │ │ │ │ │ └────────┬───────┴────────────────┘ │ │ ▼ │ │ ┌───────────────────────────────────────────────────────────────┐ │ │ │ 🎯 CVE Enrichment (NVD + CISA KEV + EPSS) │ │ │ └───────────────────────┬───────────────────────────────────────┘ │ │ │ │ │ ┌────────────────┼────────────────┐ │ │ ▼ ▼ ▼ │ │ ┌─────────────┐ ┌─────────────┐ ┌──────────────┐ │ │ │ 🔍 Smart │ │ 🚨 Alert │ │ 📊 Auto │ │ │ │ Search │ │ Dedup │ │ Report v2 │ │ │ │ (FTS5 + │ │ │ │ │ │ │ │ AND→OR │ └─────────────┘ └──────────────┘ │ │ │ fallback + │ │ │ │ semantic) │ ┌─────────────┐ ┌──────────────┐ │ │ └─────────────┘ │ 🏷️ Channel │ │ 🤖 NOVA │ │ │ │ Categorize │ │ Gateway │ │ │ │ (rules + │ │ (17 LLMs) │ │ │ │ LLM) │ └──────────────┘ │ │ └─────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ``` ## ✨ 特性 ### 📡 收集与监控 - **实时 Telegram 监控**——7x24 小时从 1,693+ 个频道实时摄取 - **Fleet Scraper**——多账户 Telethon 抓取，支持自动轮换与速率限制处理 - **Intel Bridge**——自动频道发现 + 持续监控 Pipeline - **Universal Scraping Engine**——集成 SearXNG，自适应 hunter（根据复杂度处理 1K-10K 文档），跨源关联 - **Self Scanner**——审计您自己的 Telegram 足迹和暴露面 ### 🧠 分析与情报 - **关联引擎**——在 3,424+ 个链接中进行跨频道的 CVE、主题和 URL 关联 - **NER 提取**——结合正则表达式与 GLiNER 深度学习技术，提取 IP、域名、哈希值、CVE、电子邮件等 - **CVE 富化**——在单一 Pipeline 中集成 NVD + CISA KEV + EPSS——了解哪些*正在被利用*，而不仅仅是哪些*已发布* - **优先级评分器**——CVSS × KEV × EPSS 复合评分——26 个 CRITICAL（严重）和 583 个 HIGH（高危）警报绝不会遗漏 - **语义搜索**——基于 sqlite-vec 对整个语料库进行相似度搜索 ### 🎯 输出与行动 - **智能搜索**——FTS5 结合 AND→OR 回退机制——即使精确词条失败也能找到匹配项 - **告警去重**——绝不会再看到同一个 CVE 被报告 50 次 - **自动报告 v2**——自动生成格式化的情报报告 - **频道分类**——基于规则 + LLM 对所有监控频道进行分类 - **NOVA Gateway**——按需提供 17 种 LLM 模型，用于分析、摘要和分类 ## 📊 数据概览 | 指标 | 数量 | 意义 | |---|---|---| | 📡 监控频道 | **1,693** | 开源领域最广泛的 Telegram 威胁覆盖 | | 📄 索引文档 | **43,549** | 用于关联的深度历史语料库 | | 🎯 追踪的 CVE | **894** | 每一个被提及的 CVE，均已富化并评分 | | 🔗 映射的关联 | **3,424** | 您无法手动发现的跨频道链接 | | 🚨 总警报数 | **1,442** | 可操作的、去重的情报 | | ⛔ 严重 (CRITICAL) 警报 | **26** | 正在被利用、已列入 KEV、高 EPSS 的威胁 | | 🔴 高危 (HIGH) 警报 | **583** | 基于真实世界可利用性进行优先级排序 | | 🤖 LLM 模型 | **17** | 用于分类和分析的 NOVA Gateway | ## 🚀 快速开始 ``` # Clone git clone https://github.com/ram2163772-cyber/argos-intel.git && cd argos-intel # Configure cp .env.example .env && nano .env # Add your Telegram API credentials # Launch docker compose up -d ``` **就是这样。** ARGOS 将启动、连接并开始摄取数据。打开仪表盘——威胁情报已在涌入。

🔧 手动设置（无 Docker）

``` # Prerequisites: Python 3.11+, Redis 7, FlareSolverr git clone https://github.com/ram2163772-cyber/argos-intel.git && cd argos-intel pip install -r requirements.txt cp .env.example .env # Configure Telegram API ID, hash, and session # 启动 Redis redis-server # 运行单个组件 python argos_tg_monitor.py # Real-time monitoring python argos_fleet_scraper.py # Bulk channel scraping python argos_correlate.py # Cross-channel correlation python argos_cve_enrich.py # CVE enrichment pipeline python argos_priority.py # Priority scoring python argos_ner.py # Named entity extraction python argos_semantic.py # Semantic search indexing python argos_search.py # Smart search interface python argos_autoreport.py # Auto report generation python argos_alert_dedup.py # Alert deduplication python argos_categorize.py # Channel categorization python argos_intel_bridge.py # Discovery + monitoring bridge python argos_universal.py # Universal scraping engine ```

## ⚔️ ARGOS 与同类工具对比 | 能力 | 🔱 ARGOS | Telepathy | Tosint | TG Scraper | 手动 | |---|---|---|---|---|---| | 实时监控 | ✅ 1,693+ 频道 | ❌ | ❌ | ❌ | 😫 | | 跨频道关联 | ✅ 3,424+ 链接 | ❌ | ❌ | ❌ | 手动 | | CVE 富化 (NVD+KEV+EPSS) | ✅ 三源 | ❌ | 部分 | ❌ | 仅限 NVD | | 优先级评分 | ✅ CVSS×KEV×EPSS | ❌ | ❌ | ❌ | 主观猜测 | | 语义搜索 | ✅ sqlite-vec | ❌ | ❌ | ❌ | Ctrl+F | | NER 提取 | ✅ 正则 + GLiNER | ❌ | 基础正则 | ❌ | 手动 | | 多账户抓取 | ✅ Fleet | ❌ | ❌ | 单账户 | 手动 | | 告警去重 | ✅ | ❌ | ❌ | ❌ | 😫 | | 自动报告 | ✅ v2 | ❌ | ❌ | ❌ | 复制粘贴 | | 频道分类 | ✅ 规则 + LLM | ❌ | ❌ | ❌ | 手动 | | 通用网页抓取 | ✅ SearXNG | ❌ | ❌ | ❌ | 浏览器标签页 | | 17-LLM 分析网关 | ✅ NOVA | ❌ | ❌ | ❌ | ChatGPT 标签页 | | 开源 | ✅ MIT | ✅ | ✅ | ✅ | — | ## 🗺️ 路线图 - [ ] **Web 仪表盘**——带有交互式关联图谱的实时威胁推送 - [ ] **MISP 集成**——与 MISP 实例的双向 IOC 同步 - [ ] **SIGMA 规则生成**——从关联威胁中自动生成检测规则 - [ ] **暗网桥接**——将 Universal Scraping Engine 扩展至 .onion 来源 - [ ] **多语言 NER**——针对俄语、中文、阿拉伯语、波斯语频道的 GLiNER 模型 - [ ] **时间轴分析**——追踪威胁行为者 TTP 随时间的演变 - [ ] **REST API**——对 ARGOS 所有功能的完整编程访问 - [ ] **联邦模式**——在多个 ARGOS 实例之间共享关联图谱 ## 📄 许可证 ARGOS 基于 [MIT 许可证](LICENSE) 发布。随意使用。自由构建。共同分享。

标签：CVE追踪, Docker, ESC4, MIT许可, OSINT, Python, Telegram监控, XSS, 威胁情报, 安全防御评估, 实时处理, 开发者工具, 情报引擎, 情报收集, 数据关联, 数据索引, 无后门, 暗网监控, 漏洞情报, 漏洞研究, 网络威胁情报, 网络安全, 请求拦截, 跨频道关联, 隐私保护, 黄金证书