enma-69/ThreatWatch

# ThreatWatch 一个自托管的威胁情报平台，用于追踪勒索软件和勒索组织，通过 Tor 监控他们的泄露网站，并在单个仪表板中展示受害者数据、恶意软件哈希和攻击者情报。  ## 功能 - **实时受害者信息流** — 自动刷新涵盖 887+ 个追踪组织的勒索软件发布表 - **威胁组织追踪器** — 镜像可用性、受害者数量、行业标签和健康状态历史 - **趋势分析** — 根据受害者数量展示 24 小时 / 7 天 / 30 天 / 90 天时间窗口内最活跃的组织 - **地下哈希** — 来自 .onion 页面、暗网论坛、Telegram 频道和研究员订阅源（MalwareBazaar、ThreatFox）的 15,000+ 个恶意软件 SHA-256 哈希 - **地理与背景信息扩充** — 国家归属识别以及为每条发布自动生成的事件描述 - **MISP 集成** — 可选地将新的受害者事件推送到您的 MISP 实例 - **Telegram 监控** — 监控私有频道以获取早期的泄露信号 - **定时抓取** — 通过 Tor SOCKS5 使用 Playwright，每 15 分钟解析一次，每 2 小时全面抓取一次 ## 截图 | 近期事件 | 威胁组织 | |---|---| |  |  | | 趋势 | 地下哈希 | |---|---| |  |  | ## 环境要求 - Python 3.10 – 3.14 - [Poetry](https://python-poetry.org/) - 在本地运行的 Tor (`socks5://127.0.0.1:9050`) - Playwright Chromium 浏览器 ## 设置 ``` # 1. Clone git clone https://github.com/YOUR_USERNAME/ThreatWatch.git cd ThreatWatch # 2. Install dependencies poetry install playwright install chromium # 3. Configure cp .env.example .env # 编辑 .env — 至少设置 DB_PATH, SOURCE_DIR, TOR_PROXY # 4. Run poetry run uvicorn app.main:app --host 0.0.0.0 --port 9000 ``` 打开 `http://localhost:9000/recent`。 ## 配置 查看 [`.env.example`](.env.example) 了解所有选项。关键设置： | 变量 | 默认值 | 描述 | |---|---|---| | `DB_PATH` | `data/threatwatch.db` | SQLite 数据库路径 | | `SOURCE_DIR` | `source/` | 抓取的 HTML 存放目录 | | `TOR_PROXY` | `socks5://127.0.0.1:9050` | Tor SOCKS5 代理 | | `SCRAPE_INTERVAL_HOURS` | `2` | 重新抓取的频率 | | `MISP_ENABLE` | `false` | 启用 MISP 推送 | | `TELEGRAM_API_ID` | — | Telegram API 凭证 | ## 项目结构 ``` app/ main.py # FastAPI app, APScheduler setup models.py # SQLAlchemy models engine/ scraper.py # Playwright/Tor scraper parser_runner.py # Runs per-group parsers, inserts posts generic_parser.py # Heuristic fallback parser hash_feeds.py # Malware hash ingestion forum_scraper.py # Underground forum scraper telegram_monitor.py routers/ # FastAPI route handlers templates/ # Jinja2 HTML templates parsers/ # Per-group HTML parsers (~259 groups) tools/ # Seed / audit / enrichment scripts ``` ## API | Endpoint | 描述 | |---|---| | `GET /api/status` | 实时统计、调度程序状态、上次抓取时间 | | `GET /api/recent` | 近期发布（分页、可过滤） | | `GET /api/groups` | 所有追踪的组织 | | `GET /api/hashes` | 恶意软件哈希搜索 | | `GET /parse/now` | 触发立即解析 | | `GET /scrape/now` | 触发立即抓取 | | `GET /api/docs` | Swagger UI | ## License MIT

标签：Playwright, Python, 勒索软件追踪, 威胁情报, 安全运营, 开发者工具, 扫描框架, 数据泄露, 无后门, 暗网监控, 特征检测, 逆向工具