K3lgy/DARKWATCH-OSINT
GitHub: K3lgy/DARKWATCH-OSINT
一款防御性 OSINT 平台，通过 Tor 爬取暗网并监控数据泄露、勒索活动与漏洞交易，帮助安全团队感知威胁态势。
Stars: 6 | Forks: 1
# DARKWATCH — 网络安全 OSINT 平台
## ⚠️ 法律与道德警告
该平台是一个 **UI/UX 演示和防御性研究工具**。
- 它专为 **被动监控** (OSINT) 而设计：以防御为目的收集公开可用的信息。
- 它 **不会** 协助访问非法内容、破坏第三方系统或任何违反现行法律的活动。
- 在大多数国家/地区，出于保护隐私的目的使用 Tor 网络是 **合法的**。
- **严禁** 将此工具用于任何攻击性、非法或恶意的目的，用户需对此承担全部责任。
- 请查阅您所在国家/地区有关网络安全的法律（在法国：Godfrain 法、RGPD、NIS2 指令）。
- .onion 链接并非官方链接。
## 简介
**DARKWATCH** 是一个专门的 OSINT 接口，允许安全团队（SOC、threat intelligence、授权的 pentesters）：
- 监控暗网上对数字资产的提及
- 索引和分类公开的 `.onion` 网站
- 检测数据泄露、ransomware 活动、exploit 销售
- 可视化和管理 Tor 链路
- 实时集中监控告警和日志
## 功能
### 仪表盘
- 实时指标：已索引的网站、已爬取的页面、提及、Tor 节点
- 带有可用性状态的最新 `.onion` 网站表格
- 当前活动 Tor 链路可视化（Guard / Middle / Exit 节点）
- 实时系统日志终端
- 带有风险指标的受监控关键字
- 按类别划分的覆盖范围图表
### OSINT 搜索
- 对已索引的 `.onion` 网站进行全文搜索
- 根据相关性对结果进行排序，并提供元数据（类别、风险、日期）
- 实体提取：电子邮件、域名、哈希、IP 地址
### `.onion` 网站目录
- 超过 147 个已索引和分类的网站数据库
- 类别：新闻、论坛、市场、泄露、服务、搜索引擎
- 每个网站的风险评分 (0–100)
- 实时可用性指标
### 监控
- 监控自定义关键字
- 追踪域名、电子邮件、SHA256 哈希
- 带有时间戳的提及历史记录
- 告警级别：INFO / WARN / CRITIQUE
### 告警
- 自动检测数据泄露
- 检测活跃的 ransomware 团伙
- 针对 exploit 销售（zero-days）的告警
- 严重程度级别：严重 / 高 / 中
### Tor 链路
- 可视化链路的 3 个节点（Guard、Middle、Exit）
- 每个中继的地理信息和 IP
- 每个节点的延迟测量
- 链路轮换（一键生成新链路）
- 加密信息（AES-256-CTR, Curve25519）
### Crawler
- 跟踪活跃的爬取进度
- 队列和已分析页面的历史记录
- 自动去重
- 元数据提取
### 系统日志
- 实时日志终端
- 级别：INFO / SCAN / WARN / ALERT
- 每个事件的精确时间戳
- 日志导出和清除
## 技术架构
```
darkwatch-osint/
├── index.html # Interface principale (SPA monofichier)
├── README.md # Ce fichier
├── assets/
│ ├── fonts/ # Share Tech Mono, Rajdhani (Google Fonts)
│ └── icons/ # Tabler Icons (CDN)
└── docs/
├── ethical-use.md # Guide d'utilisation éthique
└── legal-notice.md # Notice légale détaillée
```
### 技术栈
| 组件 | 技术 |
|---|---|
| 界面 | HTML5 / CSS3 / 原生 JavaScript |
| 字体 | Share Tech Mono + Rajdhani (Google Fonts) |
| 图标 | Tabler Icons (outline, CDN) |
| Tor 网络 | Tor Browser / tor daemon |
| SOCKS 代理 | SOCKS5 localhost:9050 |
| 索引 | Python + Scrapy (支持 Tor) |
| 存储 | PostgreSQL + Elasticsearch |
| 告警 | Redis pub/sub |
## 前置条件
- 已安装并激活 **Tor Browser** 或 **tor daemon**
- Python 3.10+（用于爬取模块）
- Node.js 18+（用于开发服务器）
- 现代浏览器（Chrome 110+、Firefox 115+）
## 安装说明
### 1. 克隆仓库
```
git clone https://github.com/votre-org/darkwatch-osint.git
cd darkwatch-osint
```
### 2. 安装 Tor
```
# Debian / Ubuntu
sudo apt install tor
# macOS (Homebrew)
brew install tor
# 启动 daemon
tor &
# SOCKS5 代理监听 localhost:9050
```
### 3. 配置代理（浏览器）
在 Firefox / Tor Browser 中：
- 网络 → 连接设置
- 手动代理：SOCKS5，主机 `127.0.0.1`，端口 `9050`
- 勾选“使用此代理进行 DNS 查询”
### 4. 启动界面
```
# 简单的开发服务器
python3 -m http.server 8080
# 或使用 Node.js
npx serve .
```
在配置了 Tor 代理的浏览器中打开 `http://localhost:8080`。
### 5.（可选）Python 爬取模块
```
pip install scrapy requests[socks] stem
python crawler/run.py --target example3g2uudmdvys.onion --depth 3
```
## 配置
### 环境变量
```
# .env
TOR_SOCKS_HOST=127.0.0.1
TOR_SOCKS_PORT=9050
TOR_CONTROL_PORT=9051
TOR_CONTROL_PASSWORD=your_password
DB_HOST=localhost
DB_PORT=5432
DB_NAME=darkwatch
DB_USER=osint_user
DB_PASS=your_db_password
ELASTICSEARCH_URL=http://localhost:9200
REDIS_URL=redis://localhost:6379
# 自动 circuit 轮换（秒）
CIRCUIT_ROTATION_INTERVAL=600
# 每个 .onion 请求的最大延迟（秒）
REQUEST_TIMEOUT=30
```
### 监控文件 (`watchlist.json`)
```
{
"keywords": [
"votre-domaine.com",
"votre@email.com",
"data breach",
"ransomware"
],
"hashes": [
"sha256:abc123...",
"md5:def456..."
],
"domains": [
"votre-domaine.com"
],
"alert_threshold": "medium"
}
```
## 道德使用 — 合法用例
| 用例 | 描述 |
|---|---|
| Threat Intelligence | 监控地下论坛中对您组织的提及 |
| 泄露检测 | 识别在泄露网站上发布的凭据或内部数据 |
| Ransomware 情报 | 跟踪活跃的团伙及其发布的受害者 |
| 学术研究 | 出于科学目的研究暗网生态系统 |
| 调查新闻 | 通过 SecureDrop 及同类工具获取资源和文档 |
| 授权的 Red team | 在合同框架内对自己的资产进行攻击模拟 |
## 已索引网站的类别
| 类别 | 描述 | 风险等级 |
|---|---|---|
| 新闻 / 媒体 | SecureDrop、独立媒体 | 低 |
| 搜索引擎 | Ahmia、Torch、Haystak | 低 |
| 论坛 | Dread、CryptoBB、主题论坛 | 中 |
| 服务 | 托管、加密电子邮件 | 中 |
| 索引 / 维基 | HiddenWiki 及镜像站点 | 中 |
| 泄露 | 凭据数据库 | 高 |
| 市场 | 各类交易市场 | 非常高 |
| Ransomware | 受害者发布网站 | 严重 |
| Exploits | 0-day 漏洞销售 | 严重 |
## Roadmap
- [x] 仪表盘界面
- [x] `.onion` 网站目录
- [x] Tor 链路可视化
- [x] 告警系统
- [x] 实时日志终端
- [x] 带队列的 Crawler
- [ ] 实体提取模块 (NER)
- [ ] 导出 PDF 报告
- [ ] 集成 MISP（共享 IoC）
- [ ] 用于集成 SIEM 的 REST API
- [ ] 多因素身份验证
- [ ] 多用户 / 团队模式
- [ ] 集成 Have I Been Pwned (clearnet)
- [ ] 基于 ML 的风险评分
## 资源
- [Tor Project](https://www.torproject.org/) — Tor 官方文档
- [Ahmia.fi](https://ahmia.fi/) — 索引的 .onion 搜索引擎 (clearnet)
- [OSINT Framework](https://osintframework.com/) — OSINT 资源
- [Awesome OSINT](https://github.com/jivoi/awesome-osint) — 精选的 OSINT 工具列表
- [MITRE ATT&CK](https://attack.mitre.org/) — 对抗战术知识库
- [Have I Been Pwned](https://haveibeenpwned.com/) — 泄露检查 (clearnet)
- [ANSSI](https://www.ssi.gouv.fr/) — 国家信息系统安全局 (法国)
## 许可证
MIT 许可证 — 有关完整详情，请参阅 `LICENSE`。
版权所有 (c) 2025 — DARKWATCH OSINT 项目
*构建更好的防御始于了解地形。*
标签：Atomic Red Team, Docker Compose, Elasticsearch, ESC4, OSINT, Python, 后端开发, 威胁情报, 实时处理, 开发者工具, 搜索引擎查询, 数据可视化, 数据泄露检测, 无后门, 暗网监控, 测试用例, 版权保护, 逆向工具