Dev-next-gen/osint-platform
GitHub: Dev-next-gen/osint-platform
开源的开放源情报平台，融合图谱与AI分析，替代高成本商业系统并降低情报获取门槛。
Stars: 3 | Forks: 0
# OSINT 平台
**状态: 🚧 积极开发中**
## 愿景
Palantir Gotham 每年花费 2500 万美元以上。情报能力不应该需要国防预算。该平台使用公共 API、解密数据和 AI 驱动分析，聚合相同质量的开放源情报。
灵感来自 Palantir 的开放本体 SDK ([gotham-platform-python](https://github.com/palantir/gotham-platform-python))、Blueprint UI 组件及其开放架构原则（Apache Iceberg、Spark、ElasticSearch）。
## 架构
```
┌─────────────────────────────────────────────────────────────┐
│ Frontend │
│ React + Palantir Blueprint UI + MapBox │
│ ┌──────────┬──────────┬──────────┬──────────────────┐ │
│ │ Map │ Graph │ Timeline│ Alert Feed │ │
│ │ View │ View │ View │ (real-time) │ │
│ └──────────┴──────────┴──────────┴──────────────────┘ │
├─────────────────────────────────────────────────────────────┤
│ API Gateway (FastAPI) │
├──────────────┬──────────────┬───────────────────────────────┤
│ Ontology │ Analysis │ Ingest Pipeline │
│ Engine │ Engine │ (50+ sources) │
│ (Neo4j) │ (LLM-based) │ (Celery + Redis) │
├──────────────┴──────────────┴───────────────────────────────┤
│ Storage Layer │
│ PostgreSQL (events) │ Neo4j (graph) │ ElasticSearch (search)│
└─────────────────────────────────────────────────────────────┘
```
## 本体模型（Palantir 启发）
核心数据模型镜像 Palantir 的本体 SDK：
```
Object Types:
├── Actor (state, non-state, individual)
├── Event (conflict, sanction, strike, movement)
├── Location (country, region, coordinates, facility)
├── Asset (weapon system, vessel, aircraft, facility)
├── Organization (military unit, NGO, company, network)
└── Document (report, cable, intercept, publication)
Link Types:
├── Actor ──[CONTROLS]──► Asset
├── Actor ──[LOCATED_IN]──► Location
├── Event ──[OCCURRED_AT]── Location
├── Actor ──[SANCTIONED_BY]─ Organization
├── Actor ──[LINKED_TO]──── Actor
└── Asset ──[USED_IN]────── Event
```
## 数据源 — 6 个层级
### 第 1 级 — 官方解密来源
| 来源 | 内容 | 更新频率 |
|------|-------|----------|
| IAEA (iaea.org) | 全球核数据 | 每周 |
| SIPRI (sipri.org) | 军备 / 冲突 | 每月 |
| ISW (understandingwar.org) | 实时冲突地图 | 每日 |
| ACLED (acleddata.com) | 18.5 万+暴力事件 | API |
| GDELT 项目 | 自 1979 年以来的所有事件 | 15 分钟 |
| UN OCHA (reliefweb.int) | 人道主义危机 | 每日 |
| ICG (crisisgroup.org) | 新兴冲突 | 每周 |
| FAS (fas.org) | 核武器 | 每月 |
| OpenSanctions | 被制裁实体 | 每日 |
| OFAC (treasury.gov) | 美国制裁 | 每日 |
| EU Sanctions Map | EU 制裁 | 每日 |
| CIA World Factbook | 国家数据 | 每年 |
| RAND Corporation | 战略研究 | 每月 |
### 第 2 级 — 卫星情报
| 来源 | 分辨率 | 频率 |
|------|--------|------|
| Sentinel Hub (ESA) | 10 米 | 5 天 |
| Copernicus (EU) | 10 米 | 实时 |
| Google Earth Engine | 存档 | 按需 |
| NASA FIRMS | 热探测 | 3 小时 |
| MarineTraffic | 船舶追踪 | 实时 |
| ADS-B Exchange | 军事航班 | 实时 |
| FlightRadar24 | 空中交通 | 实时 |
### 第 3 级 — 人力情报 / 社交媒体
| 来源 | 内容 | 方法 |
|------|-------|------|
| Telegram OSINT 频道 | 原始现场报告 | 监控 |
| Twitter/X OSINT 社区 | 地理定位图像 | 列表监控 |
| Bellingcat | OSINT 调查 | 爬取 |
| Strava / 健身应用 | 军事位置 | 定期分析 |
| Shodan | 连接系统 | API |
| Censys | 基础设施 + TLS | API |
| GreyNoise | 异常网络活动 | API |
### 第 4 级 — 财务与经济
| 来源 | 信号 | 访问方式 |
|------|--------|----------|
| UN COMTRADE | 伪装军火转移 | 免费 API |
| OpenCorporates | 空壳公司 | API |
| ICIJ (Pandora / Panama) | 隐藏金融网络 | 搜索 |
| Kpler | 石油流动 | API |
| USASpending.gov | 美国政府合同 | 免费 |
| EDGAR (SEC) | 上市公司国防合同 | 免费 |
| VesselFinder | 油轮 / 货船 | 免费 |
| OpenStreetMap/Overpass | 物理基础设施 | 免费 API |
### 第 5 级 — 学术与技术
| 来源 | 内容 | 访问方式 |
|------|-------|----------|
| ArXiv | 核 / 导弹出版物 | 免费 API |
| Semantic Scholar | 交叉引用 | 免费 API |
| CSIS 导弹威胁 | 导弹数据库 | 免费 |
| Nuclear Notebook (FAS) | 国家军火库 | 免费 |
| Arms Control Association | 条约 / 违规 | 免费 |
| NTI 核安全指数 | 国家风险评分 | 免费 |
### 第 6 级 — 法律灰色来源
| 来源 | 内容 |
|------|-------|
| FOIA 请求（美国） | 解密文件 |
| EU 国家档案馆（+30 年） | 外交电报 |
| NATO 公开报告 | 威胁评估 |
| 国会研究服务处 | 地缘政治分析 |
| EU 议会报告 | 地缘政治分析 |
## 技术栈
```
Backend:
Python 3.12 + FastAPI + Celery + Redis
PostgreSQL 16 (events, timeseries)
Neo4j 5 (entity graph / ontology)
ElasticSearch 8 (full-text search)
Apache Kafka (event streaming)
Frontend:
React 19 + TypeScript
Palantir Blueprint UI (open-source)
MapBox GL (geospatial visualization)
D3.js + Plottable (charts)
Framer Motion (animations)
AI Layer:
Local LLM (Qwen2.5 14B/72B via llama.cpp)
Entity extraction, event classification
Threat scoring, pattern recognition
Summary generation
Infrastructure:
Docker + Kubernetes
AMD ROCm for AI inference
Prometheus + Grafana monitoring
```
## 与 Palantir Gotham 的对比
| 功能 | Palantir Gotham | OSINT 平台 |
|------|----------------|------------|
| 实体图谱 | ✅ | ✅ Neo4j |
| 实时订阅 | ✅ | ✅ Kafka |
| 地图可视化 | ✅ | ✅ MapBox |
| AI 分析 | ✅ | ✅ 本地 LLM |
| 卫星影像 | ✅ 付费 | ✅ ESA / Copernicus（免费） |
| 成本 | 每年 2500 万美元以上 | 自托管 |
| 源代码 | 专有 | 开源（MIT） |
## 快速开始
```
git clone https://github.com/Dev-next-gen/osint-platform
cd osint-platform
# 启动所有服务
docker-compose up -d
# 初始化数据库 + 本体
./scripts/init-db.sh
# 启动摄取管道
python ingest/start.py --sources level1,level2
# 打开仪表板
open http://localhost:3000
```
## 路线图
- [x] 架构设计
- [x] 本体模型（Palantir 启发）
- [x] 来源目录（50+ 个来源）
- [ ] 核心摄取管道（GDELT、ACLED、SIPRI）
- [ ] 实体提取（基于 LLM）
- [ ] Neo4j 图模型
- [ ] React 仪表板 + MapBox 集成
- [ ] 卫星影像层（Sentinel Hub）
- [ ] 财务信号集成
- [ ] API v1 公开发布
## 许可证
MIT — Léo Camus / [NextGen Labs](https://nextgen-labs.net)
*灵感来自 Palantir 的开放生态系统：[gotham-platform-python](https://github.com/palantir/gotham-platform-python)、[Blueprint](https://github.com/palantir/blueprint)、[osdk-ts](https://github.com/palantir/osdk-ts))*
标签：Apache Iceberg, Apache Spark, AV绕过, Elasticsearch, ESC4, FastAPI, Gotham, Neo4j, OSINT, Palantir, React, SEO, Syscalls, 代理支持, 前端, 告警, 地图可视化, 多源融合, 威胁情报, 威胁监测, 子域名突变, 实时分析, 开发者工具, 开源分析, 情报分析, 搜索引擎查询, 数据集成, 时间线, 本体, 测试用例, 网络诊断, 蓝图UI, 语义网络, 请求拦截, 逆向工具