roy9495/CTI-Data-Parsing

# CTI-Data-Parsing & CTIHub 平台 一个高级的威胁情报摄入与可视化分析平台。它包含一个高吞吐量的并行 CTI 数据库 pipeline，以及一个完整的 **CTIHub 平台**，该平台配备了模拟和实时的 API 连接器、STIX 2.1 摄入引擎和交互式的网络安全知识图谱。 ## 🚀 CTIHub 平台功能 - **标准 CTIHub 连接器**：11 个内置连接器（MITRE ATT&CK、AbuseIPDB、ThreatFox、AlienVault OTX、MalwareBazaar、CVE/NVD、MISP 事件导入、URLhaus 实时数据、IPinfo GeoIP、CISA 安全警报、Shodan 开放端口扫描器），可通过 API 或数据库实时获取威胁情报。 - **兼容 STIX 2.1 的摄入引擎**：自动验证、解析、规范化威胁指标、恶意软件、攻击活动和攻击者，并建立它们之间的关系。 - **交互式知识图谱**：使用 Vis.js 渲染的美观、响应式、力导向的威胁关系图。 - **高级深色网络仪表盘**：用于显示实时指标、置信度分布和实时摄入数据流的时尚仪表盘。 - **REST API**：提供完整的 OpenAPI/FastAPI endpoint，用于查询指标、探索关系以及管理连接器运行器。 ## 快速开始（CTIHub 平台） ### 1. 启动平台： ``` python run_platform.py 8001 ``` 该脚本将初始化 SQLite 数据库，启动 FastAPI 服务器，并自动在您的默认浏览器中打开 `http://127.0.0.1:8001/` 处的仪表盘。 ### 2. 摄入基线数据： - 转到 **Connectors**（连接器）选项卡。 - 点击 **MITRE ATT&CK Baseline Data**（MITRE ATT&CK 基线数据）旁边的 **Run Connector**（运行连接器），以初始化威胁库（恶意软件、攻击者、CVE 和关系边）。 - 转到 **Knowledge Graph**（知识图谱）或 **Dashboard**（仪表盘）来探索您的威胁情报图谱！ ## 项目结构 ``` cti-data-platform/ ├── config/ │ ├── database_config.py # PostgreSQL connection strings │ └── query_config.py # SQL queries per DB ├── transformer/ │ ├── database_manager.py # Connection handling │ └── stix_transformer.py # STIX bundle creator ├── ctihub/ # CTIHub UI & API platform │ ├── connectors.py # API/DB Connectors & threat feeds │ ├── database.py # SQLite database session and setup │ ├── ingest.py # STIX 2.1 ingest engine │ ├── models.py # Database models for STIX objects │ ├── server.py # FastAPI web server and REST APIs │ └── ui/ # Frontend web app (HTML, CSS, JS) ├── cti_processor.py # Main runner (CLI interface) ├── setup.sh # Dependency installer + setup ├── requirements.txt # Python dependencies ├── output/ # Output JSON files └── README.md ``` ## 设置 ``` git clone cd cti-data-platform chmod +x setup.sh ./setup.sh source venv/bin/activate ``` * 编辑 `config/database_config.py` 配置 PostgreSQL URI * 编辑 `config/query_config.py`，将每个数据库映射到一个 SQL 查询 ## 用法 ### 并行运行所有数据库： ``` python cti_processor.py --all ``` ### 测试所有数据库连接： ``` python cti_processor.py --test ``` ### 运行单个数据库 + 自定义查询： ``` python cti_processor.py -d abuseipdb_blacklisted -q "SELECT * FROM table WHERE confidence > 80" ``` ## 输出 所有 JSON 文件都保存在 `output/` 目录中，并带有时间戳名称： * `stix__.json` * `llm_ready__.json` ## 注意事项 * 本项目遵循 [STIX 2.1](https://oasis-open.github.io/cti-documentation/stix/intro) 标准。 * 所有数据转换均使用纯 Python 在内存中执行。 * 专为兼容 ML pipeline 且可扩展以支持更多数据源而设计。

标签：AV绕过, FastAPI, STIX 2.1, 可视化分析, 多模态安全, 威胁情报, 安全运营, 开发者工具, 扫描框架, 数据可视化, 数据库接管, 测试用例, 逆向工具