thiru011/threat-intelligence-pipeline

# 🛡️ 自动化网络威胁情报 Pipeline 一个基于 Python 的网络威胁情报 (CTI) 系统，通过网络流量分析实时收集、处理、丰富和监控入侵指标 (IOC)。 ## 📌 项目概述 威胁情报 Pipeline 自动化了收集威胁数据、丰富 IOC、执行风险分析以及从实时网络流量中检测恶意活动的过程。 本项目专为以下场景设计： - 安全运营中心 (SOC) - 威胁狩猎 - 事件响应 - 网络安全研究 ## 🎯 目标 - 自动化收集 IOC - 丰富威胁情报 - 实时监控网络流量 - 检测恶意活动 - 生成安全警报 - 提供对威胁数据的 API 访问 ## 🚀 功能 ### 威胁情报 - IOC 收集 - IOC 丰富 - 威胁评分 - 置信度评分 - 风险分析 - IOC 去重 ### 网络监控 - 实时数据包捕获 - DNS 监控 - ICMP 检测 - 端口扫描检测 - 暴力破解检测 - 恶意 IP 检测 ### 安全功能 - MITRE ATT&CK 映射 - 威胁关联 - 警报生成 - API 访问 ## 🛠 使用的技术 | 技术 | 用途 | |------------|---------| | Python | 编程语言 | | Scapy | 数据包捕获 | | FastAPI | REST API | | JSON | 数据存储 | | Netifaces | 接口检测 | | Linux | 部署 | ## 📂 项目结构 ``` threat-intelligence-pipeline/ │ ├── main.py ├── real_network_monitor.py ├── requirements.txt ├── install.sh ├── README.md │ ├── data/ │ ├── collected_iocs.json │ ├── processed_iocs.json │ └── .gitkeep │ └── screenshots/ ``` ## ⚙ 安装 ### 克隆仓库 ``` git clone https://github.com/thiru011/threat-intelligence-pipeline.git cd threat-intelligence-pipeline ``` ### 创建虚拟环境 ``` python3 -m venv venv source venv/bin/activate ``` ### 安装依赖 ``` pip install -r requirements.txt ``` 或者 ``` chmod +x install.sh ./install.sh ``` ## ▶ 运行项目 ``` python3 main.py ``` 对于数据包捕获： ``` sudo python3 main.py ``` ## 🌐 API 服务器 运行 API： ``` uvicorn api:app --reload ``` 打开： ``` http://localhost:8000 http://localhost:8000/docs ``` ## 📡 威胁检测工作流 ``` Threat Feeds ↓ IOC Collection ↓ IOC Processing ↓ Threat Enrichment ↓ Risk Scoring ↓ Storage ↓ Network Monitoring ↓ Threat Detection ↓ Alert Generation ``` ## 🏗 系统架构 ``` +------------------+ | Threat Feeds | | OTX / URLHaus | +------------------+ | v +------------------+ | IOC Collector | +------------------+ | v +------------------+ | IOC Processor | +------------------+ | v +------------------+ | Threat Enricher | +------------------+ | v +------------------+ | Storage Layer | +------------------+ | v +------------------+ | Network Monitor | +------------------+ | v +------------------+ | Detection Engine | +------------------+ | v +------------------+ | Alerts & API | +------------------+ ``` ## 🔍 检测技术 | 检测项 | 描述 | |-----------|-------------| | ICMP 检测 | 检测可疑的 ping 流量 | | DNS 监控 | 检测恶意域名 | | 端口扫描检测 | 检测扫描尝试 | | 暴力破解检测 | 检测登录攻击 | | 恶意 IP 检测 | 检测恶意 IP | ## 📊 示例输出 ``` 🚨 MALICIOUS_OUTGOING: 192.168.1.10 -> 185.220.101.132 🚨 PORT_SCAN_ATTEMPT: 192.168.1.10 -> port 22 🚨 BRUTE_FORCE_ATTEMPT: 192.168.1.15 -> SSH ``` ## 🧠 MITRE ATT&CK 映射 | 检测项 | MITRE ID | |-----------|-----------| | 端口扫描 | T1046 | | 暴力破解 | T1110 | | DNS 隧道 | T1071 | | 命令与控制 | T1105 | ## 🔒 安全改进 - IOC 去重 - 风险评分 - 置信度评分 - 异常处理 - 真实数据包捕获 - 威胁丰富 - MITRE 映射 ## 🚀 未来增强 - VirusTotal API 集成 - AlienVault OTX API - 机器学习检测 - SIEM 集成 - Docker 部署 - 电子邮件警报 - 数据库集成 - Wazuh 集成 - Splunk 集成 ## 📚 学习成果 本项目提供了以下方面的实践知识： - 网络威胁情报 - 威胁狩猎 - 数据包分析 - Python 安全自动化 - 网络监控 - API 开发 - 安全分析 - 事件响应 ## 👨‍💻 团队成员 | 姓名 | 角色 | |------|------| | Hariprakash P | 开发者 | | Thirumoorthy K | 开发者 | | Manojkumar K | 开发者 | ## 📸 截图 ### 主菜单  ### IOC 收集  ### 威胁检测  ### 网络监控  ### 实时警报  ⭐ 如果您觉得有用，请给本仓库点个 Star。

标签：AV绕过, FastAPI, Homebrew安装, IP 地址批量处理, Python, SOC运营, 威胁情报, 开发者工具, 插件系统, 无后门, 红队行动, 网络安全, 网络测绘, 逆向工具, 隐私保护