adishahh/cyber_threat_pipeline

# 网络威胁情报 Pipeline 一个端到端的网络威胁情报与处理 Pipeline，配备动态的暗色模式仪表盘，用于实时可视化、关联分析威胁指标。 ## 功能特性 - **自动化摄取与处理：** 从各种来源拉取威胁数据，进行清洗并加载到 PostgreSQL 数据库中。 - **机器学习启发式分析：** 高级行为异常检测，用于捕获零日攻击和未编目的攻击。 - **IOC 关联分析：** 针对高可信度情报源（Tor 出口节点、Feodo Tracker、Emerging Threats）进行确定性匹配。 - **基于 AI 的执行报告：** 集成本地 Ollama，生成由 AI 驱动的执行摘要和战略建议。 - **高级可视化：** 散点图、极坐标区域图、直方图和时间轴，用于深度的分析洞察。 ## 项目结构 - `api/` - FastAPI 后端，用于提供威胁数据服务和执行 Pipeline 运行。 - `ingestion/` - 用于获取威胁情报源的模块。 - `processing/` - 数据丰富、风险评分、IOC 关联以及数据库加载脚本。 - `monitoring/` - 针对高风险威胁的告警引擎。 - `config/` - 数据库和环境配置。 - `dashboard.html` - 用于可视化的前端 Web 界面。 ## 设置说明 1. **安装依赖项：** pip install -r requirements.txt 2. **数据库配置：** - 确保 PostgreSQL 正在运行。 - 根据需要更新 `config/db_config.py` 或您的环境变量。 - 运行 `schema.sql` 来初始化数据库表。 3. **运行应用程序：** 启动 FastAPI 服务器： python -m uvicorn api.main:app --reload 在 Web 浏览器中打开 `dashboard.html`。 ## 技术栈 - **后端：** Python, FastAPI, PostgreSQL - **前端：** HTML, CSS, JavaScript, Chart.js - **AI 集成：** Ollama（本地 LLM）

标签：0day攻击检测, AI报告生成, AI风险缓解, Apex, API服务, AV绕过, Chart.js, CISA项目, CMS安全, DLL 劫持, FastAPI, HTML, HTTP/HTTPS抓包, IOC关联, IP 地址批量处理, JavaScript, LLM评估, Ollama, PostgreSQL, Python, Tor出口节点, 企业级安全, 后端开发, 多模态安全, 大语言模型, 威胁情报, 威胁指标, 安全仪表盘, 安全运营, 开发者工具, 异常检测, 态势感知, 恶意软件追踪, 情报自动化, 战略安全建议, 扫描框架, 数据可视化, 数据清洗, 数据获取, 无后门, 暗网监控, 机器学习, 流处理, 测试用例, 网络安全, 逆向工具, 隐私保护