14arathi/threat-intelligence-dashboard

# 威胁情报与网络漏洞分析平台 # 概述 本项目是一个使用 Python、NLP、Graph Analytics 和 Streamlit 构建的端到端网络威胁情报与漏洞分析平台。 该系统从 National Vulnerability Database (NVD) 收集真实的 CVE (Common Vulnerabilities and Exposures) 数据，处理和分析漏洞描述，利用 NLP 技术提取安全相关的关键词，构建威胁关系图，并通过交互式仪表板可视化洞察结果。 # 项目架构 NVD API ↓ 数据收集 ↓ 数据清洗 ↓ 基于 NLP 的漏洞分类 ↓ 严重性分类 ↓ 图构建 (NetworkX) ↓ 图分析 ↓ 交互式仪表板 (Streamlit) # 功能 ### 数据收集 - 从 NVD API 收集了 1000 个 CVE - 使用 Python Requests 自动提取 - 以 CSV 格式存储数据 ### 数据清洗 - 移除缺失值 - 规范化漏洞描述 - 生成额外的分析特征 ### 基于 NLP 的漏洞分类 自动识别以下漏洞类型： - Buffer Overflow - Denial of Service - Directory Traversal - Race Condition ### 严重性分类 CVE 被分类为： - High - Medium - Low 基于检测到的漏洞模式。 ### 图分析 在以下对象之间构建关系网络： - CVE - 漏洞类别 使用 NetworkX。 计算了： - Degree Centrality - 网络连通性 - 威胁关系 ### 交互式仪表板 使用 Streamlit 和 Plotly 构建。 仪表板包括： - 严重性分布 - 漏洞类别分析 - 年度 CVE 趋势分析 - CVE 搜索功能 - 交互式威胁网络图 - 数据集预览 # 技术栈 ### 编程 - Python ### 数据处理 - Pandas - NumPy ### NLP - Regular Expressions - 文本处理 ### 图分析 - NetworkX - PyVis ### 可视化 - Plotly ### 仪表板 - Streamlit ### 数据源 - National Vulnerability Database (NVD) # 项目结构 ``` Threat-Intelligence-Project/ │ ├── data/ │ ├── raw/ │ └── processed/ │ ├── notebooks/ │ ├── 01_data_collection.ipynb │ ├── 02_dataset_expansion.ipynb │ ├── 03_data_cleaning.ipynb │ ├── 04_nlp_entity_extraction.ipynb │ ├── 05_graph_creation.ipynb │ └── 06_graph_analytics.ipynb │ ├── app.py ├── README.md └── requirements.txt ``` ## 主要结果 | 指标 | 值 | |---------------------|-------| | CVE 总数 | 1000 | | 已分类 CVE | 314 | | 覆盖率 | 31.4% | | 威胁图中的节点数 | 1000+ | | 威胁图中的边数 | 300+ | ### 主要漏洞类别 | 类别 | 数量 | |---------------------|-------| | Buffer Overflow | 169 | | Denial of Service | 157 | | Race Condition | 10 | | Directory Traversal | 2 | # 运行项目 ### 克隆仓库 ``` git clone ``` ### 安装依赖 ``` pip install -r requirements.txt ``` ### 启动仪表板 ``` streamlit run app.py ``` # 展现的技能 - Python 编程 - 数据收集 - 数据清洗 - NLP - 图论 - 图分析 - 数据可视化 - 仪表板开发 - 网络威胁情报 - 问题解决 - 数据分析 # 未来改进 - 集成 CVSS 评分 - 基于机器学习的严重性预测 - 实时 CVE 监控 - 高级威胁检测 - 知识图谱构建 - Docker 部署 # 作者 Arathi Mol 数据分析 | AI/ML 工程师 | 数据科学 | 网络威胁情报 | NLP | 图分析 |

标签：Kubernetes, NLP, Python, 只读文件系统, 后端开发, 威胁情报, 安全, 开发者工具, 无后门, 漏洞分析, 特权检测, 超时处理, 路径探测, 逆向工具