jathusansathees/CVE-Threat-Intelligence-Pipeline-ANSSI-RSS

# CVE 威胁情报管道 (ANSSI RSS) ## 项目描述 本项目实现了一套完整的网络情报管道，用于从 ANSSI（法国国家信息系统安全局）发布的 RSS 源中收集、处理和利用安全漏洞（CVE）信息。 主要目标是自动化漏洞监控，为安全风险的分析、可视化和通知提供可操作的数据。 ## 管道工作流程 管道分为以下几个连续阶段： ### 1. 提取 数据自动从 ANSSI 的 RSS 源获取。 主要信息（CVE 标识符、标题、描述、日期、链接等）被提取并存储在初始数据集（`extraction_CVE.csv`）中。 ### 2. 丰富 提取的 CVE 信息会通过补充信息（如：技术细节、元数据、严重性、上下文）进行丰富。 此步骤旨在提高数据的质量和深度（`enrichissement_CVE.csv`）。 ### 3. 整合 来自不同阶段的数据经过清洗、合并和标准化，以生成一致的最终数据集（`consolidation_CVE.csv`）。 此阶段包括： - 清理重复数据 - 格式标准化 - 列结构化 ### 4. 分析与可视化 对整合后的数据进行探索性分析，并通过可视化（图表）来： - 识别趋势 - 分析漏洞分布 - 观察严重性等级 ### 5. 通知 邮件发送系统用于在检测到新漏洞时自动向用户（在 `utilisateurs.csv` 中定义）发送警报。 这有助于建立主动的安全监控机制。 ## 目标 - 自动化漏洞（CVE）收集 - 结构化并丰富网络安全数据 - 简化风险分析 - 建立自动化监控系统 - 为网络安全项目提供可扩展的基础 ## 改进展望 本项目可通过以下方式扩展： - 集成其他来源（NVD, MITRE 等） - 创建 REST API - 交互式仪表盘（Streamlit, Dash） - 完全自动化（cron, Airflow） - 使用 Docker 进行容器化 该管道构成了威胁情报和网络情报系统的坚实基础，可轻松适应专业或学术需求。 ## 项目结构 ``` . ├── data/ # Données brutes et transformées │ ├── extraction_CVE.csv │ ├── enrichissement_CVE.csv │ ├── consolidation_CVE.csv │ └── flux_rss_ancssi.json │ ├── notebooks/ # Notebook principal │ └── 01_pipeline_cve_anssi.ipynb │ ├── docs/ # Documentation / export HTML │ └── 01_pipeline_cve_anssi.html │ ├── utilisateurs.csv # Liste des utilisateurs (emails) ├── requirements.txt ├── .gitignore └── README.md ```

标签：ANSSI, CSV处理, CVSS评分, GPT, MITRE API, NoSQL, PB级数据处理, Python, RSS订阅, SecOps, 云安全架构, 代码示例, 威胁情报, 安全运维, 开发者工具, 数据 enrichment, 数据分析, 无后门, 漏洞管理, 网络安全, 脆弱性识别, 自动化流水线, 逆向工具, 邮件告警, 隐私保护