mazrli/CyberIntel

# CyberIntel CyberIntel 是一个开源的网络威胁情报平台，致力于从受信任的 RSS 源收集、规范化并存储网络安全新闻。专为可扩展的数据摄取、威胁情报、分析以及未来的 AI 驱动的安全应用而构建。 # 网络情报聚合器 一个生产就绪的开源平台，用于从数百个 RSS 源收集、规范化和分析网络安全情报。 该项目围绕可扩展的数据摄取 pipeline 设计，并作为威胁情报仪表板、搜索系统、机器学习实验和安全监控平台的后端基础。 ## 功能 * 从数百个受信任的 RSS 源收集网络安全新闻。 * 直接从 OPML 文件导入源。 * 首次运行时自动创建数据库 schema。 * 将发布日期规范化为 UTC。 * 使用 GUID 哈希防止文章重复。 * 存储完整的文章元数据，包括标题、链接、摘要和内容。 * 支持多种源类别（新闻、研究、漏洞、恶意软件、威胁情报、播客、视频）。 * 采用模块化架构设计，后续可扩展为 REST API、定时 worker 和分布式处理。 ## 技术栈 ### 后端 * Python 3.12+ * Feedparser * OPML * MySQL * python-dateutil ### 数据库 * MySQL 8+ ### 未来后端 * ASP.NET Core Web API * Entity Framework Core * Redis * RabbitMQ * Docker ### 未来前端 * React * Next.js * Tailwind CSS ## 项目结构 ``` cyber-intelligence/ ├── importer.py ├── config.py ├── database.py ├── repositories.py ├── opml_reader.py ├── rss_reader.py ├── feeds.opml ├── requirements.txt └── README.md ``` ## 数据流 ``` OPML │ ▼ Read Feed Sources │ ▼ Download RSS Feed │ ▼ Normalize Data │ ▼ Deduplicate │ ▼ Store in MySQL │ ▼ REST API / Dashboard / Search ``` ## 安装说明 克隆仓库。 ``` git clone https://github.com//cyber-intelligence.git cd cyber-intelligence ``` 安装依赖项。 ``` pip install -r requirements.txt ``` ## 运行说明 ``` python importer.py article feeds.opml ``` 示例： ``` python importer.py article feeds.opml python importer.py podcast podcasts.opml python importer.py vulnerability cve.opml ``` ## 数据库 如果所需的表尚不存在，导入器会自动创建它们。 ### feeds 存储有关 RSS 源的元数据。 ### entries 存储规范化的 RSS 文章。 ## 路线图 ### 第一阶段 * RSS 导入器 * OPML 导入 * MySQL 存储 * 重复检测 ### 第二阶段 * REST API * 搜索 API * 分页 * 过滤 * 全文搜索 ### 第三阶段 * Docker * 后台调度器 * 增量更新 * 多线程导入 ### 第四阶段 * AI 分类 * 威胁评分 * 自动打标签 * Embedding 搜索 * LLM 摘要 ### 第五阶段 * Web 仪表板 * 分析 * 趋势检测 * 威胁时间线 ## 潜在使用场景 * 网络威胁情报 * 安全运营中心 (SOC) * 威胁狩猎 * 恶意软件研究 * 漏洞监控 * 安全仪表板 * AI 训练数据集 * OSINT 收集 ## 许可证 MIT 许可证

标签：Python, RSS聚合, 后端开发, 命令控制, 威胁情报, 开发者工具, 数据采集, 无后门, 逆向工具