ruwgxo/living-threat-intel

# 活跃的威胁情报 一本全面的技术指南，教授安全工程师如何从零开始构建自动化威胁情报平台。最终，你将部署一个实时、自动更新的威胁情报系统（类似于 [KrebsOnSecurity](https://krebsonsecurity.com)），并以 **零成本** 运行。 🔗 **在线部署**：[intel.ruwgxo.com](https://intel.ruwgxo.com) *(即将推出)* 📚 **在线阅读**：[书籍章节](chapters/) 💻 **参考实现**：[ThreatPulse](implementation/) ## 你将构建什么 **ThreatPulse** - 一个生产级的威胁情报平台，具备以下功能： - ✅ 从 10 多个免费来源（CISA、NVD、abuse.ch、供应商数据源）聚合数据 - ✅ 使用 GitHub Actions（无服务器）每日收集威胁数据 - ✅ 使用 Claude 生成由 AI 驱动的每周摘要 - ✅ 提取 IOC 并自动生成检测规则 - ✅ 通过 REST API 发布到公开仪表板 - ✅ 运营成本为 **$0/月**（免费额度优化） ## 目标读者 **目标受众：** - 希望构建检测平台的安全工程师（3 年以上经验） - 正在向安全工程角色转型的 SOC 分析师 - 设计威胁情报系统的平台架构师 - 自动化安全运营的 DevSecOps 专业人员 **前置条件：** - Python 编程（中级水平） - 对 REST API 和 HTTP 的基本了解 - 熟悉 Git/GitHub - 了解常见攻击向量（CVE、恶意软件、TTPs） **无需具备：** - 先前的威胁情报经验 - 机器学习知识 - 云平台专业知识 - 购买商业威胁情报平台的预算 ## 书籍结构 ### **第一部分：基础** (第 1-3 章) 了解威胁情报领域、分类法以及开源情报收集。 ### **第二部分：技术基础** (第 4-6 章) 数据格式（STIX/TAXII）、API 集成、数据处理和标准化。 ### **第三部分：情报生产** (第 7-9 章) 自动化分类、AI 驱动的摘要、IOC 提取和武器化。 ### **第四部分：自动化与部署** (第 10-12 章) GitHub Actions 自动化、存储策略、部署 ThreatPulse MVP。 ### **第五部分：高级功能** (第 13-15 章) 公开仪表板、REST API、威胁狩猎集成。 ### **第六部分：扩展与生产** (第 16-18 章) 性能优化、衡量情报价值、社区建设。 **总计：** 18 章，约 32 小时内容，100% 实操 📖 **[查看完整目录](BOOK_INDEX.yaml)** ## 快速开始 ### 阅读本书 ``` # 克隆仓库 git clone https://github.com/ruwgxo/living-threat-intel.git cd living-threat-intel # 开始阅读 cat chapters/01-state-of-threat-intel.md ``` ### 构建 ThreatPulse 每章都包含实践练习。到第 12 章时，你将拥有一个完全自动化的平台： ``` # 第 5 章：构建你的第一个 collector python implementation/collectors/cisa_collector.py # 第 10 章：部署 automation git push # GitHub Actions handles the rest # 第 13 章：启动公开 dashboard # 访问 your-username.github.io/living-threat-intel ``` ## 仓库结构 ``` living-threat-intel/ ├── README.md # You are here ├── BOOK_INDEX.yaml # Complete book outline with metadata ├── LICENSE # MIT License │ ├── chapters/ # Book content (Markdown) │ ├── 01-state-of-threat-intel.md │ ├── 02-threat-intelligence-taxonomy.md │ ├── 03-osint-foundations.md │ ├── 04-data-formats-and-standards.md │ └── ... │ ├── implementation/ # ThreatPulse reference implementation │ ├── collectors/ # Data collection scripts │ │ ├── cisa_collector.py │ │ ├── nvd_collector.py │ │ └── ... │ ├── processors/ # Data processing pipelines │ │ ├── deduplicator.py │ │ ├── enrichment.py │ │ └── categorizer.py │ ├── analyzers/ # AI-powered analysis │ │ └── summarizer.py │ ├── generators/ # Detection rule generators │ │ ├── yara_generator.py │ │ └── sigma_generator.py │ └── utils/ # Shared utilities │ └── helpers.py │ ├── deployment/ # Live threat intel platform │ ├── .github/ │ │ └── workflows/ │ │ ├── daily-collection.yml │ │ └── weekly-summary.yml │ ├── data/ │ │ ├── daily/ # Daily threat collections (YAML) │ │ └── weekly/ # Weekly AI summaries (YAML) │ └── site/ # Static site generator config │ └── config.yaml │ ├── exercises/ # Chapter exercises and starter code │ ├── chapter-01/ │ ├── chapter-02/ │ └── ... │ ├── appendices/ # Reference materials │ ├── A-threat-intel-sources.md │ ├── B-api-integration-examples.md │ ├── C-detection-rule-templates.md │ ├── D-cost-optimization.md │ ├── E-compliance-legal.md │ └── F-interview-preparation.md │ └── samples/ # Sample data and examples ├── cves/ ├── iocs/ └── reports/ ``` ## 学习路径 ### **初级路径**（8 周，4 小时/周） 按顺序阅读各章。完成所有练习。在第 4 周部署 ThreatPulse。 ### **中级路径**（4 周，8 小时/周） 略读第 1-3 章。重点在于实现（第 4-12 章）。部署并扩展。 ### **高级路径**（2 周，16 小时/周） 跳至第 5 章。边读边构建。为你的组织进行定制。 ## 项目里程碑 - [ ] **第 1 周**：完成第 1-3 章，构建威胁源清单 - [ ] **第 2 周**：完成第 4-6 章，第一个 API 收集器开始工作 - [ ] **第 3 周**：完成第 7-9 章，集成 AI 摘要 - [ ] **第 4 周**：完成第 10-12 章，**ThreatPulse 实现自动化并上线** 🎉 - [ ] **第 5-8 周**：高级功能，公开发布，社区参与 ## 技术栈 **核心技术：** - **Python 3.11+** - 主要编程语言 - **GitHub Actions** - 无服务器自动化 - **Claude AI** - 每周摘要（Anthropic API） - **Hugo/Jekyll** - 静态站点生成 - **YAML** - 数据存储格式 **数据源（全部免费）：** - CISA KEV 目录 - NVD（国家漏洞数据库） - abuse.ch（URLhaus、MalwareBazaar） - AlienVault OTX - VirusTotal（免费额度） - GitHub 安全公告 - 供应商安全博客（RSS） **可选（用于扩展）：** - AWS Lambda + S3（免费额度） - PostgreSQL / MongoDB - Redis（缓存） ## 使用场景 ### **对于安全团队** - 构建内部威胁情报平台 - 自动化早晨安全简报 - 将 IOC 输入到 SIEM/EDR - 跟踪供应商漏洞 ### **对于求职者** - 安全工程职位的作品集项目 - 面试谈资（实时部署） - 展示自动化 + AI 集成技能 - 展现超出认证范围的主动性 ### **对于研究人员** - 历史威胁数据仓库 - 关于威胁趋势的学术研究 - 恶意软件家族分析 - 攻击技术演变研究 ### **对于学生** - 学习实用威胁情报 - 了解安全运营工作流程 - 构建生产级项目 - 为开源安全做贡献 ## 成功案例 *(添加你的故事：提交 PR 或 issue)* ## 路线图 ### **v1.0**（当前） - [x] 完成书籍大纲（18 章） - [ ] 第 1-3 章（基础） - [ ] 第 4-6 章（技术基础） - [ ] 第 7-9 章（情报生产） - [ ] 第 10-12 章（自动化与部署） - [ ] ThreatPulse MVP 自动化 ### **v1.1**（2025 年第二季度） - [ ] 第 13-15 章（高级功能） - [ ] 在 intel.ruwgxo.com 部署公开仪表板 - [ ] REST API 部署 - [ ] 社区贡献 ### **v2.0**（2025 年第三季度） - [ ] 第 16-18 章（扩展与生产） - [ ] 多语言支持 - [ ] 视频配套系列 - [ ] 会议研讨会材料 ## 许可证 **书籍内容**：[Creative Commons BY-NC-SA 4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/) **代码（implementation/）**：[MIT License](LICENSE) 可免费使用、修改和分享。书籍内容的商业用途需获得许可。 ## 状态 📅 **启动时间**：2025 年 1 月 📊 **进度**：第 1-3 章撰写中 🚀 **首次部署**：目标为 2025 年 2 月 ⭐ **标星此仓库** 以持续关注！ **准备好构建你自己的威胁情报平台了吗？从[第 1 章](chapters/01-state-of-threat-intel.md)开始 →** ``` --- ### **5. LICENSE** ``` MIT License Copyright (c) 2025 Raghav Dinesh Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE. BOOK CONTENT LICENSE The book content (all Markdown files in chapters/ and appendices/) is licensed under Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International. You are free to: - Share: copy and redistribute the material - Adapt: remix, transform, and build upon the material Under the following terms: - Attribution: Give appropriate credit - NonCommercial: Not for commercial purposes without permission - ShareAlike: Distribute contributions under same license For commercial use of book content, contact: raghav@hsed.dev

标签：AI总结, CISA, Claude API, DAST, DevSecOps, GitHub Actions, IP 地址批量处理, NVD, Python, REST API, SOC分析, STIX/TAXII, 上游代理, 免费安全工具, 反模式检测, 威胁情报, 威胁情报平台(TIP), 安全工程, 安全开发教程, 安全数据聚合, 实时处理, 开发者工具, 开源情报(OSINT), 恶意软件分析, 攻击指标(IOC), 无后门, 检测规则工程, 网络安全防御, 自动化安全运营, 自动笔记, 蓝队建设, 逆向工具