hnsh3in/Threat_Intel_Digest

# 威胁情报摘要 一个自托管的威胁情报管道，每日两次摄取超过20个安全RSS源，将每条信息通过根据您组织技术栈和地区校准的Claude AI分类引擎处理，并仅提供真正相关的精炼摘要——让您获取重要的威胁信息，而非淹没在原始信息流的噪音中。 基于n8n（自托管，Docker）、AWS Lightsail和Anthropic Claude API构建。运行成本低于每月12美元。 ## 独特之处 大多数开源威胁情报管道仅止步于摄取——将少数RSS源输入摘要提示并推送到频道。本项目旨在真正实现日常可用性： - **20+信息源** - 覆盖威胁情报、数字取证与事件响应（DFIR）、供应商研究、工业控制系统/操作技术（ICS/OT）和国家计算机应急响应小组（CERT）。高信号、低流量的来源如The DFIR Report和Malware Traffic Analysis，与高流量来源如Bleeping Computer和The Hacker News并存。 - **相关性过滤，而非仅摘要** - 每条信息在生成摘要前，都会根据您的组织、分析师技术栈和监控区域进行评分。与您无关的噪音永远不会到达您的收件箱。 - **两阶段设计保持低成本** - 分类仅基于标题和摘要片段运行；摘要调用仅针对通过阈值的项目触发。您获得广泛覆盖而无需为所有内容摘要付费。 - **针对机器屏蔽信息源的回退抓取** - 拒绝默认爬虫的信息源（如BankInfoSecurity, Fortiguard）将使用浏览器User-Agent重试，确保它们不会被静默丢弃。 - **为校准而设计，而非设置后遗忘** - 审计日志记录每个判定（`PASSED` / `REJECTED` / `UNSCORED`）及其评分和原因。两周后，您可以准确看到阈值设置过严或过松的位置，并相应调整提示。 - **所有内容基于真实数据** - 评分标准、自动提升规则和阈值均根据实际管道运行数据进行校准。示例输出是真实的摘要执行结果，而非模拟数据。 ## 功能特性 - **双阶段Claude管道** - 分类首先对每条项目评分（成本效益高）；摘要仅对通过阈值的项目运行，保持低token使用量 - **21个RSS信息源**，涵盖威胁情报、DFIR、供应商研究、ICS/OT和国家CERT - **相关性评分（0-10）** - 可根据您的技术栈和区域进行配置 - **分类提示中的自动提升和自动降级规则**，用于处理边缘案例（如CISA KEV新增条目、针对关键国家基础设施的国家级攻击活动、信息窃取器IOC投放、钓鱼即服务基础设施） - **双层回退抓取** - 优先使用n8n RSS节点，其次使用带有浏览器`User-Agent`的HTTP回退（处理如BankInfoSecurity和Fortiguard等被机器屏蔽的信息源） - **通过n8n SQLite实现跨执行去重** - 在之前运行中已见过的项目将被抑制 - **每次运行的12小时pubDate过滤**，对无日期项目进行透传，避免静默信息源丢弃 - **审计日志**（Google Sheets）记录每个项目：`PASSED`、`REJECTED`或`UNSCORED` - 用于分类阈值校准 - **错误通知分支** - 失败的信息源将向Discord和Gmail发送警报，包含信息源名称、URL、HTTP状态和错误详情 - **Discord分块** - 输出在项目边界处分割，每条消息最大1,950字符，webhook调用间延迟2秒，以防止429错误并保持顺序 ## 预估运行成本 | 组件 | 成本 | |---|---| | Claude API (Haiku) | 每日两次频率、21个信息源下低于每月5美元 | | AWS Lightsail | 每月7美元（1GB内存，2个vCPU） | ## 示例输出 **邮件摘要**  **审计日志 - 信息源噪音分析**  **审计日志 - 分类数据**  完整输出示例包括错误通知，请查看 [samples/](./samples/) 文件夹。 ## 技术栈 | 组件 | 技术 | |---|---| | 编排 | [n8n](https://n8n.io/)（自托管，Docker） | | 托管 | AWS Lightsail - Ubuntu 24.04 LTS | | 人工智能 / 分类 | Anthropic Claude API (`claude-haiku-4-5-20251001`) | | 通知 | Discord Webhook, Gmail (OAuth2) | | 审计日志 | Google Sheets (OAuth2) | | 语言 | JavaScript (n8n Code节点) | | 去重 | n8n SQLite（内置，跨执行） | ## 前置条件 - AWS Lightsail实例（或任何Linux VPS） - 运行Ubuntu 24.04 LTS，1GB内存 - n8n（自托管） - 运行v2.14.2 - Anthropic API密钥 ([console.anthropic.com](https://console.anthropic.com)) - **在激活前，请在控制台 > 设置 > 限制中设置每月支出上限**，以在密钥泄露时限制损失 - 带有webhook URL的Discord服务器 - 在Google Cloud Console中配置了OAuth2的Gmail账户 - Google Sheets（用于审计日志） 逐步配置说明请参见 [SETUP.md](./SETUP.md)。 ## 管道阶段 ### 阶段1 - 分类 - 输入：仅`标题` + `内容摘要`（紧凑、成本高效） - 模型：`claude-haiku-4-5-20251001`，最大token数：2000 - 输出：JSON数组 - `{ id, score, category, reason }` - 阈值：分数 >= 4 通过；分数 < 4 被拒绝 **评分标准（0-10）：** | 分数 | 标准 | |---|---| | 10 | 直接提及您的组织或核心平台。在完全相同的分析师技术栈中存在被主动利用的零日漏洞。 | | 8-9 | 针对您目标区域关键国家基础设施的国家级攻击活动。勒索软件攻击关键国家基础设施。您所在行业关键系统和操作平台的漏洞。安全或IT工具链的供应链受损。PAM/特权访问受损。 | | 6-7 | Windows/AD/Azure攻击技术（Kerberoasting, DCSync, ADCS, OAuth滥用, AiTM, BYOVD）。新的勒索软件战术、技术和程序（TTP）。AI/大语言模型攻击（提示注入、MCP漏洞利用）。容器/K8s逃逸。带有IOC的信息窃取器活动。钓鱼即服务基础设施。SIEM/XDR规避。 | | 4-5 | 数字取证与事件响应（DFIR）和检测工程（Sigma, KQL, YARA, Sysmon, Velociraptor）。MITRE ATT&CK研究。Linux/macOS企业攻击。具有远程代码执行/服务端请求伪造/身份验证绕过原始漏洞的CVE，但未确认利用。 | | 2-3 | 通用漏洞披露。安全行业新闻。相关性较低的研究。 | | 0-1 | 供应商营销、会议公告、消费者建议、离题内容。 | ### 阶段2 - 摘要 - 输入：仅阈值通过的项目 - 模型：`claude-haiku-4-5-20251001`，最大token数：10000 - 每项输出：标题、来源、发布时间、类别、相关性分数、摘要（2句话）、建议操作、阅读更多链接 - 按相关性分数降序排序 - `triageScore` 原样使用 - 模型被指示不调整该分数 ## 工作原理 每次运行两次Claude API调用 - 先分类，仅对通过的内容进行摘要。 ``` flowchart TD A([Schedule Trigger\n00:00 & 12:00 UTC]) --> B[RSS Feed List\n21 feeds] B --> C[Clear Accumulator] C --> D[Split Feed Array] D --> E{Loop Feeds\nbatch size 1} E --> F[Fetch RSS\nn8n RSS node] F --> G[Unpack Feed Fallback] G --> H{Error?} H -- Yes --> I[HTTP Fallback Fetch\nbrowser User-Agent] I --> J[Parse RSS XML\nregex, RSS 2.0 + Atom] J --> K{Still failing?} K -- Yes --> L[Format Error Notification] L --> M[Gmail Error Alert] L --> N[Discord Error Alert] N --> O[Rate Limit Delay 2s] K -- No --> O H -- No --> O O --> P[Accumulate Items\nworkflow static data] P --> Q{All feeds done?} Q -- No --> E Q -- Yes --> R[Read Accumulated Items] R --> S[Filter pubDate 12h] S --> T[Deduplicate by Link\ncross-execution SQLite] T --> U[Aggregate Items] U --> V[Build Triage Payload] V --> W[[Claude Haiku\nStage 1: Triage\nJSON score array]] W --> X[Decode Claude Response] X --> Y[Parse + Filter\nthreshold score 4] Y --> Z[Audit Rows] Z --> AA[(Google Sheets\nAudit Log)] Y --> AB[Build Summary Payload] AB --> AC[[Claude Haiku\nStage 2: Summarise\nsurvivors only]] AC --> AD[Format Gmail] AC --> AE[Format Discord] AD --> AF[Gmail\nHTML digest] AE --> AG[Split In Batches] AG --> AH[Discord Webhook] AH --> AI[Wait 2s] AI --> AG ``` ## RSS信息源（21个） | 来源 | 类型 | |---|---| | The Hacker News | 综合威胁新闻 | | Bleeping Computer | 漏洞和恶意软件新闻 | | Krebs on Security | 调查性威胁情报 | | Dark Reading | 行业安全新闻 | | BankInfoSecurity | 金融行业 / 关键国家基础设施 | | Cisco Talos | 供应商威胁研究 | | Palo Alto Unit 42 | 供应商威胁研究 | | Malwarebytes Blog | 恶意软件分析 | | Microsoft Security Blog | 微软技术栈公告 | | Rapid7 Blog | 漏洞研究 | | SANS ISC | 每日威胁指标 | | Fortiguard IR | 供应商事件响应公告 | | Recorded Future | 威胁情报 | | Malware Traffic Analysis | 数据包捕获 / 流量分析 | | CISA ICS Advisories | OT/ICS公告 | | The DFIR Report | DFIR案例研究 | | JPCERT/CC | 国家计算机应急响应小组 | | Elastic Security Labs | 检测研究 | | CrowdStrike Blog | 供应商威胁研究 | | SentinelOne Labs | 恶意软件和威胁研究 | | Red Canary | 检测工程 | ## 仓库结构 ``` Threat_Intel_Digest/ ├── README.md # This file ├── SETUP.md # Deployment and configuration guide ├── FEEDS.md # Feed list with notes ├── samples/ # Sample output screenshots │ ├── discord_digest.png │ ├── gsheet_triage_audit.png │ └── gsheet_feed_noise_analysis_chart.png └── workflow/ └── Threat_Intel_Digest_Published_v1.0.json # n8n workflow export (sanitised) ``` ## 路线图 - [ ] 通过RSS桥接或Bot API进行Telegram信息源摄取 - [ ] 暗网泄露站点和地下论坛的洋葱站点爬取（Tor + 爬虫） - [ ] 每周汇总摘要 - [ ] 在摘要提示中添加MITRE ATT&CK技术标签 - [ ] 提取IOC（IP地址、域名、哈希值、CVE ID）到结构化输出 - [ ] 检测规则建议（Sigma / KQL / YARA）由摘要提示生成 ## 许可证 MIT

标签：AI驱动, AWS云服务, Claude API, Discord通知, Docker容器, Gmail推送, n8n工作流, RSS订阅, 威胁分析, 威胁情报, 安全运营, 工作流自动化, 开发者工具, 情报聚合, 成本优化, 扫描框架, 摘要生成, 攻击面发现, 数据可视化, 相关性过滤, 网络安全, 网络调试, 自动化, 自动化侦查工具, 自动通知, 自托管, 请求拦截, 隐私保护