abolarin812/CTI-feed-pipeline

GitHub: abolarin812/CTI-feed-pipeline

基于 Make 自动化平台和 Discord webhook 构建的威胁情报 RSS 聚合管道,每15分钟自动将 BleepingComputer 和 The Record 的最新安全新闻推送至 Discord 频道。

Stars: 0 | Forks: 0

# CTI-feed-pipeline 一个自动化的威胁情报聚合 pipeline,使用 Make 和 Discord webhooks 构建,能够将精选的网络安全新闻和公告实时推送到 Discord 频道中。 ## 概述 监控多个来源威胁情报的安全分析师面临着上下文切换的问题。全天手动检查不同的来源效率低下,并且会增加遗漏时效性极强的公告的风险。 此 pipeline 将两个高质量的 RSS feeds 整合到一个 Discord 频道中,每 15 分钟自动展示新的威胁情报,无需分析师干预。 ## 架构 BleepingComputer RSS ──► Make (Scenario 1) ──► Discord Webhook ──► Discord Channel The Record RSS ──► Make (Scenario 2) ──► Discord Webhook ──► Discord Channel 两个独立的 Make scenarios 以 15 分钟为间隔轮询其各自的 RSS feeds。一旦检测到新项目,每个 scenario 会提取文章标题、URL 和发布时间戳,然后通过 webhook 将格式化后的消息发送到 Discord 频道。 ## 情报来源 ### BleepingComputer `https://www.bleepingcomputer.com/feed/` 提供关于漏洞、恶意软件活动、勒索软件活动和活跃入侵的及时且技术详尽的报道。它因其针对活跃威胁的从业者级深度和高发布频率而入选。 ![为 BleepingComputer 配置的 RSS 模块](https://raw.githubusercontent.com/abolarin812/CTI-feed-pipeline/main/screenshots/02-rss-config-url.png) ### The Record by Recorded Future `https://therecord.media/feed` 提供对重大网络安全事件、威胁者活动以及更广泛的威胁态势发展的可靠且经过深入调查的报道。它因其补充 BleepingComputer 战术深度的战略和运营背景而入选。 这两个来源经过精心配对,旨在覆盖不同的情报层 —— BleepingComputer 提供战术指标和活跃活动,而 The Record 提供关于威胁者和事件的战略报道。 ## Pipeline 配置 ### RSS 模块 每个 scenario 配置了初始检索 5 条项目的上限,并从部署时开始初始化,以防止历史文章向后泛滥充斥频道。 ![RSS 模块初始化设置](https://raw.githubusercontent.com/abolarin812/CTI-feed-pipeline/main/screenshots/03-rss-from-now-on.png) ### Discord Webhook 直接在目标频道的 Integrations 下创建 Discord webhook。该 webhook URL 作为所有 Make HTTP 请求的投递 endpoint。 ![Discord webhook 创建](https://raw.githubusercontent.com/abolarin812/CTI-feed-pipeline/main/screenshots/04-webhook-creation.png) ### HTTP 模块 HTTP 模块向 Discord webhook URL 发送 POST 请求,其中包含映射 RSS 项目标题、链接和发布日期的 JSON payload。 ![HTTP 模块 — webhook URL](https://raw.githubusercontent.com/abolarin812/CTI-feed-pipeline/main/screenshots/05-http-url.png) ![HTTP 模块 — body 配置](https://raw.githubusercontent.com/abolarin812/CTI-feed-pipeline/main/screenshots/06-http-body.png) ``` { "content": "**{{1.title}}**\n{{1.url}}\n🕒 {{1.pubDate}}" } ``` ### 完成的 Scenario 画布 ![Make scenario 画布 — RSS 连接到 HTTP](https://raw.githubusercontent.com/abolarin812/CTI-feed-pipeline/main/screenshots/07-canvas.png) ## 设计决策 ### 为什么选择 Make Make 提供了一个可视化的自动化画布,使得 pipeline 逻辑透明且易于审计。Scenarios 可以在不编写代码的情况下进行监控、修改和扩展,同时仍能依靠可靠的计划触发器运行。 ### 为什么使用 HTTP 模块而不是原生 Discord 模块 Make 的原生 Discord 模块需要 OAuth bot 身份验证 —— 这对于仅单向发送消息的 pipeline 来说是不必要的开销。Discord webhook 接受标准的 HTTP POST 请求,这正是 HTTP 模块直接处理的内容。无需 bot 注册,无需 token 管理,效果相同。 ## 操作应用 此 pipeline 展示的情报通过以下方式接入 SOC 运营: - **漏洞分拣**:针对受监控环境中的产品或服务报告的活跃漏洞利用将触发补丁和升级优先级排序 - **威胁狩猎**:文章中发布的 IOC 将通过有针对性的狩猎活动在环境中进行测试 - **威胁者感知**:对活跃威胁组织的报道可为检测规则调整和狩猎假设的制定提供信息 ## 实时输出 ![将文章投递到 Discord 的 CTI feed](https://raw.githubusercontent.com/abolarin812/CTI-feed-pipeline/main/screenshots/08-discord-feed.png) ## 活跃 Scenarios ![显示两个活跃 scenarios 的 Make 仪表板](https://raw.githubusercontent.com/abolarin812/CTI-feed-pipeline/main/screenshots/09-dashboard.png) ## 限制 - Make 免费层将其限制为两个活跃 scenarios - 生产部署会根据威胁类别将 feeds 路由到专门的 Discord 频道,而不是单一共享频道 - IOC 提取是手动的 —— 文章在根据指标采取行动之前需要分析师进行审查
标签:RSS, Webhook, 信息聚合, 力导向图, 威胁情报, 安全运营, 开发者工具, 扫描框架, 无代码, 自动化流水线