Harsh-Sonker/Security-News-Scraper
GitHub: Harsh-Sonker/Security-News-Scraper
一个无需 API 密钥的本地安全新闻与 CVE 情报聚合引擎，自动抓取、聚类、评分排名网络安全报道，帮助安全从业者快速识别需要立即关注的高优先级威胁。
Stars: 0 | Forks: 0
# Security News Scraper
## 概述
每天都会发布成千上万篇网络安全文章。面临的挑战不在于收集它们，而在于识别出那些真正需要立即关注的少数报道。
**Security News Scraper** 从多个来源聚合安全新闻，对重复的报道进行聚类，利用漏洞情报丰富其内容，并基于以下因素通过确定性评分对其进行排名：
- 🕒 时效性
- 📈 新闻传播速度
- 🚨 CVSS 严重程度
- 🎯 FIRST EPSS 概率
- 🔥 CISA 已知被利用漏洞 (KEV)
所有功能均**无需 API 密钥**即可运行。
## 功能
- ⚡ **极速采集**
- 并发 RSS/Atom feed 抓取
- 针对单主机的速率限制
- 基于 `304 Not Modified` 的 HTTP 缓存
- 🔍 **无需密钥的 CVE 情报**
- CVEList v5
- CISA KEV
- FIRST EPSS
- 📰 **智能报道聚类**
- Union-Find 聚类
- Jaccard 相似度匹配
- 自动重复检测
- 🎨 **交互式终端仪表盘**
- 基于 Bubble Tea 的 TUI
- 采用颜色区分严重程度
- 报道深入查看
- 直接在浏览器中打开文章
- 🤖 **本地 AI 摘要（可选）**
- Ollama
- Qwen
- 云端 LLM 服务商
- ⏰ **监听模式**
- 后台监控
- Webhook 通知
- 针对新出现的高信噪比报道的告警
# 安装
## 前置条件
- Go 1.25+
- Git
## 克隆
```
git clone https://github.com/Harsh-Sonker/security-news-scraper.git
cd security-news-scraper
```
## 构建
### 全局安装
```
go install ./cmd/security-news-scraper
```
### 或构建本地二进制文件
```
go build -o security-news-scraper ./cmd/security-news-scraper
```
# 快速开始
### 抓取 feed
```
go run ./cmd/security-news-scraper scrape
```
### 启动终端 UI
```
go run ./cmd/security-news-scraper tui
```
# CLI 示例
生成 Markdown 报告：
```
security-news-scraper digest --top 20
```
查询 CVE：
```
security-news-scraper cve CVE-2021-44228
```
运行持续监控：
```
security-news-scraper watch --interval 1h
```
# 架构
```
Security Feeds
(Krebs, CISA, BleepingComputer, etc.)
│
▼
Concurrent HTTP Fetcher
│
▼
Parse & Deduplicate
│
▼
Keyless CVE Enrichment
│
▼
Deterministic Ranking
│
▼
SQLite (Embedded)
│
▼
Bubble Tea Terminal UI
```
# 配置
终端 UI 使用内置的 **Dracula 风格**调色板。
若要自定义，请编辑：
```
internal/tui/theme.go
```
并重新构建应用程序。
# 许可证
基于 **GNU AGPL v3.0** 授权。
详情请参阅 [LICENSE](LICENSE) 文件。
由 **Harsh Sonker** 使用 ❤️ 和 Go 构建
标签：AI风险缓解, EVTX分析, Go, Ruby工具, XSS, 信息聚合, 威胁情报, 开发者工具, 日志审计, 漏洞情报, 网络安全, 隐私保护