概述

Argus 由三个独立的管道组成。

核心价值

• 自动化：从 CVE 发布 → 分析 → 检测规则 → 通知安全负责人，全程无需人工干预
• AI 分析：基于 LLM 的根本原因分析、攻击场景生成、自动生成定制化检测规则
• 多引擎规则：Sigma, Snort 2.9/3, Suricata 5/7, YARA 等，可直接应用于实战安全设备
• IP 风险管理：整合 8 个威胁源，结合 AbuseIPDB/InternetDB 增强，基于时间加权，分类阈值，自动推荐防火墙策略
• IOC 整合：对接 URLhaus, MalwareBazaar, PhishTank/OpenPhish 数据源，按类型分块懒加载仪表盘
• 智能过滤：基于内容哈希的批量提交检测，忽略元数据补丁，仅处理实际变更的 CVE
• Thread-Safe Rate Limiting：针对 10 个 API 端点分别限速，自动应对 429，利用率摘要报告

架构

外部服务集成

功能

Phase 1 - CVE Scanner

数据收集

• CISA KEV 实时跟踪
• 自动收集最近 2 小时内发布的 CVE (应用智能过滤)
• 基于内容哈希的批量提交检测 → 忽略元数据补丁
• EPSS 评分批量查询
• NVD CVSS/CWE 增强 (可选)
• PoC (Proof-of-Concept) 公开状态检测
• VulnCheck KEV 额外来源 (可选)
• GitHub Advisory DB 软件包信息查询

AI 分析 (Groq LLM)

• 漏洞根本原因分析
• 基于 MITRE ATT&CK 的攻击场景生成
• 业务影响评估
• 应对方案建议
• 检测规则生成可行性判断 (Observable Gate)

检测规则自动生成

• 优先使用公开规则，若无则由 AI 生成
• AI 生成的规则通过正则表达式语法校验 + 防幻觉保护
• 发现官方规则时替换现有 AI 规则并通过 Slack 重新告警

告警触发条件

资产匹配 (assets.json)

• 一级：CVE affected 字段的结构化 vendor/product 匹配
• 二级：description 文本搜索 (备选)
• 支持通配符 (*) 以监控全部

Phase 2 - The Shield (IP Blacklist)

威胁源收集 (8 个来源)

风险评分 (0~100 分)

分类阈值覆盖

根据类别不同，相同分数对应的风险等级可能不同：

防火墙管理自动建议

• 每日推送新增高风险 IP TOP 10 (建议加入防火墙)
• 数据源移除检测：昨日 Critical/High → 今日所有数据源中消失的 IP → 建议解封
• 等级下降检测：昨日 Critical/High → 今日降至 Medium/Low → 建议评估解封

Phase 3 - IOC Dashboard & External Feeds

外部 IOC 数据源集成

IOC 统一数据结构 (按类型懒加载)

仪表盘不会一次性加载所有 IOC，而是通过按类型分离的文件在需要时才加载：

仪表盘

基于 GitHub Pages 的静态仪表盘，无需直接调用 Supabase，而是加载 docs/data/*.json 文件。

index.html 会自动重定向到 ioc.html。

项目结构

Argus-AI-Threat-Intelligence/

├── .github/workflows/

│   ├── argus.yml                     # Phase 1: CVE 扫描工作流

│   └── blacklist.yml                 # Phase 2: 每日 IP 黑名单

│

├── src/

│   ├── main.py                       # Phase 1 主管道

│   ├── collector.py                  # CVE 数据收集器 (智能过滤)

│   ├── analyzer.py                   # AI 分析引擎 (Groq LLM)

│   ├── rule_manager.py               # 检测规则收集/生成管理

│   ├── notifier.py                   # Slack 告警 (CVE 告警, 官方规则告警)

│   ├── database.py                   # Supabase 接口

│   ├── config.py                     # 配置管理 (ArgusConfig 类)

│   ├── logger.py                     # 日志记录

│   ├── rate_limiter.py               # Thread-Safe API 限速 (v3.0)

│   ├── export_dashboard_data.py      # 仪表盘数据导出 + 外部 IOC 收集

│   │

│   └── blacklist_ip/                 # Phase 2: The Shield

│       ├── main.py                   # Shield 主管道

│       ├── config.py                 # Shield 配置 (Settings dataclass)

│       ├── collector_tier1.py        # 数据源收集器 (8 个来源, ThreatFox JSON 解析器)

│       ├── enricher_tier2.py         # IP 增强 (AbuseIPDB, InternetDB, 分离上限)

│       ├── scoring.py                # 风险评分 (分类阈值, 时间权重)

│       ├── delta.py                  # 每日变化计算

│       ├── store_supabase.py         # Supabase 存储

│       ├── blacklist_ip_notifier.py  # Shield Slack 报告

│       └── feeds.yml                 # 威胁源配置 (8 个)

│

├── docs/                             # GitHub Pages 仪表盘

│   ├── index.html                    # → ioc.html 重定向

│   ├── ioc.html                      # IOC 统合仪表盘 (主页)

│   ├── cve.html                      # CVE 仪表盘

│   ├── blacklist.html                # IP 黑名单仪表盘

│   ├── css/style.css                 # 公共样式

│   ├── js/

│   │   ├── chart.js                  # 图表工具

│   │   ├── cve-dashboard.js          # CVE 仪表盘逻辑

│   │   ├── blacklist-dashboard.js    # IP 仪表盘逻辑

│   │   └── ioc-dashboard.js          # IOC 统合仪表盘逻辑

│   └── data/                         # 导出的 JSON 数据 (自动生成)

│       ├── cves.json / blacklist.json / stats.json

│       └── ioc-meta/cve/ip/url/hash/rule.json

│

├── assets.json                       # 监控目标资产定义

├── requirements.txt                  # Python 依赖





安装设置

1. 克隆仓库

git clone https://github.com/LEEKIYOON-SEC/Argus-AI-Threat-Intelligence.git

cd Argus-AI-Threat-Intelligence

2. 安装依赖

pip install -r requirements.txt



  
包
用途

  
requests
HTTP API 调用

  
groq
Groq LLM API 客户端

  
google-genai
Google Gemini 翻译

  
supabase
Supabase 数据库

  
slack_sdk
Slack 消息构建

  
PyYAML
YAML 配置解析

  
yara-python
YARA 规则编译验证

  
tenacity
API 重试逻辑

  
pytz
时区管理



3. 配置 GitHub Secrets

在 GitHub 仓库的 Settings > Secrets and variables > Actions 中注册以下机密。

必需 (Phase 1 - CVE Scanner)



  
Secret
说明

  
GH_TOKEN
GitHub Personal Access Token (Issue 创建, 规则搜索)

  
SUPABASE_URL
Supabase 项目 URL

  
SUPABASE_KEY
Supabase anon/service key

  
SLACK_WEBHOOK_URL
Slack Incoming Webhook URL

  
GROQ_API_KEY
Groq API 密钥

  
GEMINI_API_KEY
 Gemini API 密钥



GITHUB_REPOSITORY：在 GitHub Actions 环境中自动提供。本地运行时若未设置，仅跳过 GitHub Issue 创建。

必需 (Phase 2 - The Shield)

只需与 Phase 1 共用的 3 个：



  
Secret
说明

  
SUPABASE_URL
Supabase 项目 URL

  
SUPABASE_KEY
Supabase anon/service key

  
SLACK_WEBHOOK_URL
Slack Incoming Webhook URL



可选



  
Secret
用途
未设置时的行为

  
ABUSEIPDB_API_KEY
AbuseIPDB IP 信誉查询 (免费层: 1,000 次/天)
跳过 AbuseIPDB 增强，仅使用 InternetDB

  
NVD_API_KEY
NVD API (Phase 1: CVSS/CWE 详细查询)
不进行 NVD 增强继续运行

  
VULNCHECK_API_KEY
VulnCheck API (Phase 1: 扩展 KEV 来源)
不使用 VulnCheck 来源继续运行

  
PHISHTANK_API_KEY
PhishTank API (IOC 钓鱼 URL 收集)
使用公开端点 (失败时回退到 OpenPhish)







配置

Phase 1 配置 (src/config.py ArgusConfig 类)



  
配置项
当前值
说明

  
MODEL_PHASE_0
gemma-3-27b-it
翻译/摘要模型

  
MODEL_PHASE_1
openai/gpt-oss-120b
深度分析模型

  
max_workers
3
并行 CVE 处理工作线程数

  
cve_fetch_hours
2
收集最近 N 小时内的 CVE

  
max_cves_per_run
50
单次运行最大处理 CVE 数

  
max_rule_recheck
10
官方规则重新检查批次大小

  
rule_check_interval_days
7
官方规则重新检查周期

  
bulk_commit_threshold
100
批量提交判定标准 (文件数)



Phase 1 Rate Limiter (src/rate_limiter.py)

Thread-Safe Rate Limiter v3.0 管理 10 个 API 端点：



  
API
限制
窗口
最小间隔

  
github
5,000/h
3,600s
0.5s

  
github_search
8/min
60s
7.0s

  
groq
15/min
60s
5.0s

  
gemini
25/min
60s
2.5s

  
epss
60/min
60s
1.0s

  
kev
10/h
3,600s
2.0s

  
nvd
40/30s
30s
1.0s

  
vulncheck
40/min
60s
1.5s

  
github_advisory
100/h
3,600s
0.5s

  
ruleset_download
20/h
3,600s
2.0s





  
使用率超过 80% 时降速，超过 90% 时额外等待

  
收到 429 响应时解析 Retry-After 头后自动等待

  
运行结束时输出各 API 使用量摘要



Phase 2 配置 (src/blacklist_ip/config.py Settings dataclass)



  
配置项
默认值
说明

  
critical_threshold
80
Critical 等级标准 (全局)

  
high_threshold
60
High 等级标准 (全局)

  
medium_threshold
40
Medium 等级标准 (全局)

  
source_bonus_step
5
每增加一个数据源的加分

  
source_bonus_cap
15
来源加分最大值

  
max_enrich_count
500
AbuseIPDB 最大增强数量

  
max_enrich_internetdb
5,000
InternetDB 最大增强数量

  
enrich_workers
20
InternetDB 并行工作线程数

  
topn_report
10
Slack TOP N 报告数量

  
abuseipdb_daily_max
1,000
AbuseIPDB 每日配额

  
cache_ttl (AbuseIPDB)
24 小时
AbuseIPDB 缓存 TTL

  
cache_ttl (InternetDB)
72 小时
InternetDB 缓存 TTL







使用方法

Phase 1 - CVE Scanner

GitHub Actions: 每小时整点自动运行 (也支持手动运行：Actions 标签页 > Argus CVE Monitor > Run workflow)

本地运行:

export GH_TOKEN="..."

export SUPABASE_URL="..."

export SUPABASE_KEY="..."

export SLACK_WEBHOOK_URL="..."

export GROQ_API_KEY="..."

export GEMINI_API_KEY="..."

python src/main.py

Phase 2 - The Shield

GitHub Actions: 每天 00:00 UTC = 09:00 KST 自动运行

本地运行:

export SLACK_WEBHOOK_URL="..."

export SUPABASE_URL="..."

export SUPABASE_KEY="..."

export ABUSEIPDB_API_KEY="..."  # 可选

python -m src.blacklist_ip.main --mode daily --tz Asia/Seoul

Dashboard Data Export

export SUPABASE_URL="..."

export SUPABASE_KEY="..."

python src/export_dashboard_data.py

如果没有 Supabase 凭据，将生成空的示例数据，使仪表盘能正常加载。





Slack 告警示例

1. 新 CVE 告警

[NEW] 新 CVE: CVE-2024-12345

───────────────────────────────

Apache Struts 通过 OGNL 注入实现远程代码执行

受影响产品:

Vendor: Apache

Product: Struts

Versions: 2.3.5 ~ 2.5.30

Patch: 2.5.31

───────────────────────────────

CVSS        EPSS       KEV       CWE

9.8         85.2%      YES       CWE-917

───────────────────────────────

Apache Struts 通过 Content-Type 头实现 OGNL

注入，可执行远程代码...

[AI 详细分析报告 →]  (GitHub Issue 链接)

2. CVE 批次摘要告警

  Argus CVE 批次摘要

───────────────────────────────

总检测: 12 个

Critical  High     Medium   Low

3          5          3         1

───────────────────────────────

高风险 CVE:

1. CVE-2024-12345 (CVSS 9.8) - Apache Struts RCE
2. CVE-2024-67890 (CVSS 9.1) - OpenSSL Buffer Overflow
3. CVE-2024-11111 (CVSS 8.8) - Linux Kernel LPE

[📊 在仪表盘中查看完整内容 →]  (GitHub Pages 链接)

3. 官方规则发现告警

  官方规则发现: CVE-2021-44228

───────────────────────────────

发现了针对之前由 AI 生成规则报告的漏洞的

官方验证规则。

───────────────────────────────

Sigma (Public SigmaHQ)

┌─────────────────────────────┐

│ title: Log4Shell Detection  │

│ status: stable              │

└─────────────────────────────┘

SNORT2 (Public Snort 2.9 ET Open)

┌─────────────────────────────┐

│ alert tcp $EXTERNAL_NET ... │

└─────────────────────────────┘

共发现 6 个引擎的官方规则。

请复制以上规则并在安全设备中注册。

[查看完整规则 + 详细报告 →]

4. The Shield 每日报告

  The Shield 每日威胁 IP 报告 (2025-02-17)

───────────────────────

总收集: 4,521 个

  - 新增: 287 个 (+6.3%)

  - 移除: 143 个

───────────────────────────────

  Critical (80+)    High (60-79)

       42              318

  Medium (40-59)    Low (<40)

     1,892            2,269

───────────────────────────────

新增高风险 IP TOP 10:

1. 45.xx.xx.xx (92 分) - abuse.ch Feodo C2

AbuseIPDB 98% (reports=247), Ports [22, 80, 443]
2. 91.xx.xx.xx (87 分) - ET Block-IPs

AbuseIPDB 85% (reports=52), Ports [22, 8080]

...

───────────────────────────────

防火墙黑名单管理

建议移除 (2 个):

- 1.2.3.4 (昨日 92 分/Critical) - botnet
- 5.6.7.8 (昨日 78 分/High) - scanner

建议降级评估 (3 个):

- 9.10.11.12 (Critical 85 分 -> Medium 45 分) - spam
- 13.14.15.16 (High 72 分 -> Low 28 分) - scanner

───────────────────────────────

API usage - AbuseIPDB: 287, InternetDB: 287





管道详情

Phase 1 执行流程

1. Health Check

   └─ 环境变量验证 (6 个必需), 加载 assets.json

2. Official Rule Re-discovery (官方规则重新发现)

├─ 仅有 AI 规则的 CVE → 替换为官方规则

├─ 无规则的高危 CVE → 应用新的官方规则

├─ 批次限制: 10 个/运行

└─ 冷却: 成功 7 天 / 失败 1 天 (快速重试)
3. 数据收集 (智能过滤)

├─ CISA KEV + VulnCheck KEV

├─ 收集最近 2 小时的 CVE (GitHub Commits API)

│   ├─ Phase 1: 按提交提取 CVE ID + 批量检测

│   ├─ Phase 2: 普通提交 CVE → 全部处理

│   └─ Phase 3: 批量提交 CVE → 内容哈希比较 → 跳过

└─ EPSS 评分批量查询
4. 优先级排序 + 批次限制

├─ 优先处理新 CVE

└─ 最多 50 个/运行
5. 并行 CVE 处理 (3 workers)

├─ 额外威胁情报 (NVD, PoC, Advisory)

├─ 资产匹配 (affected → description fallback)

├─ 告警触发判定 (新/KEV/EPSS/CVSS)

├─ 中文翻译 (Google Gemini)

├─ 高危时 GitHub Issue + AI 分析 + 规则生成

├─ Slack 告警

└─ Supabase DB 更新
6. Slack 批次摘要发送

└─ 包含仪表盘快捷按钮 (GitHub Pages)
7. Rate Limit 使用摘要输出

Phase 2 执行流程

Step 1/5: Tier 1 数据源收集

   └─ 下载 8 个威胁源 (允许个别失败, ThreatFox JSON 解析器)

Step 2/5: Delta 计算

├─ 比较昨天与今天的 indicator 集合 (基于 Supabase)

├─ 识别新增/移除 IP

└─ 识别昨天高风险中已移除的 IP

Step 3/5: Tier 2 Enrichment

├─ 仅针对新增 IP (排除 CIDR)

├─ 按 base_score 优先级排序 (高分优先)

├─ AbuseIPDB 最多 500 个 (分离上限), 顺序查询 (1 秒间隔)

├─ InternetDB 最多 5,000 个 (分离上限), 并行查询 (20 workers)

└─ 使用缓存 (AbuseIPDB 24h, InternetDB 72h TTL)

Step 4/5: Scoring

├─ 基础分 + 来源加成 + AbuseIPDB + InternetDB + 时间权重

├─ 应用分类阈值覆盖

└─ 检测等级下降 IP (昨天高风险 → 今天中/低风险)

Step 5/5: 保存 + 报告

├─ 保存每日快照到 Supabase

└─ 发送 Slack 每日报告 (包含防火墙管理建议)

Dashboard Export 流程

Step 1/5: CVE 数据导出 (Supabase → cves.json, 分页)

Step 2/5: 黑名单 IP 导出 (Supabase → blacklist.json, 包含信誉恢复 IP)

Step 3/5: 外部 IOC 数据源收集 (URLhaus → MalwareBazaar → PhishTank/OpenPhish)

Step 4/5: IOC 统一数据导出 (生成按类型分离的文件)

Step 5/5: 统计汇总





Supabase Schema

Phase 1 表

-- CVE 历史

CREATE TABLE cves (

  id              TEXT PRIMARY KEY,

  cvss_score      REAL,

  epss_score      REAL,

  is_kev          BOOLEAN,

  has_official_rules BOOLEAN DEFAULT FALSE,

  last_alert_at   TIMESTAMPTZ,

  last_alert_state JSONB,

  rules_snapshot  JSONB,

  report_url      TEXT,

  last_rule_check_at TIMESTAMPTZ,

  content_hash    TEXT,

  updated_at      TIMESTAMPTZ

);

Phase 2 表

-- 每日快照元数据

CREATE TABLE shield_daily_snapshots (

  date           DATE PRIMARY KEY,

  total_count    INTEGER,

  new_count      INTEGER,

  removed_count  INTEGER,

  api_usage      JSONB

);

-- 每日 indicator 详情

CREATE TABLE shield_indicators (

date           DATE,

indicator      TEXT,

type           TEXT,

category       TEXT,

sources        TEXT[],

base_score     INTEGER,

final_score    INTEGER,

risk           TEXT,

enrichment     JSONB,

PRIMARY KEY (date, indicator)

);

-- Enrichment 缓存

CREATE TABLE shield_enrichment_cache (

indicator      TEXT,

provider       TEXT,

data           JSONB,

ttl_until      TIMESTAMPTZ,

PRIMARY KEY (indicator, provider)

);





许可证



MIT License



Copyright (c) 2025 LEEKIYOON-SEC



Permission is hereby granted, free of charge, to any person obtaining a copy

of this software and associated documentation files (the "Software"), to deal

in the Software without restriction, including without limitation the rights

to use, copy, modify, merge, publish, distribute, sublicense, and/or sell

copies of the Software, and to permit persons to whom the Software is

furnished to do so, subject to the following conditions:



The above copyright notice and this permission notice shall be included in all

copies or substantial portions of the Software.



THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR

IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,

FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE

AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER

LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,

OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE

SOFTWARE.