aradhyacp/SecFlow

## 什么是 SecFlow？ SecFlow 是一个**开源自动化威胁分析流水线**，专为安全分析师、SOC 团队和研究人员打造。无需手动运行各种分散的工具并关联结果，SecFlow 可以： 1. **分类**：使用确定性规则对输入进行分类（第一轮不使用 AI） 2. **路由**：通过 HTTP 微服务将其路由到合适的专门分析器 3. **推理**：利用 Groq AI 对每一轮的发现进行推理，以决定下一步 4. **循环**：追踪 IOC，下载 payload，在不同分析器间进行 pivoting 5. **报告**：生成包含 YARA 检测规则、SIGMA SIEM 规则、MITRE ATT&CK 映射及一键 PDF 导出的 PWNDoc HTML 报告 ## 功能特性 | 功能 | 详情 | |---|---| | **AI 驱动路由** | Groq `qwen/qwen3-32b` 在每轮分析后决定下一个分析器 —— 无需手动配置 | | **5 个专门分析器** | 恶意软件 · 隐写术 · 侦察 · Web 漏洞 · 宏/Office | | **智能首轮分析** | 第一轮使用 `file` + `python-magic` 确定性规则 —— 仅在类型模糊时调用 AI | | **下载并分析** | 追踪 IOC —— 下载原始输出中发现的 payload 并路由至合适的分析器 | | **YARA 规则生成** | 每次分析自动生成 2–5 条可部署的 YARA 规则，每条规则均引用确切的证据来源 | | **SIGMA 规则生成** | 自动生成 2–4 条适用于 Splunk / Elastic / Sentinel 的 SIGMA 规则 —— 覆盖不同的日志源 | | **MITRE ATT&CK 映射** | 每个发现都映射到真实的 TTP ID 及战术名称 | | **双重报告格式** | HTML 报告（浏览器打印为 PDF）+ 结构化 JSON 报告（直接 feed 给 AI 进行进一步分析） | | **React 仪表盘** | 完整前端 UI —— 提交分析任务，查看实时流水线进度，浏览各分析器结果 | | **VirusTotal 集成** | 恶意软件和宏分析器均通过 VT API v3 查询 70+ 个 AV 引擎 | | **可配置循环深度** | 3、4 或 5 轮 —— 如果 AI 判断无更多线索则提前退出 | | **独立模式** | 每个分析器微服务都暴露独立的 REST API —— 可单独使用 | ## 架构 ``` User Input (file / URL / IP / domain / image) │ ▼ ┌────────────────────────────────┐ │ Input Classifier │ file + python-magic → deterministic rule │ (Rule-based, pass 1 only) │ unknown type? → Groq AI fallback └───────────────┬────────────────┘ │ first analyzer selected ▼ ┌────────────────────────────────────────────────────────┐ │ Analyzer Loop (N = 3 / 4 / 5 passes) │ │ │ │ ┌──────────────────────────────────────────────────┐ │ │ │ Run Analyzer (HTTP → Docker microservice) │ │ │ │ Malware · Steg · Recon · Web · Macro │ │ │ └───────────────┬──────────────────────────────────┘ │ │ │ findings + raw_output │ │ ┌───────────────▼──────────────────────────────────┐ │ │ │ AI Routing Engine (Groq qwen/qwen3-32b) │ │ │ │ IOC extraction → next_tool + target │ │ │ └───────────────┬──────────────────────────────────┘ │ │ │ │ │ ┌───────┴──────────────────┐ │ │ next tool null │ │ │ │ │ │ │ Download HTTP payloads │ │ │ from raw_output → re-analyze │ │ └──────────────── repeat ────────────────────┘│ └─────────────────┬──────────────────────────────────────┘ │ ▼ ┌────────────────────────────────┐ │ Findings Store │ All passes · all findings accumulated └───────────────┬────────────────┘ │ ▼ ┌────────────────────────────────────────────┐ │ Threat Intelligence Engine │ │ (Groq llama-3.3-70b-versatile) │ │ ├─ Threat Summary + MITRE ATT&CK TTPs │ │ ├─ YARA Detection Rules (2–5 rules) │ │ └─ SIGMA SIEM Rules (2–4 rules) │ └───────────────┬────────────────────────────┘ │ ▼ ┌────────────────────────────────┐ │ PWNDoc HTML Report │ Groq summary → browser-rendered HTML │ │ One-click Export PDF button └────────────────────────────────┘ ``` ## 快速开始 ### 前置条件 - Docker + Docker Compose - Groq 和 VirusTotal 的 API 密钥（免费额度即可） ### 1. 克隆仓库 ``` git clone https://github.com/aradhyacp/SecFlow.git cd SecFlow/backend ``` ### 2. 配置环境变量 ``` cp .env.example .env ``` 使用你的密钥编辑 `.env`： ``` # 必填 GROQ_API_KEY=your_groq_api_key_here VIRUSTOTAL_API_KEY=your_vt_api_key_here # 可选 — 解锁额外的 OSINT 能力 NUMVERIFY_API_KEY=your_numverify_key # Phone number lookups THREATFOX_API_KEY=your_threatfox_key # Higher ThreatFox rate limits ipAPI_KEY=your_ipapi_key # Higher ip-api.com rate limits # Pipeline 控制 MAX_PASSES=3 # 3 | 4 | 5 ``` ### 3. 启动所有服务 ``` docker compose up -d ``` 这将启动 6 个容器： | 服务 | 端口 | 角色 | |---|---|---| | `orchestrator` | `5000` | 流水线控制器 —— 主入口 | | `malware-analyzer` | `5001` | Ghidra 反编译 + VirusTotal | | `steg-analyzer` | `5002` | binwalk + zsteg + steghide + ExifTool | | `recon-analyzer` | `5003` | ip-api + ThreatFox + OSINT | | `web-analyzer` | `5005` | HTTP 漏洞扫描 + Header 审计 | | `macro-analyzer` | `5006` | oletools (olevba) + VirusTotal | ### 4. 运行你的第一次分析 **分析文件：** ``` curl -X POST http://localhost:5000/api/smart-analyze \ -F "file=@/path/to/suspicious.exe" \ -F "passes=3" ``` **分析 URL、IP 或域名：** ``` curl -X POST http://localhost:5000/api/smart-analyze \ -H "Content-Type: application/json" \ -d '{"target": "192.168.1.100", "passes": 3}' ``` **响应：** ``` { "job_id": "a1b2c3d4", "findings": [...], "report_paths": { "json": "/api/report/a1b2c3d4/json", "html": "/api/report/a1b2c3d4/html" } } ``` 在浏览器中打开 `http://localhost:5000/api/report//html` 查看完整报告并导出为 PDF。 ### 5. 启动前端 ``` cd ../frontend npm install npm run dev ``` 打开 `http://localhost:5173` —— React 仪表盘允许你提交分析任务、实时观看流水线进度，并浏览各分析器的结果。 ## 分析器 ### Malware Analyzer —— 端口 5001 使用三层方法分析可执行文件和二进制文件： - **Ghidra 12.0.1**（通过 `pyghidra`）—— 将所有函数完全反编译为 C 伪代码 - **`objdump -d`** —— 汇编级反汇编 - **VirusTotal API v3** —— 70+ 个 AV 引擎检测、行为标签、文件信誉 **支持：** `exe`, `dll`, `so`, `elf`, `bin`, `o`, `out` · 最大 50 MB · 需要 4 GB RAM (Ghidra JVM) ### Steganography Analyzer —— 端口 5002 使用多种方法检测图像中嵌入的隐藏数据： - **binwalk** —— 检测并提取二进制偏移处的嵌入文件 - **foremost** —— 从原始二进制流中进行文件雕刻 - **zsteg** —— PNG/BMP 中的 LSB 隐写术检测 - **steghide** —— JPEG/BMP 中基于密码的隐写检测 - **ExifTool** —— 元数据提取和异常检测 **提取嵌入的归档文件，并将其加入下一轮流水线的重新分析队列。** **支持：** PNG, JPG, BMP, GIF, TIFF, WebP ### Reconnaissance Analyzer —— 端口 5003 对网络标识符执行威胁情报和 OSINT： **扫描模式**（IP / 域名）： | 模块 | 来源 | 检查内容 | |---|---|---| | `ipapi` | ip-api.com | 国家、ISP、ASN、地理位置 | | `talos` | Cisco Talos blocklist | IP 信誉 / 黑名单 | | `tor` | Tor Project exit list | Tor 出口节点检测 | | `tranco` | Tranco ranking list | 域名流行度排名 | | `threatfox` | abuse.ch ThreatFox | 活跃 IOC / 恶意软件关联 | **足迹模式**（邮箱 / 电话 / 用户名）： - **Email** —— XposedOrNot 泄露数据库（泄露次数、严重程度、密码风险） - **Phone** —— NumVerify 运营商 + 国家 + 线路类型验证 - **Username** —— Sagemode 跨社交平台多线程资料发现 ### Web Vulnerability Analyzer —— 端口 5005 审计 URL 和 Web 端点： - 安全 Header 分析（CSP, HSTS, X-Frame-Options 等） - 技术指纹识别（服务器、框架、CMS） - HTTP 响应分析和重定向链追踪 - 针对常见错误配置的基础漏洞扫描 ### Macro / Office Analyzer —— 端口 5006 解剖 Office 文档中的恶意宏： - **oletools (olevba)** —— 提取并反编译 VBA/XLM 宏 - **AutoExec 检测** —— 标记在打开/关闭时自动运行的宏 - **IOC 提取** —— 宏代码中嵌入的 URL、IP、文件路径 - **混淆检测** —— Base64、Chr() 链、十六进制编码 - **VirusTotal API v3** —— 文件信誉交叉检查 **支持：** `doc`, `docx`, `docm`, `xls`, `xlsx`, `xlsm`, `xlsb`, `ppt`, `pptx`, `pptm`, `rtf` ## 报告输出 每次流水线运行都会生成**两种报告格式**，保存在 `backend/reports//`： ### HTML 报告 (`report.html`) 在任意浏览器中打开。点击 **Export PDF** 进行打印 —— 无需服务器端 PDF 渲染，无依赖。 包含：执行摘要 · YARA 规则 · SIGMA 规则 · MITRE TTP · 每轮证据面板 · VirusTotal 引擎徽章。 ### JSON 报告 (`report.json`) 完全结构化的机器可读输出。适用于： - 将发现直接 feed 给另一个 AI 模型进行深度分析 - 接入 SIEM 或工单系统 - 编程方式对比两份报告 - 构建自定义仪表盘 JSON 与 HTML 内容完全对应 —— 每个发现、YARA 规则、SIGMA 规则、IOC 和 TTP 都存在于一个干净、类型化的 schema 中。 参见 [`examples/`](examples/) 获取示例输入文件，以及 [`example_reports`](example_reports/) 获取开发过程中生成的真实报告输出。 ### 执行摘要 AI 编写的叙述（Groq `qwen/qwen3-32b`），涵盖： - 识别出的威胁名称和行动者类型分类 - 攻击链重建（分步说明） - 置信度评级和整体风险评分 ### YARA 检测规则 由 `llama-3.3-70b-versatile` 生成的 **2–5 条生产就绪 YARA 规则**，每条规则： - 命名遵循 `SecFlow_[ThreatCategory]_[IndicatorType]` 约定 - 包含有效的 YARA 4.x 语法 —— 可直接导入任何兼容 YARA 的扫描器 - 包含一个 `reasoning` 字段，引用分析中得出该规则的确切证据 - 覆盖不同方面：文件签名、嵌入字符串、C2 指标、加壳签名、内存模式 ``` rule SecFlow_Trojan_C2StringIndicator { meta: description = "Detects C2 callback string found in Ghidra decompilation" author = "SecFlow AI" severity = "high" strings: $c2 = "evil.sh/drop.exe" $ua = "Mozilla/4.0 (compatible; MSIE 6.0)" condition: any of them } ``` ### SIGMA SIEM 规则 用于立即部署 SIEM 的 **2–4 条 SIGMA 规则**，每条规则： - 覆盖**不同的日志源**（进程创建、网络、DNS、文件事件、注册表） - 包含兼容 `sigma-cli` 0.x 和 pySigma 的有效 SIGMA 语法 - 映射标签到真实的 MITRE ATT&CK 战术和技术 ID - 可导入 Splunk、Elastic Security、Microsoft Sentinel、Chronicle、QRadar ``` title: Detect Suspicious AutoExec Macro Execution id: f2a3b1c4-... status: experimental logsource: category: process_creation product: windows detection: selection: CommandLine|contains: - 'EXCEL.EXE' - '/automation' condition: selection level: high tags: - attack.execution - attack.t1137.001 ``` ### MITRE ATT&CK TTPs 每个识别出的行为都映射到真实的技术 ID，包含战术名称和推理依据。 ### 每轮证据 每个分析器轮次可折叠面板显示： - Ghidra 反编译输出（深色代码块，可折叠） - objdump 反汇编（可折叠） - VirusTotal 引擎检测（颜色编码的严重性徽章） - 原始分析器发现 JSON ### 导出 PDF 一键浏览器打印对话框，预配置为 PDF 导出 —— 无需服务器端 PDF 生成。 ## 示例流水线运行 示例输入文件位于 [`examples/`](examples/) —— 包括真实的恶意软件样本（`RealMalware.exe`, `ColorBug.exe`, `EarlyEnd.exe`, `.out` ELF 二进制文件）和一个恶意 Office 文档（`nuclear_motor_example.docm`）。相应的报告输出位于 [`backend/reports/`](backend/reports/)。 ### 恶意 Office 文档 ``` Input: invoice.xlsm Passes: 3 Pass 1 ─ Rule: .xlsm extension → Macro Analyzer olevba: AutoExec macro found IOC: http://evil.sh/drop.exe VT: 12/70 engines flagged Pass 2 ─ AI: URL found in IOCs → Web Analyzer http://evil.sh/drop.exe — alive, 302 redirect to CDN Pass 3 ─ AI: no further tool, but HTTP URL in raw_output Download: drop.exe → Malware Analyzer Ghidra: C2 callback string, packed PE VT: 45/70 detections — Trojan.GenericKDZ Report ─ PWNDoc HTML generated YARA: 4 rules (string, byte sig, packer, C2 domain) SIGMA: 3 rules (process_creation, network, registry) MITRE: T1566.001, T1059.005, T1071.001 ``` ### 带有嵌入 Payload 的可疑图片 ``` Input: profile.png Passes: 3 Pass 1 ─ Rule: image/png → Steg Analyzer binwalk: embedded ELF binary at offset 0x8200 Archive extracted → queued for re-analysis Pass 2 ─ Queue: extracted ELF → Malware Analyzer Ghidra: C2 callout to 192.168.1.100 objdump: packed UPX section Pass 3 ─ AI: IP found → Recon Analyzer Talos: blacklisted Tor: confirmed exit node ThreatFox: associated with AsyncRAT Report ─ Full chain documented YARA: 3 rules (ELF magic, UPX sig, C2 string) SIGMA: 2 rules (network_connection, dns_query) ``` ### 可疑域名 ``` Input: malicious-domain.ru Passes: 3 Pass 1 ─ Rule: domain regex → Recon Analyzer ipapi: RU, ISP: HostMaster LLC Talos: on blocklist ThreatFox: linked to Raccoon Stealer, confidence 95 Pass 2 ─ AI: ThreatFox hit → Web Analyzer /login endpoint returns 200, harvesting form detected Pass 3 ─ AI: no futher signals — loop exits early Report ─ Executive summary + TTPs + SIGMA network rules ``` ## 项目结构 ``` SecFlow/ ├── backend/ │ ├── compose.yml # All 6 services on secflow-net │ ├── .env.example # All required + optional API keys │ │ │ ├── orchestrator/ # Pipeline controller (port 5000) │ │ ├── app/ │ │ │ ├── routes.py # POST /api/smart-analyze │ │ │ ├── orchestrator.py # Pipeline loop + download-and-analyze │ │ │ ├── classifier/ │ │ │ │ ├── classifier.py # file + python-magic type detection │ │ │ │ └── rules.py # Deterministic routing rules │ │ │ ├── ai/ │ │ ├── engine.py # Groq qwen/qwen3-32b routing decisions │ │ ├── threat_intel.py # YARA rules + SIGMA rules + threat summary │ │ │ │ └── keywords.txt # Grep fallback keyword list │ │ │ ├── adapters/ # Translate analyzer responses → contract │ │ │ │ ├── malware_adapter.py │ │ │ │ ├── steg_adapter.py │ │ │ │ ├── recon_adapter.py │ │ │ │ ├── web_adapter.py │ │ │ │ └── macro_adapter.py │ │ │ ├── store/ │ │ │ │ └── findings_store.py # Thread-safe findings accumulator │ │ │ └── reporter/ │ │ │ └── report_generator.py # PWNDoc HTML + Export PDF │ │ ├── Dockerfile │ │ └── requirements.txt │ │ │ ├── Malware-Analyzer/ # Ghidra + objdump + VirusTotal (port 5001) │ ├── Steg-Analyzer/ # binwalk + zsteg + steghide (port 5002) │ ├── Recon-Analyzer/ # ip-api + ThreatFox + OSINT (port 5003) │ ├── Web-Analyzer/ # HTTP vuln scanner (port 5005) │ └── macro-analyzer/ # oletools + VirusTotal (port 5006) │ ├── frontend/ # React + Vite dashboard (port 5173) │ └── src/ │ ├── pages/dashboard/ # Per-analyzer pages + smart pipeline UI │ ├── components/ # Reusable UI components │ └── pages/LandingPage.jsx # Public landing page │ ├── examples/ # Sample input files for testing │ ├── RealMalware.exe # Real malware sample │ ├── ColorBug.exe / EarlyEnd.exe # PE test samples │ ├── sample.out / sample2.out # ELF binaries │ └── nuclear_motor_example.docm # Malicious Office document │ ├── docs/ # Architecture + pipeline + analyzer docs ├── AGENTS.md # Agent architecture + coding conventions └── Readme.md ``` ## AI 模型 SecFlow 使用 **Groq** 进行所有 AI 推理 —— 免费额度，无需信用卡。 | 角色 | 模型 | 原因 | |---|---|---| | **流水线路由** | `qwen/qwen3-32b` | 可靠的结构化 JSON 输出；`/no_think` 模式跳过思维链以实现快速路由决策 | | **威胁情报** | `llama-3.3-70b-versatile` | 更强的推理能力，用于 YARA/SIGMA 生成和 MITRE TTP 映射 | | **报告摘要** | `qwen/qwen-32b` | 执行摘要 + 建议 | SecFlow 通过标准 `openai` Python SDK 使用 **OpenAI 兼容 API 规范** —— 无需特定供应商的 SDK。这意味着你只需更改 `base_url` 和模型名称，即可切换到任何 OpenAI 兼容的模型提供商（OpenAI、Groq、Together、Ollama 等）： ``` from openai import OpenAI # Groq (当前 — 免费层) client = OpenAI(api_key=GROQ_API_KEY, base_url="https://api.groq.com/openai/v1") # OpenAI (直接替换) client = OpenAI(api_key=OPENAI_API_KEY) # base_url defaults to api.openai.com # 本地 Ollama (完全离线) client = OpenAI(api_key="ollama", base_url="http://localhost:11434/v1") ``` **为什么选择 Groq + 免费额度？** SecFlow 旨在普及化 —— 运行完整流水线无需付费 API。Groq 的免费额度涵盖所有路由和报告生成，零成本。如果你运行更重的工作负载或希望赞助本项目，请参阅 [GitHub Sponsors](https://github.com/sponsors/aradhyacp) 页面。 ## API 参考 所有请求发送至 `http://localhost:5000` 的 orchestrator。 ### `POST /api/smart-analyze` 提交文件或目标进行分析。 **文件输入：** ``` curl -X POST http://localhost:5000/api/smart-analyze \ -F "file=@sample.exe" \ -F "passes=4" ``` **目标输入（URL / IP / 域名）：** ``` curl -X POST http://localhost:5000/api/smart-analyze \ -H "Content-Type: application/json" \ -d '{"target": "https://suspicious-site.com", "passes": 5}' ``` ### `GET /api/report//html` 返回完整的 PWNDoc HTML 报告 —— 在浏览器中打开，点击 **Export PDF** 保存。 ### `GET /api/report//json` 返回原始发现 JSON，供程序化消费。 ### `GET /api/health` 健康检查 —— 返回 `{"status": "healthy"}`。 ## 环境变量 | 变量 | 服务 | 必需 | 描述 | |---|---|---|---| | `GROQ_API_KEY` | orchestrator | ✅ | AI 路由 + 威胁情报 + 报告生成 | | `VIRUSTOTAL_API_KEY` | malware, macro | ✅ | VirusTotal API v3 文件/URL 分析 | | `NUMVERIFY_API_KEY` | recon | 可选 | 电话号码验证 (NumVerify) | | `THREATFOX_API_KEY` | recon | 可选 | ThreatFox IOC 查询的更高速率限制 | | `ipAPI_KEY` | recon | 可选 | ip-api.com 的更高速率限制 | | `MAX_PASSES` | orchestrator | 可选 | 循环深度 —— `3`（默认） / `4` / `5` | ## 状态 | 组件 | 状态 | |---|---| | Orchestrator + Classifier + AI Engine | ✅ 完成 | | Malware Analyzer (Ghidra + VirusTotal) | ✅ 完成 | | Steg Analyzer (binwalk + zsteg + steghide) | ✅ 完成 | | Recon Analyzer (ip-api + ThreatFox + OSINT) | ✅ 完成 | | Web Vulnerability Analyzer | ✅ 完成 | | Macro Analyzer (oletools + VirusTotal) | ✅ 完成 | | Download-and-Analyze payload fallback | ✅ 完成 | | YARA Rule Auto-Generation | ✅ 完成 | | SIGMA Rule Auto-Generation | ✅ 完成 | | MITRE ATT&CK TTP Mapping | ✅ 完成 | | HTML Report + JSON Report + Export PDF | ✅ 完成 | | React Frontend Dashboard | ✅ 完成 | ## 文档 | 文档 | 描述 | |---|---| | [AGENTS.md](AGENTS.md) | Agent 架构、服务契约和 AI 编码说明 | | [ProjectDetails.md](ProjectDetails.md) | 完整的项目规范和设计决策 | | [docs/architecture.md](docs/architecture.md) | 系统组件和数据流图 | | [docs/pipeline-flow.md](docs/pipeline-flow.md) | 详细的流水线循环逻辑和决策树 | | [docs/analyzers.md](docs/analyzers.md) | 各分析器的能力和接口规范 | | [docs/migration.md](docs/migration.md) | 分析器微服务集成指南 | | [backend/Readme.md](backend/Readme.md) | 后端设置、开发和故障排除指南 | ## 贡献 欢迎贡献。SecFlow 是开源项目并积极维护中。 1. Fork [aradhyacp/SecFlow](https://github.com/aradhyacp/SecFlow) 2. 创建功能分支：`git checkout -b feat/your-feature` 3. 进行更改 —— 参见 [AGENTS.md](AGENTS.md) 了解架构约定和服务契约 4. 提交 Pull Request **适合新手的 Issue：** 新的 IOC 提取模式、SIGMA 规则改进、额外的 OSINT 模块、前端分析器页面、报告导出改进。 如果 SecFlow 对你的工作或研究有帮助，请考虑[赞助本项目](https://github.com/sponsors/aradhyacp) —— 这有助于维持免费基础设施和持续开发。 ## 许可证 MIT License —— 详情见 [LICENSE](LICENSE)。

**为需要答案而非更多工具的安全分析师而构建。** 如果 SecFlow 帮助了你，请给它一个 Star —— 这有助于其他人发现本项目。 [github.com/aradhyacp/SecFlow](https://github.com/aradhyacp/SecFlow) `#cybersecurity` `#threatintelligence` `#malwareanalysis` `#yara` `#sigma` `#soc` `#dfir` `#infosec` `#osint` `#reverseengineering` `#steganography` `#virustotal` `#ghidra` `#docker` `#python` `#openSource` `#automation` `#mitre` `#attackframework` `#secops` `#blueTeam` `#incidentResponse` `#siem` `#edr` `#ioc` `#pwndoc` `#groq` `#llm` `#aiSecurity`

标签：AI 安全, Ask搜索, DAST, Docker, Docker Compose, Flask, IP 信誉检测, LLM 安全分析, PWNDoc, Python, Qwen, SecFlow, Sigma 规则, Sigma 规则生成, URL 分析, VirusTotal, YARA 规则生成, 域名分析, 多向量分析, 威胁情报, 安全报告自动化, 安全编排与自动化响应 (SOAR), 安全运营中心 (SOC), 安全防御评估, 开发者工具, 微服务架构, 恶意软件分析, 文件扫描, 无后门, 沙箱, 网络安全, 自动化威胁分析, 计算机应急响应 (CERT), 请求拦截, 逆向工具, 隐私保护