mrx87547/PhishGuard-AI-Phishing-Investigation-Threat-Attribution-Platform

## 📌 目录 - [概述](#-overview) - [核心功能](#-key-features) - [系统架构](#-system-architecture) - [调查工作流](#-investigation-workflow) - [使用的技术](#-technologies-used) - [安装说明](#-installation) - [选项 A — Docker（推荐）](#option-a--docker-recommended) - [选项 B — 从头开始手动安装](#option-b--manual-installation-from-scratch) - [配置说明](#-configuration) - [使用指南](#-usage-guide) - [调查流水线](#-investigation-pipeline) - [示例调查场景](#-example-investigation-scenario) - [分析器配置](#-analyzer-configuration) - [白名单管理](#-whitelist-management) - [平台截图](#-platform-screenshots) - [项目结构](#-project-structure) - [未来增强功能](#-future-enhancements) - [学习成果](#-learning-outcomes) - [免责声明](#-disclaimer) ## 🔍 概述 **PhishIntel** 是一个全栈自动化钓鱼邮件调查与威胁归因平台，作为网络安全研究项目开发。它旨在复制和扩展真实世界 **安全运营中心 (SOC)** 分诊流水线的能力——使分析人员能够以最少的手动操作，从原始可疑邮件走向最终有证据支持的结论。 该平台将三个行业标准开源安全工具——**TheHive**（案例管理）、**Cortex**（威胁分析引擎）和 **MISP**（恶意软件信息共享平台）——集成到一个使用 Python 和 Flask 构建的统一、对分析人员友好的 Web 界面中。其结果是一个端到端的工作流，实现了可观察量提取、多引擎威胁关联、IOC 标记、案例生命周期管理和自动用户通知的自动化。 ### 工作原理（高层概述） | 步骤 | 角色 | 操作 | |------|-------|--------| | 1 | 攻击者 | 发起针对终端用户的钓鱼活动 | | 2 | 用户 | 将可疑邮件作为 `.eml` 附件转发到 PhishIntel 收件箱 | | 3 | 分析人员 | 打开 PhishIntel 仪表板，选择该邮件进行调查 | | 4 | 平台 | 解析邮件，提取可观察量，在 TheHive 中创建结构化案例 | | 5 | Cortex | 对所有提取的 IOC 并行运行 40 多个分析器 | | 6 | 平台 | 汇总分析器结果并计算出最终的恶意判定 | | 7 | 平台/分析人员 | 结案，通知用户，并在确认为恶意时导出至 MISP | ## 🚀 核心功能 ### 🔬 核心调查能力 - **自动邮件解析** — 无需人工干预即可从原始 `.eml` 文件中提取标头、正文、嵌入的 URL、附件和哈希值 - **多维度 IOC 提取** — 识别并规范化 IP 地址、域名、URL、电子邮件地址、文件名、MIME 类型和加密哈希值 - **并行威胁分析** — 同时对每个提取的可观察量分派 40 多个 Cortex 分析器，以实现快速分诊 - **智能判定引擎** — 通过使用可配置的评分模型汇总加权的分析器结果，计算出 `malicious` / `suspicious` / `safe` （恶意/可疑/安全）的判定 - **IOC 标记** — 在 TheHive 案例中自动将确认恶意的可观察量标记为妥协指标 (IOC) ### 🗂️ 案例管理与工作流 - **自动化案例生命周期** — 端到端地创建、管理和关闭 TheHive 案例，包括结构化的任务分配和解决标记 - **结构化任务流水线** — 每项调查遵循一个明确的三任务工作流：用户通知 → 可观察量分析 → 结果交付 - **分析人员干预** — 当判定为 `suspicious`（非确定性）时，平台会通过 TheHive 的完整案例界面升级交由分析人员手动审查 - **案例导出至 MISP** — 确认恶意的案例将自动作为结构化威胁事件导出至 MISP，用于跨活动归因 ### 🌐 威胁情报关联 - **MISP 集成** — 将提取的 IOC 与历史 MISP 事件进行交叉比对，以检测重复出现的攻击者基础设施 - **威胁归因支持** — 跨过往事件关联域名、IP 和邮件标头，用于攻击者画像 - **URL 还原（解短）** — 在分析之前自动展开缩短的 URL，以揭示真实的目标基础设施 - **YARA 规则扫描** — 对邮件附件应用自定义 YARA 规则，进行基于模式的恶意软件检测 ### 🖥️ 平台与用户体验 (UX) - **实时分析仪表板** — 通过 WebSocket (Socket.IO) 向分析人员实时推送分析进度，无需重新加载页面 - **可配置的分析器级别** — 允许通过 `analyzers_level_conf.json` 精细控制如何解释每个分析器的输出 - **动态白名单** — 通过正则表达式或精确匹配将已知安全的 IP、域名、哈希值和模式列入白名单，以防止误报 - **自动用户通知** — 在分析开始和判定结果就绪时，通过 Mailer responder 向用户发送电子邮件警报 - **Docker 就绪部署** — 使用 Docker Compose 进行全容器化部署，实现快速、可复现的环境搭建 ## 🏗️ 系统架构 PhishIntel 遵循 **面向微服务的架构**，其中不同的安全工具通过 REST API 和 Python 编排层进行松耦合。 ``` ┌──────────────────────────────────────────────────────────────────┐ │ ANALYST INTERFACE │ │ Flask Web App (HTML + Bootstrap + JS) │ │ Real-time updates via Socket.IO (WebSocket) │ └─────────────────────────────┬────────────────────────────────────┘ │ AJAX / HTTP / WebSocket ┌─────────────────────────────▼────────────────────────────────────┐ │ PHISHINTEL CORE (Python 3) │ │ │ │ ┌─────────────┐ ┌──────────────────┐ ┌────────────────────┐ │ │ │ list_emails │ │ case_from_email │ │ run_analysis │ │ │ │ .py │ │ .py │ │ .py │ │ │ │ │ │ │ │ │ │ │ │ IMAP Fetch │ │ Header Parsing │ │ Analyzer Dispatch │ │ │ │ Email List │ │ IOC Extraction │ │ Verdict Engine │ │ │ │ Dedup Check │ │ Case Creation │ │ IOC Flagging │ │ │ └──────┬──────┘ └────────┬─────────┘ └────────┬───────────┘ │ └──────────┼──────────────────┼─────────────────────┼──────────────┘ │ │ │ ┌──────▼──────┐ ┌───────▼───────┐ ┌─────────▼──────────┐ │ IMAP Mail │ │ TheHive │ │ Cortex │ │ Server │ │ (Case Mgmt) │ │ (Analysis Engine) │ │ (Gmail) │ │ TheHive4py │ │ Cortex4py │ └─────────────┘ └───────┬───────┘ └─────────┬──────────┘ │ │ ┌───────▼───────┐ ┌─────────▼──────────┐ │ MISP │ │ 40+ Analyzers │ │ (Threat Intel │ │ VirusTotal, Shodan │ │ Sharing) │ │ OTX, PhishTank... │ └───────────────┘ └────────────────────┘ ``` ### 核心 Python 模块 | 模块 | 职责 | |--------|---------------| | `thephish_app.py` | Flask 应用程序入口；路由和 Socket.IO 事件处理器 | | `list_emails.py` | IMAP 连接、邮件枚举、去重和元数据提取 | | `case_from_email.py` | 邮件解析、可观察量提取、TheHive 案例和任务创建 | | `run_analysis.py` | Cortex 分析器编排、结果汇总、判定计算、MISP 导出 | | `ws_logger.py` | 用于前端仪表板的基于 WebSocket 的实时日志处理器 | ## 🔄 调查工作流 下面的 Mermaid 图说明了完整的端到端调查流水线： ``` flowchart TD A([👤 End User\nReceives Phishing Email]) -->|Forwards as .eml attachment| B[📬 PhishIntel Mailbox\nGmail / IMAP] B --> C{📋 Analyst Dashboard\nList Emails} C -->|Click Analyze| D[⚙️ Email Parsing Engine\ncase_from_email.py] D --> D1[Extract: URLs] D --> D2[Extract: IP Addresses] D --> D3[Extract: Domains] D --> D4[Extract: Email Addresses] D --> D5[Extract: Attachments & Hashes] D1 & D2 & D3 & D4 & D5 --> E[🗂️ TheHive\nCreate Case + Observables] E --> F[📧 Notify User\nAnalysis Started — Mailer Responder] E --> G[🔬 Cortex\nDispatch 40+ Analyzers in Parallel] G --> G1[VirusTotal] G --> G2[Shodan] G --> G3[PhishTank] G --> G4[OTX / AbuseIPDB] G --> G5[MISP Lookup] G --> G6[YARA / FileInfo] G1 & G2 & G3 & G4 & G5 & G6 --> H[📊 Verdict Engine\nrun_analysis.py] H -->|Malicious| I[🔴 VERDICT: MALICIOUS\nFlag IOCs in TheHive\nExport Case → MISP\nNotify User] H -->|Safe| J[🟢 VERDICT: SAFE\nClose Case\nNotify User] H -->|Suspicious| K[🟡 VERDICT: SUSPICIOUS\nEscalate to Analyst\nManual Review Required] K -->|Analyst Concludes| L[✅ Analyst Closes Case\nOptional MISP Export\nUser Notification] I & J & L --> M([🏁 Investigation Complete]) ``` ## 🧰 使用的技术 ### 后端 | 技术 | 版本 | 用途 | |------------|---------|---------| | **Python** | 3.8+ | 核心应用程序语言 | | **Flask** | 2.0.1 | Web 框架和 REST API 服务器 | | **Flask-SocketIO** | 5.1.1 | 实时双向 WebSocket 通信 | | **eventlet** | 0.31.1 | 支持 WebSocket 的异步 WSGI 服务器 | | **TheHive4py** | 1.8.1 | TheHive REST API 的 Python 客户端 | | **Cortex4py** | 2.1.0 | Cortex REST API 的 Python 客户端 | | **ioc-finder** | 6.0.1 | 从非结构化文本中提取 IOC | | **python-magic** | 0.4.24 | 附件的 MIME 类型检测 | | **BeautifulSoup4** | 4.9.3 | HTML 正文解析 | | **dnspython** | 1.16.0 | DNS 解析工具 | ### 前端 | 技术 | 用途 | |------------|---------| | **Bootstrap 4** | 响应式 UI 框架 | | **Socket.IO (JS)** | 实时分析进度流推送 | | **Font Awesome** | 安全主题图标 | | **jQuery / AJAX** | 异步服务器通信 | ### 基础设施与集成 | 工具 | 角色 | |------|------| | **TheHive** | 安全事件案例管理平台 | | **Cortex** | 可观察量分析和威胁情报引擎（40 多个分析器） | | **MISP** | 威胁情报共享和 IOC 关联 | | **Docker / Docker Compose** | 容器化部署编排 | | **Gmail / IMAP** | 安全的邮件获取通道 | ## 📦 安装说明 ### 前置条件 在继续之前，请确保您的环境中具备以下条件： - 基于 Linux 的操作系统（推荐使用 Ubuntu 20.04 LTS） - Python 3.8+ - Docker 和 Docker Compose（适用于选项 A） - 运行中的 TheHive、Cortex 和 MISP 实例 - 专用的 Gmail 地址（或任何兼容 IMAP 的邮箱） ### 选项 A — Docker（推荐） 启动整个平台的最快方法。提供的 Docker Compose 模板可以通过单个命令引导启动 TheHive、Cortex、MISP 和 PhishIntel 应用程序。 ``` # 1. 导航至 docker 文件夹 cd docker/ # 2. 启动所有服务 docker-compose up -d # 3. 验证所有容器是否正在运行 docker ps ``` ### 选项 B — 从头开始手动安装 如果您想完全控制部署环境，或者要与现有的 TheHive/Cortex/MISP 基础设施集成，请使用此方法。 **要求：** - 一个可运行的 TheHive 实例 - 一个可运行的 Cortex 实例 - 一个可运行的 MISP 实例 - 一个已配置的 IMAP 邮箱 #### 步骤 1 — 下载项目 ``` git clone https://github.com/your-username/PhishIntel.git cd PhishIntel/app ``` #### 步骤 2 — 创建并激活 Python 虚拟环境 ``` sudo apt install python3-venv python3 -m venv venv source venv/bin/activate ``` #### 步骤 3 — 安装 Python 依赖 ``` pip install -r requirements.txt ``` #### 步骤 4 — 修补 TheHive4py（Mailer Responder 支持） Mailer responder 需要在 TheHive4py 中提供一个 `run_responder()` 函数。使用以下命令应用补丁（如果需要，请调整 Python 版本路径）： ``` (cat << _EOF_ def run_responder(self, responder_id, object_type, object_id): req = self.url + "/api/connector/cortex/action" try: data = json.dumps({ "responderId": responder_id, "objectType": object_type, "objectId": object_id}) return requests.post(req, headers={"Content-Type": "application/json"}, data=data, proxies=self.proxies, auth=self.auth, verify=self.cert) except requests.exceptions.RequestException as e: raise TheHiveException("Responder run error: {}".format(e)) _EOF_ ) | tee -a venv/lib/python3.8/site-packages/thehive4py/api.py > /dev/null ``` #### 步骤 5 — 配置应用程序 使用您环境的凭证和端点编辑 `configuration.json`（参见下方的[配置说明](#-configuration))。 #### 步骤 6 — 更新前端 URL 在 `templates/index.html` 中，将侧边栏导航中的默认 `href` 值替换为您实际的 TheHive、Cortex 和 MISP 实例的 URL： ```

``` #### 步骤 7 — 启动平台 ``` python3 thephish_app.py ``` 平台将通过以下地址访问：**`http://localhost:8080`** ## ⚙️ 配置说明 ### 全局配置 — `configuration.json` 此文件控制所有服务连接和案例默认设置： ``` { "imap" : { "host" : "imap.gmail.com", "port" : "993", "user" : "", "password" : "", "folder" : "inbox" }, "thehive" : { "url" : "http://thehive:9000", "apikey" : "" }, "cortex" : { "url" : "http://cortex:9001", "apikey" : "", "id" : "local" }, "misp" : { "id" : "MISP THP" }, "case" : { "tlp" : "2", "pap" : "2", "tags" : ["email", "PhishIntel"] } } ``` | 参数 | 描述 | |-----------|-------------| | `imap.user` / `imap.password` | Gmail 地址和[应用专用密码](https://support.google.com/accounts/answer/185833) | | `thehive.apikey` | 在 TheHive 中创建的 `org-admin` 用户的 API 密钥 | | `cortex.apikey` | 在 Cortex 中创建的具有 `read, analyze` 权限用户的 API 密钥 | | `cortex.id` | 在 TheHive 的 `application.conf` 中配置的 Cortex 实例名称 | | `misp.id` | 在 TheHive 的 `application.conf` 中配置的 MISP 实例名称 | | `case.tlp` / `case.pap` | 默认的流量 Light 协议 (TLP) 和许可行动协议 (PAP) 级别 | ## 🖱️ 使用指南 ### 步骤 1 — 用户提交可疑邮件 用户将可疑邮件**以 EML 格式的附件**转发到 PhishIntel 收件箱。使用 EML 格式可以防止标头污染。 ### 步骤 2 — 分析人员列出并选择邮件 分析人员导航至 PhishIntel 仪表板并点击 **List Emails**（列出邮件）以检索所有待处理的提交。 ### 步骤 3 — 发起分析 点击 **Analyze**（分析）将触发完整的调查流水线。进度将实时推送到仪表板。 ### 步骤 4 — 创建案例并提取可观察量 PhishIntel 会创建一个结构化的 TheHive 案例，其中包含三个调查任务和所有提取的可观察量。 ### 步骤 5 — 发送用户通知 用户会收到一封自动生成的电子邮件，确认他们的提交正在接受积极调查。 ### 步骤 6 — 分析器并行运行 Cortex 会对每个可观察量同时分派所有已配置的分析器。进度可在 PhishIntel 仪表板和 TheHive 的实时流中看到。 ### 步骤 7 — 交付判定 计算并显示判定结果。可能有三种结果： **🔴 Malicious (恶意)** — 标记 IOC，案例导出至 MISP，通知用户： **🟢 Safe (安全)** — 案例关闭，通知用户： **🟡 Suspicious (可疑)** — 需要分析人员升级审查；案例和最终任务保持打开状态： ## 🔬 调查流水线 平台通过三个连续阶段执行调查： ### 阶段 1 — 摄取与解析 (`case_from_email.py`) ``` Raw .eml File │ ├─► Parse MIME structure (headers, body, attachments) ├─► Extract observables via ioc-finder + custom regex │ ├─ URLs (with UnshortenLink pre-processing) │ ├─ IP Addresses │ ├─ Domain names │ ├─ Email addresses (To, From, Reply-To, CC) │ ├─ Attachment filenames and MIME types │ └─ MD5 / SHA1 / SHA256 hashes of attachments ├─► Apply whitelist filters (exact + regex matching) └─► Create TheHive case with observables + 3 tasks ``` ### 阶段 2 — 分析 (`run_analysis.py`) ``` TheHive Case (observables ready) │ ├─► Task 1 OPEN: Send "analysis started" notification (Mailer) ├─► Task 1 CLOSE ├─► Task 2 OPEN: Dispatch all enabled Cortex analyzers │ ├─ IP observables → AbuseIPDB, Shodan, MaxMind, OTX... │ ├─ Domain observ. → Robtex, PassiveTotal, PhishTank, Fortiguard... │ ├─ URL observables → URLhaus, Urlscan.io, VirusTotal... │ ├─ Hash observ. → VirusTotal, MetaDefender, FileInfo... │ └─ EML attachment → Yara_2_0 ├─► Collect all analyzer reports ├─► Apply level mappings from analyzers_level_conf.json └─► Task 2 CLOSE ``` ### 阶段 3 — 判定与归因 (`run_analysis.py` 继续) ``` Aggregated Analyzer Results │ ├─► Compute verdict: MAX(all observable levels) │ malicious > suspicious > safe > info │ ├─► If MALICIOUS: │ ├─ Mark malicious observables as IOCs in TheHive │ ├─ Export case to MISP (structured threat event) │ └─ Task 3: Send verdict email → Close case (True Positive) │ ├─► If SAFE: │ └─ Task 3: Send verdict email → Close case (True Positive / No Impact) │ └─► If SUSPICIOUS: └─ Task 3 OPEN: Notify analyst → Await manual review ``` ## 🧪 示例调查场景 **提交的邮件特征：** - **发件人：** `it-support@university-helpdesk.net`（伪造） - **主题：** `[URGENT] Verify Your University Account` - **正文：** 包含指向 `http://bit.ly/3xUniversityLogin` 的超链接 - **附件：** `account_verification_form.pdf` **PhishIntel 调查输出：** | 可观察量 | 类型 | 判定 | 分析器 | |-----------|------|---------|---------| | `it-support@university-helpdesk.net` | 邮件 | 🟡 Suspicious (可疑) | EmailRep, DomainMailSPFDMARC | | `university-helpdesk.net` | 域名 | 🔴 Malicious (恶意) | PhishTank, Threatcrowd | | `http://login.phishsite.ru/verify` | URL (已解短) | 🔴 Malicious (恶意) | VirusTotal, URLhaus, Urlscan.io | | `185.220.101.45` | IP | 🔴 Malicious (恶意) | AbuseIPDB, Shodan (Tor 出口节点) | | `account_verification_form.pdf` | 文件 | 🟡 Suspicious (可疑) | FileInfo, YARA (检测到宏) | **平台采取的行动：** 1. ✅ 在 TheHive 中将恶意可观察量标记为 IOC 2. ✅ 案例已连同完整属性集导出至 MISP 3. ✅ 通知工作人员：邮件确认为**钓鱼邮件** 4. ✅ 案例已关闭：`True Positive — No Impact` 5. ✅ 记录攻击者基础设施以供未来归因 ## 🔧 分析器配置 ### 配置分析器级别 — `analyzers_level_conf.json` 每个分析器都会返回 `info`、`safe`、`suspicious` 或 `malicious` 的判定。此配置文件允许您重新映射这些级别，以更好地反映真实世界的准确性： ``` { "DomainMailSPFDMARC_Analyzer_1_1" : { "dataType" : ["url", "ip", "domain", "mail"], "levelMapping" : { "malicious" : "suspicious", "suspicious" : "suspicious", "safe" : "safe", "info" : "info" } }, "MISP_2_1" : { "dataType" : ["url", "ip", "domain", "mail"], "levelMapping" : { "malicious" : "malicious", "suspicious" : "malicious", "safe" : "safe", "info" : "info" } } } ``` ### 支持和测试过的分析器

点击展开已测试的 40 多个分析器的完整列表

| 分析器 | 可观察量类型 | 备注 | |----------|-----------------|-------| | AbuseIPDB_1_0 | IP | | | AnyRun_Sandbox_Analysis_1_0 | URL, hash | | | CyberCrime-Tracker_1_0 | URL, domain | | | Cyberprotect_ThreatScore_3_0 | IP, domain | | | *DomainMailSPFDMARC_Analyzer_1_1* | domain | 仅在发送邮件的域上启动 | | DShield_lookup_1_0 | IP | | | EmailRep_1_0 | email | | | FileInfo_8_0 | hash | | | Fortiguard_URLCategory_2_1 | URL | | | IPinfo_Details_1_0 | IP | | | **IPVoid_1_0** | IP | 自定义结果处理 | | KasperskyThreatIntelligencePortal_1_0 | hash, IP, domain | | | Maltiverse_Report_1_0 | IP, URL, hash | | | *MISP_2_1* | all | 跨案例 IOC 关联 | | MaxMind_GeoIP_4_0 | IP | | | MetaDefenderCloud_GetReport_1_0 | hash | | | OTXQuery_2_0 | IP, domain, hash | | | *Onyphe_Summary_1_0* | IP | | | PassiveTotal_* (7 analyzers) | IP, domain | | | PhishTank_CheckURL_2_1 | URL | | | **Pulsedive_GetIndicator_1_0** | IP, domain | 自定义结果处理 | | *Robtex_* (3 analyzers) | IP, domain | | | **Shodan_Host_1_0 / History** | IP | 自定义结果处理 | | Shodan_DNSResolve_1_0 | domain | | | **SpamhausDBL_1_0** | domain | 自定义结果处理 | | StopForumSpam_1_0 | IP, email | | | *Threatcrowd_1_0* | IP, domain | | | **UnshortenLink_1_2** | URL | 优先运行；结果作为新的可观察量添加 | | **URLhaus_2_0** | URL | 自定义结果处理 | | Urlscan_io_Scan_0_1_0 / *Search* | URL | | | VirusTotal_GetReport_3_1 / Scan | hash, URL | | | **Yara_2_0** | EML file | 自定义 YARA 规则；在附件上运行 | *斜体* = 已应用级别重映射。**粗体** = 核心代码中的自定义处理。

### MISP 分析器设置 ``` # 要求：在 MISP 上创建 sync_user 并获取 auth key。 # 然后在 Cortex 上启用并配置 MISP_2_1，内容如下： # misp_url: https://your-misp-instance # misp_key: # misp_verifycert: false (针对自签名证书) ``` ### YARA 分析器设置 ``` # 在 Cortex 主机上创建 YARA 规则目录： mkdir -p /opt/cortex/yara_rules # 添加 .yar 规则文件，然后创建索引： echo 'include "my_rule.yar"' > /opt/cortex/yara_rules/index.yar # 在 Cortex UI 中的 Yara_2_0 配置下设置路径： # Rules path: /opt/cortex/yara_rules ``` ### Mailer Responder 设置 使用以下参数在 Cortex 中配置 `Mailer` responder（以 Gmail 为例）： | 参数 | 值 | |-----------|-------| | `from` | `your-email@gmail.com` | | `smtp_host` | `smtp.gmail.com` | | `smtp_port` | `587` | | `smtp_user` | `your-email@gmail.com` | | `smtp_pwd` | `` | ## 🛡️ 白名单管理 `whitelist.json` 文件可防止已知安全的可观察量触发误报。它支持多种匹配策略： ``` { "exactMatching": { "mail" : [], "ip" : ["127.0.0.1", "8.8.8.8", "8.8.4.4"], "url" : [], "domain" : ["paypal.com"], "filename" : [], "filetype" : ["application/pdf"], "hash" : [] }, "domainsInSubdomains" : ["paypal.com"], "domainsInURLs" : ["paypal.com"], "domainsInEmails" : ["paypal.com"], "regexMatching": { "mail" : [], "ip" : [ "10\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}", "172\\.16\\.\\d{1,3}\\.\\d{1,3}", "192\\.168\\.\\d{1,3}\\.\\d{1,3}" ], "url" : [], "domain" : [], "filename" : [] } } ``` **关键设计决策：** - 私有 IP 范围（RFC 1918）默认通过正则表达式列入白名单，以避免内部基础设施产生误报 - 通过 `domainsInSubdomains` 列入白名单的域名也会过滤包含该域名的所有子域名、URL 和电子邮件地址 - 正则表达式模式旨在防止域名伪造绕过（例如，`paypal.com.attacker.com` **未**被列入白名单） - 将域名添加到 `domainsInSubdomains` 即可——再次将其添加到 `exactMatching` 是多余的 ## 📸 平台截图 | 视图 | 截图 | |------|-----------| | 邮件列表面板 | `pictures/demo/2_gui_list.png` | | 正在分析 | `pictures/demo/9_analyzing_gui.png` | | TheHive 案例视图 | `pictures/demo/4_created_case_ext.png` | | 可观察量列表 | `pictures/demo/6_observables.png` | | 恶意判定 | `pictures/demo/17_malicious_verdict.png` | | 安全判定 | `pictures/demo/19_safe_verdict.png` | | 可疑判定 | `pictures/demo/20_suspicious_verdict.png` | | 创建的 MISP 事件 | `pictures/demo/12_created_misp_event.png` | | 用户邮件 — 判定结果 | `pictures/demo/14_mail_result.png` | ## 📂 项目结构 ``` PhishIntel/ │ ├── app/ # Core application source code │ ├── thephish_app.py # Flask entry point + Socket.IO routes │ ├── list_emails.py # IMAP ingestion and email enumeration │ ├── case_from_email.py # Email parsing and TheHive case builder │ ├── run_analysis.py # Cortex orchestration and verdict engine │ ├── ws_logger.py # WebSocket real-time log handler │ ├── configuration.json # Global service configuration │ ├── analyzers_level_conf.json # Analyzer output level remapping │ ├── whitelist.json # Observable whitelist (exact + regex) │ ├── logging_conf.json # Application logging configuration │ ├── requirements.txt # Python dependencies │ ├── __init__.py │ │ │ ├── static/ # Static frontend assets │ │ └── assets/ │ │ ├── bootstrap/ # Bootstrap CSS/JS │ │ ├── fonts/ # Font Awesome icons │ │ ├── img/ # Logos (TheHive, Cortex, MISP, PhishIntel) │ │ └── js/ # Custom JS (thephish.js, theme.js, bs-init.js) │ │ │ └── templates/ │ └── index.html # Main dashboard (Jinja2 template) │ ├── docker/ # Docker deployment configuration │ ├── docker-compose.yml # Full stack: TheHive + Cortex + MISP + App │ ├── README.md # Detailed Docker setup guide │ ├── cortex/ │ │ └── application.conf # Cortex service configuration │ ├── thehive/ │ │ └── application.conf # TheHive service configuration │ └── thephish_conf_files/ # Pre-filled config files for Docker │ ├── pictures/ # Documentation images │ ├── demo/ # Step-by-step usage screenshots │ ├── diagrams/ # UML sequence and activity diagrams │ └── about_IDs.png # TheHive connector ID reference │ ├── diagrams.md # Application logic diagrams reference ├── CONTRIBUTING.md # Contribution guidelines ├── CODE_OF_CONDUCT.md # Community code of conduct ├── LICENSE # AGPL v3 license └── README.md # This file ``` ## 🔮 未来增强功能 以下功能计划在未来的开发迭代中实现： | 增强功能 | 优先级 | 描述 | |-------------|----------|-------------| | **基于机器学习的判定引擎** | 高 | 使用训练好的分类器（例如 Random Forest 或 BERT）取代基于阈值的判定逻辑，以实现更精细的钓鱼检测 | | **LLM 邮件分析** | 高 | 集成大型语言模型，对邮件正文进行语义分析以检测社会工程学模式 | | **活动聚类** | 高 | 通过 IOC 相似度自动将相关的钓鱼案例分组，以检测协同攻击活动 | | **自动化威胁归因** | 中 | 通过 MITRE ATT&CK 集成，将攻击者基础设施与已知的 APT 组织 TTP 进行交叉比对 | | **附件沙箱化分析** | 中 | 与 Cuckoo Sandbox 或 Any.Run 集成，对可疑附件进行动态行为分析 | | **STIX/TAXII 导出** | 中 | 以 STIX 2.1 格式导出确认的威胁情报，以便通过 TAXII feed 共享 | | **多租户支持** | 中 | 增加基于角色的访问控制 (RBAC)，以支持在单次部署中包含多个分析团队 | | **移动端分析应用** | 低 | 开发响应式移动界面或 PWA，供值班分析人员使用 | | **钓鱼模拟模块** | 低 | 集成受控的钓鱼模拟功能，用于员工安全意识培训 | | **威胁仪表板** | 低 | 增加聚合分析视图，展示调查数量、判定分布和主要攻击者基础设施 | ## 🎓 学习成果 本项目作为**大学级别的学术网络安全研究计划**的一部分进行开发，旨在弥合理论知识与实际 SOC 运营之间的鸿沟。在此过程中培养并展示了以下能力： ### 掌握的技术技能 | 领域 | 培养的技能 | |--------|----------------| | **威胁分析** | 邮件标头取证、IOC 提取、可观察量关联、多引擎威胁情报汇总 | | **安全工具** | 与 TheHive（案例管理）、Cortex（分析引擎）和 MISP（威胁共享平台）的深度集成 | | **安全开发** | Python 3 安全编码、REST API 集成、API 密钥管理、WSGI 部署 | | **网络安全** | IMAP/SMTP 协议安全、TLS、DNS 分析、被动侦察技术 | | **恶意软件分析** | YARA 规则编写、文件类型检测、基于哈希的信誉查询、沙箱集成概念 | | **事件响应** | SOC 工作流设计、案例生命周期管理、升级逻辑、人在回路中的架构 | | **DevOps 与部署** | Docker 容器化、Docker Compose 编排、多服务网络 | | **全栈开发** | Flask Web 框架、Socket.IO 实时通信、Bootstrap UI、AJAX 异步模式 | ### 学术相关性 该平台展示了跨多个网络安全领域的应用知识，包括： - **NIST 网络安全框架** — 识别、保护、检测、响应、恢复阶段 - **MITRE ATT&CK 框架** — 钓鱼 (T1566) 及其子技术、初始访问向量 - **威胁情报** — 结构化 IOC 管理、TLP 分类、MISP 共享模型 - **安全编排、自动化与响应 (SOAR)** — Playbook 驱动的自动化分诊 ## ⚠️ 免责声明 - PhishIntel 仅旨在部署于受控的实验室环境、授权的公司网络，或在机构监督下作为合法学术研究的一部分使用。 - 本平台绝**不应**在没有获得相关系统所有者和数据主体**明确书面授权**的情况下用于分析电子邮件或网络制品。 - 任何针对未经授权的系统、网络或个人使用本平台的行为均违反适用的计算机犯罪法（包括但不限于《计算机欺诈和滥用法》(CFAA)、欧盟指令 2013/40/EU 以及印度《信息技术法》2000），并受到严格禁止。 - 作者对滥用本平台或其输出结果不承担任何责任。 - 本平台处理的所有威胁情报数据均应按照适用的数据保护法规（例如 GDPR、PDPA）进行处理。 - 第三方分析器集成（VirusTotal、Shodan 等）受其自身的服务条款和使用限制约束。 ## 📄 许可证 PhishIntel 作为开源软件在 **[GNU Affero 通用公共许可证 v3.0 (AGPL-3.0)](./LICENSE)** 下发布。 这意味着您可以自由使用、学习、修改和分发本软件，前提是任何衍生作品也必须在相同的许可证下发布，并且必须向通过网络与本软件进行交互的用户提供代码。

### 为网络安全研究社区而建 🛡️ *旨在赋能分析人员。为阻止攻击者而生。* [](https://thehive-project.org/) [](https://github.com/TheHive-Project/Cortex) [](https://www.misp-project.org/) [](https://python.org)