AaineeSinha/ThreatIntel-Agent-Autonomous-Cyber-Threat-Intelligence

# 📄 ThreatIntel Agent：自主网络威胁情报仪表板 🤖 ### 在线演示:- https://threatintel-agent-autonomous-cyber-threat-intelligence-fhmbkqx.streamlit.app/ ### 概述 🌟 ThreatIntel Agent 是一款强大且可用于生产环境的自动化安全编排与响应 (SOAR) 应用程序，旨在自动化实时开源情报 (OSINT) 收集和防御性剧本生成。通过将实时全球威胁注册表与先进的大型语言模型 (LLM) 相结合，该解决方案将原始技术威胁指标转化为全面、易于理解的企业缓解剧本。💡 ### 问题 🚩 安全运营中心 (SOC) 分析师和事件响应人员不断被海量原始失陷指标 (IOC) 所淹没——例如可疑的 IP 地址、欺骗性域名和恶意文件哈希。手动查询多个开源情报注册表、解析复杂的 JSON payload、将行为映射到安全框架以及编写修复脚本非常耗时，并会减缓事件遏制响应时间。📉 ### 解决方案 🚀 该项目利用多阶段 AI Agent pipeline 获取单一威胁向量，并完全自动化调查工作流程。主要亮点包括： * 🔹 **实时 OSINT 遥测：** 查询 **VirusTotal v3 REST API** 以拉取实时全球信誉数据、供应商检测计数和行为类别。🎯 * 🔹 **上下文 LLM 推理：** 将原始安全指标输入 **Gemini 2.5 Flash** 以分析威胁态势，绕过静态数据库限制并检测全新的钓鱼基础设施。🧠 * 🔹 **异步状态遥测：** 使用 Python 生成器架构 (`yield`) 实现流式 pipeline，将实时后台操作日志直接传输到用户界面。⚡ * 🔹 **自动化事件剧本：** 立即生成可下载的高管级 Markdown 报告，其中包含战术防御剧本和自定义防火墙遏制规则。💾 ### 技术栈 🛠️ * 🐍 **Python：** 核心后端和数据处理 pipeline 逻辑。 * 🌐 **Streamlit：** 用于构建高度响应式 Web 应用程序的框架。 * 🧠 **Google Gemini (Google Generative AI)：** 用于自然语言合成和上下文分析的高级推理引擎。 * 🛡️ **VirusTotal API v3：** 用于实时指标追踪的外部威胁情报注册表。 * ⚙️ **Python-Dotenv & Requests：** 用于安全的环境 token 管理和处理外部 RESTful HTTP 请求。 ### 系统架构 🏗️ 该应用程序采用高度模块化、解耦的架构，将用户界面与核心自动化逻辑分离开来： ``` [User Interface (ui.py)] ──(Inputs Threat Indicator)──> [Main Engine (main.py)] │ (Invokes Pipeline Loop) ▼ [Streamlit UI] <──(Streams Markdown Report)── [Intel Agent (agents.py)] <──> [VirusTotal API] ``` ### 分析能力 🧠 当指标被输入 pipeline 时，AI 高级事件响应 Agent 会基于实时指标进行分析，从而制定出： * 📊 **高管威胁摘要与严重性评估：** 上下文风险分类（例如，即使供应商检测次数为 0，也能捕获品牌冒充/钓鱼域名）。 * 🔍 **MITRE ATT&CK 矩阵映射：** 明确识别对手战术、技术和特定子技术 ID（例如，Reconnaissance、Resource Development、Credential Access）。 * 🛡️ **企业修复剧本：** 具有可操作性的技术控制，包括 DNS 黑洞/ Sinkhole、安全 Web 网关 (SWG) 规则、电子邮件网关传输策略和出站防火墙规则。 ### 如何在本地运行 💻 1. **前置条件：** Python 3.11+ 2. **设置工作区：** ``` git clone [https://github.com/AaineeSinha/ThreatIntel-Agent-Autonomous-Cyber-Threat-Intelligence.git](https://github.com/AaineeSinha/ThreatIntel-Agent-Autonomous-Cyber-Threat-Intelligence.git) cd ThreatIntel-Agent-Autonomous-Cyber-Threat-Intelligence python -m venv .venv source .venv/bin/activate  # On Windows use: .venv\Scripts\activate pip install -r requirements.txt ``` 3. **配置密钥：** 在根目录下创建一个 `.env` 文件，并安全地添加您的 API 访问密钥： ``` GOOGLE_API_KEY=your_gemini_api_key_here VIRUSTOTAL_API_KEY=your_virustotal_api_key_here ``` 4. **执行：** ``` streamlit run main.py ``` ## 🔍 实时测试指南与指标参考 为了展示 **ThreatIntel Agent** 的多阶段 pipeline、自动化框架映射和上下文推理能力，请将以下任何真实世界的威胁指标复制并粘贴到实时仪表板中。 | # | 指标类型 | 测试指标字符串 | 预期威胁概况与 AI 行为 | |---|----------------|-----------------------|---------------------------------------| | 1 | **IP 地址** | `185.196.220.30` | **网络扫描器：** 触发活跃的恶意检测计数。Gemini 将其归类为基础设施侦察，并为 Web 端口（`80`、`443`）生成严格的边缘防火墙丢弃规则。 | | 2 | **IP 地址** | `45.150.111.41` | **SSH 暴力破解器：** 与自动化撞库相关联。该 Agent 将此映射到 **MITRE ATT&CK: T1110 (Brute Force)**，并设计身份验证审计剧本。 | | 3 | **IP 地址** | `91.240.118.172` | **命令与控制 (C2)：** 识别活跃的 C2 节点脚本 endpoint。触发 CRITICAL 级别严重性评估，重点关注内部主机隔离和横向移动分类。 | | 4 | **域名** | `wellsfargosecure-login.com` | **品牌冒充：** 模拟新部署的钓鱼攻击。即使全球供应商检测率很低，Gemini 的语义引擎也会根据名称结构对其进行标记，并详细说明自定义 DNS sinkhole 规则。 | | 5 | **域名** | `paypal-security-update-center.com` | **凭证收割机：** 被标记为金融社会工程基础设施。无缝映射到 **MITRE ATT&CK: T1566.001 (Phishing: Spearphishing Link)**。 | | 6 | **域名** | `login-microsoft365-verify.com` | **云认证门户钓鱼：** 旨在劫持企业账户 (BEC)。该剧本优先考虑立即撤销企业会话并强制重置多因素身份验证 (MFA)。 | | 7 | **域名** | `duckdns.org` | **动态 DNS 灰色软件：** 经常被威胁行为者滥用的合法服务。测试 AI 处理模糊信誉评分的能力，而不会强制执行适得其反的一揽子封锁。 | | 8 | **文件哈希** | `09fa86e733ea07167e469da304d5a2eb` | **Wacatac 木马 (MD5)：** 高度可识别的恶意软件指纹。VirusTotal 标记了高恶意指标，促使 AI 将行为映射到 **MITRE ATT&CK: TA0003 (Persistence)**。 | | 9| **文件哈希** | `24d00b8616e3b1d9d80cef9d421081c54b3754c09624fe4613c71bf9e394cfbf` | **WannaCry 蠕虫 (SHA-256)：** 标志性的勒索软件特征。Gemini 绕过通用遏制措施，发布详细的本地化剧本，指导修补 SMB 漏洞（`Port 445`）。 | | 10| **文件哈希** | `7a963428d022ec102c98d6006e0f7725` | **Emotet 下载器 (MD5)：** 臭名昭著的银行僵尸网络基础设施。触发复杂的威胁修复循环，旨在搜寻二级 payload 释放器和隐藏的二进制树。 | ### 🚀 快速复制备忘单 为了进行快速的手动测试，您可以直接从这些终端代码块中获取快速字符串： ``` # 测试用例：Active Malicious Network IP 185.196.220.30 # 测试用例：Targeted Financial Phishing Domain wellsfargosecure-login.com # 测试用例：Trojan Malicious Binary Hash 09fa86e733ea07167e469da304d5a2eb ``` ### 未来展望 🔮 * 🚀 **多源 OSINT 聚合：** 使用异步 Python 请求扩展 Agent，以并发查询多个威胁池（例如，AlienVault OTX、AbuseIPDB、Shodan）。 * 📁 **本地沙箱文件哈希计算：** 允许直接上传可疑的本地文档，使用 Python 自动计算加密 MD5/SHA-256 哈希，以供立即进行 API 获取。 * 📊 **历史威胁注册表：** 集成本地数据库配置（SQLite/PostgreSQL），以存储以前审计过的威胁报告的历史存档，用于持续的企业监控。 祝您防御顺利！🛡️✨ 保持您的基础设施安全，并保持您的响应工作流自动化。🥂

标签：DLL 劫持, Kubernetes, PB级数据处理, Python, SOAR, Streamlit, 大语言模型, 威胁情报, 字符串匹配, 安全运维, 开发者工具, 无后门, 访问控制, 逆向工具