JW2WW/Home-Network-AI-Threat-Hunter

# AI 威胁猎手 一个由 AI 驱动的威胁狩猎和安全调查平台，它从终端、服务器、网络设备和安全工具收集遥测数据，以识别可疑活动、重构事件，并协助进行基于自然语言的安全调查。 ## 概述 现代系统会产生海量的安全遥测数据： * Windows 事件日志 * Sysmon 事件 * DNS 日志 * 防火墙日志 * 身份验证日志 * Linux 系统日志 * 容器日志 * 应用程序日志 对于家庭实验室、小型组织甚至大型企业来说，手动审查这些数据既困难、耗时，又往往不切实际。 AI Threat Hunter 充当了一名智能安全分析师，它可以持续审查遥测数据、识别可疑活动、关联事件，并允许用户使用自然语言调查安全事件。 示例： 该平台结合了日志聚合、威胁检测、时间线分析、检索增强生成（RAG）以及 AI 辅助调查工作流。 # 问题陈述 安全团队通常面临以下挑战： * 海量日志 * 告警疲劳 * 误报 * 分析师资源有限 * 事件关联困难 * 事件调查缓慢 * 跨系统的可见性有限 大多数环境已经收集了检测威胁所需的数据。 挑战在于如何将这些数据转化为可执行的情报。 AI Threat Hunter 有助于弥合这一差距。 # 核心功能 ## 日志收集 收集并标准化来自以下来源的遥测数据： ### Windows * Windows 事件日志 * Sysmon * PowerShell 日志 * 安全日志 * 任务计划程序事件 ### Linux * Syslog * Auditd * 身份验证日志 * 系统日志 ### 网络 * DNS 日志 * 防火墙日志 * VPN 日志 * 代理日志 ### 基础设施 * Docker 日志 * Kubernetes 日志 * 应用程序日志 * 反向代理日志 ## AI 威胁狩猎 使用自然语言调查环境。 示例： ### 常规调查 ### 身份验证分析 ### 网络调查 ### 终端分析 ### 持久化检测 ### 横向移动分析 ## 安全时间线重构 自动重构事件时间线。 示例： ``` 09:15 User Login 09:18 PowerShell Started 09:21 External DNS Lookup 09:23 Scheduled Task Created 09:27 New Network Connection ``` 为调查人员提供安全事件按时间顺序的视图。 ## 威胁检测 检测可疑活动，例如： * 暴力破解尝试 * 异常登录 * 可疑的 PowerShell 执行 * 持久化机制 * 创建新服务 * 权限提升活动 * 异常网络连接 * DNS 异常 ## IOC 发现 识别妥协指标（IOC），包括： * 可疑 IP 地址 * 可疑域名 * 恶意文件哈希 * 已知威胁指标 * 罕见网络目的地 ## 可解释 AI 每一项发现都有证据支持。 该平台提供： * 源日志 * 事件标识符 * 时间线参考 * 检测依据 * 置信度评分 AI 发现始终可追溯到原始遥测数据。 ## MITRE ATT&CK 映射 自动将活动映射到 MITRE ATT&CK 框架。 示例： ``` T1059 Command and Scripting Interpreter T1053 Scheduled Task T1078 Valid Accounts ``` 帮助分析师了解攻击者的行为和战术。 ## 安全调查工作区 通过以下功能支持调查工作流： * 保存的调查 * 时间线视图 * 证据追踪 * IOC 追踪 * 案例管理 * 可导出的报告 ## 每日安全简报 生成每日或每周的摘要。 示例： ``` Security Status: Healthy New Findings: • 2 unusual login attempts • 1 suspicious PowerShell execution Warnings: • New DNS activity to previously unseen domain Recommended Actions: • Review PowerShell activity • Verify user account activity ``` # 调查示例 ### 提问 ``` Did anything suspicious happen this week? ``` ### 回答 ``` Potential Findings: 1. New PowerShell execution observed on workstation WS-04 2. DNS requests made to uncommon domains 3. Service account logged in from a new source IP 4. Multiple failed RDP logins followed by a successful login Risk Assessment: Medium Recommended Investigation: Review PowerShell execution and authentication logs. ``` # 架构 ``` Windows Event Logs Sysmon DNS Logs Firewall Logs Linux Logs Application Logs │ ▼ ┌──────────────────────┐ │ Collection Layer │ └──────────┬───────────┘ ▼ ┌──────────────────────┐ │ Log Aggregation │ │ Loki / Elasticsearch │ └──────────┬───────────┘ ▼ ┌──────────────────────┐ │ Detection Engine │ │ Sigma Rules │ └──────────┬───────────┘ ▼ ┌──────────────────────┐ │ PostgreSQL │ │ Metadata Store │ └──────────┬───────────┘ ▼ ┌──────────────────────┐ │ RAG Pipeline │ └──────────┬───────────┘ ▼ ┌──────────────────────┐ │ OpenAI / Claude │ └──────────┬───────────┘ ▼ ┌──────────────────────┐ │ Investigation UI │ └──────────────────────┘ ``` # 技术栈 ## 后端 * Python * FastAPI * PostgreSQL ## AI * OpenAI GPT 模型 * Anthropic Claude * 检索增强生成（RAG） ## 日志聚合 * Grafana Loki * Elasticsearch（可选） ## 安全遥测 * Sysmon * Windows 事件转发 * Auditd * DNS 日志 * 防火墙日志 ## 检测 * Sigma 规则 * MITRE ATT&CK 映射 ## 前端 * React * TailwindCSS ## 部署 * Docker * Docker Compose * Linux # 示例问题 ### 威胁狩猎 ### 身份验证 ### 终端安全 ### 网络分析 ### 持久化 ### 事件调查 ### 风险评估 # 未来增强功能 ## AI 检测工程 自动生成检测规则。 示例： 生成： * Sigma 规则 * 告警逻辑 * 检测说明 ## 自动化威胁情报富化 集成： * 威胁情报源 * IOC 数据库 * 信誉服务 * 恶意软件库 ## 威胁模拟 通过以下方式进行验证： * 攻击模拟 * 检测测试 * 紫队演练 ## 自主调查 自动执行： * 日志关联 * 时间线生成 * IOC 富化 * 初步分类分流 ## 家庭实验室安全运营中心 将家庭实验室转变为一个微型 SOC 环境，具备以下能力： * 威胁狩猎 * 检测工程 * 事件响应 * 安全监控 # 展示的技能 本项目展示了： * 威胁狩猎 * 检测工程 * 安全监控 * 日志分析 * 事件响应 * AI 集成 * 检索增强生成（RAG） * 安全自动化 * 数据工程 * 可观测性 * Python 开发 * 企业安全概念 # 为什么这很重要 大多数组织都会收集安全数据，但难以从中提取有意义的见解。 AI Threat Hunter 结合了遥测、检测逻辑、AI 推理和可解释的调查工作流，以帮助分析师更快地识别和理解威胁。 目标不是取代安全专业人员，而是提供更好的可见性、更快的调查和更有效的威胁狩猎。 # 许可证 MIT 许可证 # 免责声明 本项目仅用于教育、研究、防御性安全和威胁狩猎目的。用户在生产环境中采取行动之前，有责任验证所有的发现和建议。

标签：AI大模型, 安全调查, 安全运营, 扫描框架, 测试用例, 版权保护, 请求拦截, 逆向工具