vignesh8310/LocalAI-SIEM-Resource-Optimized-Threat-Detection-Incident-Response-Pipeline

# LocalAI-SIEM-资源优化威胁检测与事件响应流水线 一个使用 Python 构建的本地 AI 驱动的 SIEM 流水线。使用高速 regex 过滤器在网络干扰数据产生前将其丢弃，然后通过 Ollama 将异常路由到量化的本地 LLM (`llama3.2:3b`) 进行威胁验证。具有持久化的 SQLite 存储功能，并可通过交互式 Discord SOC bot 访问 RAG 取证引擎。 ## 🏗️ 软件架构与设计 ### 1. 摄取与预过滤 * **动态文件追踪 (Tail-ing)：** 通过低开销的文件指针偏移 (`file.seek`) 来监控目标操作系统的日志流。 * **确定性过滤：** 使用预编译的 `re.compile` 正则表达式引擎对字符串进行筛选以丢弃正常流量，保护本地 GPU VRAM 免受处理疲劳。 ### 2. 认知分析 (Edge AI 引擎) * **本地推理核心：** 利用本地托管的 `llama3.2:3b` 实例来评估异常，无需付费的 SaaS API 或云网络依赖。 * **结构化输出：** 执行严格的系统 prompt 规则，以保证纯粹、结构化的 JSON token 返回，从而实现自动化的下游 pipeline 处理。 ### 3. 取证持久化与 RAG (检索增强生成) * **数据层：** 将验证后的安全警报保存到优化的本地 SQLite schema (`siem_history.db`) 中。 * **上下文注入：** 动态过滤、聚合并将历史数据库遥测行直接注入到活跃的 LLM prompt 内存缓冲区中，以实现具备上下文感知的运营审查。 ### 4. 交互式接口与警报 (Discord 集成) * **自主 Webhook 派发 (`siem_shipper.py`)：** 利用出站 HTTP POST payload，在威胁验证后立即将结构化、带有颜色编码的 JSON 富嵌入通知卡片传输到事件响应频道。 * **异步命令网关 (`soc_bot.py`)：** 使用 `discord.ext.commands` 建立与 Discord Gateway 的持久双向连接。这使得脚本能拦截特权消息意图（如 `!summary` 或 `!investigate`）并将其直接路由到本地 RAG 引擎。 ## 📦 项目结构 * `siem_shipper.py` — **自主警报 Agent：** 将动态文件追踪引擎直接连接到 AI 核心，并通过出站 Discord Webhook payload 推送格式化的富嵌入通知卡片。 * `soc_bot.py` — **交互式安全助手：** 运行并发的多线程环境。为日志摄取生成一个后台工作线程，同时保持主线程处于打开状态，以通过异步 Discord Bot API 监听交互式聊天命令。 ## 🤖 交互式 SOC 命令 (`soc_bot.py`) 在已连接的 Discord 服务器文本频道中直接输入这些命令以查询 Agent： * `!summary` - 提取历史数据库日志，将其加载到 edge-AI 上下文块中，以生成执行系统概要简报。 * `!investigate ` - 执行针对性的 SQL `LIKE` 通配符搜索，以提取威胁足迹并编译自动化的深度取证时间线报告。 * `!fix ` - 咨询本地智能核心，生成一份即时、带有项目符号的技术事件响应剧本。 * `!lookup ` - 集成出站威胁情报 web hooks，以运行开源的地理位置基础设施审计。 * `!metrics` - 直接在 SQLite 数据库内执行实时数学计数，以返回最近的威胁数量。 ## 💡 关键架构亮点 * **100% 数据隐私与零成本：** 严格在内部 localhost 环境中运行。 * **故障预防安全网：** 实现 packet 切片循环，将过长的 AI 输出拆分为清晰的 1900 字符的字符串数组，完全绕过 Discord 原生的 2000 字符传输阈值。 * **低硬件占用：** 量身定制的资源边界，经过优化可在配备 4GB VRAM 的消费级硬件（笔记本 RTX 2050 目标配置）上流畅运行。 ### 实时系统警报 ### 交互式查询接口 ### 运行时执行日志 (Local Host 终端)

标签：AI风险缓解, AMSI绕过, Discord机器人, DLL 劫持, LLM评估, Ollama, Python, 大语言模型, 威胁检测, 库, 应急响应, 无后门, 本地AI, 逆向工具