Awais1329/Enhancing-wazuh-SIEM-with-cross-layer-secuity-and-AI-based-anamoly-detection--FYP-Project

# 通过跨层安全和基于 AI 的异常检测增强 Wazuh SIEM     ## 概述 **通过跨层安全和基于 AI 的异常检测增强 Wazuh SIEM** 是一个毕业设计项目 (FYP)，旨在通过集成 **Machine Learning** 进行智能异常检测，从而增强 **Wazuh Security Information and Event Management (SIEM)** 平台的能力。 传统的 SIEM 系统主要依靠预定义的规则和特征码来识别网络威胁。虽然这对于检测已知攻击非常有效，但这些方法在识别以前未见过的或复杂的攻击时可能会遇到困难。本项目通过将基于 AI 的异常检测与 Wazuh 集成，从而改善了跨多个环境的安全监控，解决了这一局限性。 拟议的系统从 **Host**、**Network** 和 **Cloud** 环境中收集安全日志，使用 Wazuh 对其进行处理，利用经过训练的机器学习模型对其进行分析，并通过 Wazuh Dashboard 将基于规则的告警和 AI 生成的告警进行可视化展示。 # 项目目标 本项目的目标是： - 部署一个集中式的 Wazuh SIEM 平台。 - 监控 Host、Network 和 Cloud 环境。 - 从多个来源收集安全日志。 - 将 Machine Learning 与 Wazuh 集成。 - 使用 AI 模型检测异常活动。 - 生成智能安全告警。 - 在 Wazuh Dashboard 上显示 AI 生成的告警。 - 提高跨多个安全层的威胁检测准确性。 # 主要功能 - 使用 Wazuh 的集中式 SIEM 平台 - 跨层安全监控 - 使用 Wazuh Agents 进行主机监控 - 网络安全监控 - 云安全监控 - 基于 AI 的异常检测 - 基于规则的告警生成 - Machine Learning 集成 - 实时仪表盘可视化 - 统一的安全监控平台 # 系统架构 拟议的架构包括： - Host Layer - Network Layer - Cloud Layer - Wazuh Agents - Wazuh Manager - Wazuh Indexer - AI Engine - Wazuh Dashboard 完整的架构和工作流程可在以下文档中查看： 📄 **[架构文档](Architecture/README.md)** # 仓库结构 ``` . ├── Architecture/ │ ├── Architecture.jpeg │ └── README.md │ ├── Screenshots/ │ ├── Logs disply dashboard.jpeg │ ├── connected devices.jpeg │ ├── logs picture.jpeg │ └── README.md │ ├── VIDEO/ │ └── README.md │ ├── datasets/ │ └── README.md │ ├── docs/ │ ├── AI-engine.md │ ├── Agent-configuration.md │ ├── installation.md │ ├── wazuh-deployment.md │ ├── dashboard.md │ └── README.md │ ├── inference/ │ ├── ai_enriched.json │ ├── ai_to_wazuh.ipynb │ ├── fusion_engine.ipynb │ ├── fusion_runtime.ipynb │ ├── main_pipeline.ipynb │ ├── wazuh_ai_fusion_pipeline_cells.ipynb │ └── README.md │ ├── models/ │ ├── host_final.pkl │ ├── cloud_rf_final.pkl │ ├── dos_ddos_scaler.pkl │ └── README.md │ ├── presentation/ │ └── final ppt of fyp.pptx │ ├── thesis/ │ ├── Updated Thesis 7.6.26.docx │ └── README.md │ ├── training/ │ ├── Host.ipynb │ ├── network.ipynb │ ├── cloud.ipynb │ ├── test.ipynb │ └── README.md │ └── README.md ``` # 使用的技术 | 类别 | 技术 | |-----------|------------| | SIEM | Wazuh | | Dashboard | Wazuh Dashboard | | 搜索引擎 | Wazuh Indexer | | Machine Learning | Scikit-learn | | 编程语言 | Python | | 虚拟化 | VMware Workstation | | 云平台 | OpenStack | | IDS | Suricata | | 操作系统 | Ubuntu 22.04 LTS | # Machine Learning 模型 AI Engine 针对不同的安全层使用不同的机器学习模型。 | 安全层 | Machine Learning 模型 | |---------------|------------------------| | Host Layer | Isolation Forest | | Network Layer | Random Forest | | Cloud Layer | Random Forest | AI Engine 会分析安全日志、检测异常行为，并生成集成到 Wazuh SIEM 平台中的智能告警。 # 部署环境 | 组件 | 部署环境 | |-----------|------------------------| | Wazuh Server | Ubuntu 22.04 LTS (VMware Virtual Machine) | | Host Layer | Linux Virtual Machine | | Network Layer | Linux Virtual Machine | | Cloud Layer | OpenStack Virtual Machine | | AI Engine | Windows Host Machine | # 安装 详细的安装说明可在以下文档中找到： - 📄 [安装指南](docs/installation.md) - 📄 [Wazuh 部署](docs/wazuh-deployment.md) - 📄 [Agent 配置](docs/Agent-configuration.md) - 📄 [AI Engine](docs/AI-engine.md) - 📄 [Dashboard](docs/dashboard.md) 本项目使用官方的 Wazuh Quick Start 进行安装。 ``` curl -sO https://packages.wazuh.com/4.14/wazuh-install.sh && sudo bash ./wazuh-install.sh -a ``` 要在受监控的终端上安装 Wazuh Agent： ``` sudo apt update sudo apt install wazuh-agent ``` # 文档 项目文档位于 **docs** 目录中。 | 文件 | 描述 | |------|-------------| | installation.md | 环境配置和软件安装 | | wazuh-deployment.md | Wazuh 部署指南 | | Agent-configuration.md | Wazuh Agent 配置 | | AI-engine.md | AI Engine 工作流程 | | dashboard.md | Dashboard 说明 | # 数据集 AI 模型是使用公开的网络安全数据集进行训练的。 | 层级 | 数据集 | |--------|----------| | Host | ADFA-IDS | | Network | CICIDS2017 | | Cloud | Cloud Intrusion Detection Dataset | 更多信息： 📄 **[数据集文档](datasets/README.md)** # AI 工作流程 AI Engine 执行以下任务： - 从 Wazuh Manager 接收原始日志。 - 对收集的安全数据进行预处理。 - 提取机器学习特征。 - 执行经过训练的机器学习模型。 - 检测异常行为。 - 生成基于 AI 的告警。 - 将告警发送回 Wazuh Manager。 - 通过 Wazuh Dashboard 显示 AI 生成的告警。 # 截图 展示以下内容的项目截图： - 已连接的 Wazuh Agents - 安全事件仪表盘 - 日志分析 - 威胁狩猎 可在以下位置查看： 📄 **[Dashboard 截图](Screenshots/README.md)** # 项目演示 本仓库包含一个完整实现的演示视频。 该视频演示了： - Wazuh 部署 - Wazuh Agent 注册 - Host 监控 - Network 监控 - Cloud 监控 - AI 模型执行 - AI 告警生成 - Dashboard 可视化 更多信息： 📄 **[项目演示](VIDEO/README.md)** # 训练 机器学习模型训练笔记本位于 **training** 文件夹中。 包含的笔记本： - Host.ipynb - network.ipynb - cloud.ipynb - test.ipynb # 推理 Pipeline AI 推理笔记本位于 **inference** 文件夹中。 推理 Pipeline 执行以下操作： - 日志预处理 - 特征提取 - AI 预测 - 告警生成 - 与 Wazuh 集成 # 结果 拟议的系统成功展示了： - 集中式日志收集 - 多层安全监控 - 基于 AI 的异常检测 - 基于规则的告警和 AI 生成的告警 - Dashboard 可视化 - Host 监控 - Network 监控 - Cloud 监控 # 未来改进 潜在的未来增强功能包括： - Deep Learning 模型 - SOAR 集成 - 威胁情报源 - Docker 部署 - Kubernetes 监控 - 自动化事件响应 - 电子邮件和 SMS 通知 - 实时流分析 # 作者 **Muhammad Awais** 计算机科学理学学士 (BSCS) 国家科技大学 (NUTECH) # 致谢 本项目使用了以下开源技术和公开可用的数据集： - Wazuh - OpenStack - Python - Scikit-learn - Canadian Institute for Cybersecurity (CIC) - UNSW Canberra Cyber ⭐ **如果您觉得这个项目有帮助，请考虑在 GitHub 上给它点个 Star。**

标签：Apex, Metaprompt, Wazuh, 异常检测, 机器学习, 逆向工具