dibyanshubehera/Threat-Hunting-and-Security-Analysis-using-Splunk-on-UNSW-NB15-Dataset

# 📖 项目概述 ## 🎯 目标 本项目演示了使用 **Splunk Enterprise** 和 **UNSW-NB15** 网络入侵数据集进行的实用 SOC Threat Hunting 工作流。该项目侧重于导入网络日志、使用 SPL (Search Processing Language) 进行 Threat Hunting、调查恶意活动，以及通过交互式 Splunk Dashboard 将安全洞察可视化。 该分析识别了攻击类别、可疑的源 IP 地址、Reconnaissance 活动、拒绝服务攻击和目标网络服务，模拟了安全运营中心 (SOC) 分析师在真实环境中调查威胁的方式。 # 🚨 威胁场景 本项目模拟了 SOC 分析师在 **Splunk Enterprise** 中使用 **UNSW-NB15** 数据集调查恶意网络活动的过程。通过利用 SPL (Search Processing Language)，该项目识别了可疑行为，分析了攻击模式，并通过 Dashboard 将安全洞察可视化。 执行了以下 Threat Hunting 活动： - 🔍 检测可疑的源 IP 地址 - 🕵️ Reconnaissance 攻击调查 - 💥 拒绝服务攻击分析 - 🌐 网络服务分析 - 📊 基于 Dashboard 的威胁可视化 - 🛡️ 使用 SPL 查询进行主动 Threat Hunting # 💡 核心功能 - 使用 Splunk Enterprise 进行 Threat Hunting - 分析 UNSW-NB15 入侵数据集 - 基于 SPL 的调查查询 - 检测恶意源 IP 地址 - 攻击类别分析 - Reconnaissance 活动调查 - 拒绝服务分析 - 网络服务分析 - 交互式 Splunk Dashboard - 以 SOC 为核心的安全调查工作流 # 🖥️ 实验环境 本项目使用 **Splunk Enterprise** 导入并分析 **UNSW-NB15** 数据集。数据集通过 SPL 查询进行索引和调查，以揭示恶意活动、识别攻击模式，并生成模拟真实世界 SOC Threat Hunting 操作的 Dashboard 可视化。 ## 💻 实验组件 | 组件 | 用途 | |-----------|---------| | Splunk Enterprise | SIEM Platform | | UNSW-NB15 Dataset | 网络流量数据集 | | SPL | Threat Hunting 查询 | | Splunk Dashboard | 可视化 | | Indexed Logs | 安全分析 | | SOC 工作流 | 威胁调查 | # 🛠️ 工具与技术 | 类别 | 技术 | |----------|------------| | SIEM Platform | Splunk Enterprise | | Dataset | UNSW-NB15 | | 查询语言 | SPL (Search Processing Language) | | Dashboard | Splunk Dashboard | | 数据分析 | 日志调查 | | Threat Hunting | SOC 调查 | # 📦 项目结构 ``` Threat-Hunting-and-Security-Analysis-using-Splunk-on-UNSW-NB15-Dataset/ │ ├── README.md ├── LICENSE │ ├── report/ │ └── Threat-Hunting-and-Security-Analysis-using-Splunk-on-UNSW-NB15-Dataset.pdf │ ├── screenshots/ │ └── assets/ ``` # ⚙️ Threat Hunting 工作流 该项目遵循实用的 SOC 调查工作流：将网络日志导入 Splunk，使用 SPL 查询进行分析，并通过 Dashboard 进行可视化，以识别恶意活动并了解攻击者行为。 ## 🔄 调查过程 ``` UNSW-NB15 Dataset │ ▼ Log Ingestion into Splunk │ ▼ Field Extraction & Verification │ ▼ Threat Hunting using SPL │ ├── Attack Category Analysis ├── Suspicious Source IP Detection ├── Reconnaissance Investigation ├── DoS Attack Analysis └── Network Service Analysis │ ▼ Dashboard Visualization │ ▼ SOC Investigation & Security Insights ``` # 🔍 Threat Hunting 分析 Threat Hunting 是一种主动的安全实践，分析师通过搜索日志来识别可能逃避传统安全控制的隐藏威胁。在本项目中，使用 Splunk Enterprise 通过 SPL 查询调查 **UNSW-NB15** 数据集，以揭示恶意活动并将安全洞察可视化。 调查侧重于通过结构化的日志分析，识别攻击模式、可疑 IP 地址、Reconnaissance 行为、拒绝服务攻击以及目标网络服务。 # 🚨 安全调查领域 在本项目执行期间进行了以下调查： | 调查项目 | 目的 | |---------------|---------| | 🕵️ 可疑源 IP 分析 | 识别产生恶意流量的主机 | | 🔍 攻击类别分析 | 分析数据集中的不同攻击类型 | | 🌐 网络服务分析 | 确定最受攻击目标的网络服务 | | 📡 Reconnaissance 调查 | 检测扫描与探测活动 | | 💥 DoS 攻击调查 | 分析拒绝服务攻击模式 | | 📊 Dashboard 可视化 | 为 SOC 监控提供安全洞察的可视化 | # 📈 关键安全洞察 调查揭示了几个重要的观察结果： - Generic 攻击是最常观察到的攻击类别。 - 通过 SPL 搜索识别出了多个恶意源 IP 地址。 - Reconnaissance 活动展示了攻击者在发起攻击前扫描网络资源的行为。 - 网络服务分析突出了受到严重攻击目标的服务，如 HTTP 和 DNS。 - Dashboard 可视化将大量日志数据简化为可操作的安全洞察。 - 该工作流密切反映了 SOC 分析师日常涉及 Threat Hunting 和日志分析的职责。 # 📸 项目截图 以下截图演示了在 Splunk Enterprise 中执行的完整 Threat Hunting 工作流。 ## 1. 日志导入与数据验证  ## 2. 可疑源 IP 分析  ## 3. Reconnaissance 调查  ## 4. 拒绝服务 分析  ## 5. 网络服务分析  ## 6. Splunk Dashboard  # 📚 关键学习成果 通过本项目，我获得了以下方面的实践经验： - 使用 Splunk Enterprise 执行主动的 Threat Hunting。 - 编写和执行 SPL (Search Processing Language) 查询。 - 使用安全日志调查恶意网络活动。 - 识别 UNSW-NB15 数据集中的攻击类别。 - 检测可疑的源 IP 地址。 - 分析 Reconnaissance 和拒绝服务攻击行为。 - 为 SOC 调查构建 Dashboard 可视化。 - 解读安全数据以支持事件调查。 - 将 SOC 分析师方法论应用于真实世界的安全场景。 # 📄 项目报告 本项目的详细技术报告可在代码库中获取。 📁 **位置** ``` report/ └── Threat-Hunting-and-Security-Analysis-using-Splunk-on-UNSW-NB15-Dataset.pdf ``` 该报告包括： - 项目目标 - 数据集概述 - 日志导入 - Threat Hunting 方法论 - SPL 调查 - Dashboard 创建 - 结果与发现 - 结论 # 👨‍💻 作者 **DIBYANSU BEHERA** 有志于成为 SOC 分析师，对 Blue Team 运营、Threat Hunting、Detection Engineering、SIEM 技术、Incident Response 和网络安全充满热情。 - 💼 SOC 分析师爱好者 - 🛡️ Blue Team 学习者 - 📊 Splunk | Zeek | Wireshark - 🐍 Python 自动化 # 📜 许可证 本项目基于 **MIT License** 授权。 有关完整详细信息，请参阅 [LICENSE](LICENSE) 文件。 # 🙏 致谢 特别感谢： - Splunk - Australian Centre for Cyber Security (UNSW-NB15 Dataset) - 开源安全社区 # ⭐ 代码库状态 本代码库演示了一个实用的、以 SOC 为中心的 Threat Hunting 项目，使用 **Splunk Enterprise**、**SPL** 和 **UNSW-NB15** 数据集来调查恶意活动、可视化攻击模式，并模拟真实世界的 SOC 分析师工作流。

标签：SPL, 安全可视化, 安全运营, 扫描框架