Harsh220903/BlueShield

## 项目概述 BlueShield 是一个使用 Python 开发的模块化检测工程与应急响应平台，旨在模拟现代安全运营中心 (SOC) 的核心工作流程。该平台处理来自多个数据源（如 Windows 事件日志、Sysmon 日志、PCAP 文件和威胁情报源）的安全遥测数据，以识别可疑活动、丰富警报、将其映射到 MITRE ATT&CK 框架、支持威胁狩猎，并生成调查报告。 该项目专注于构建 SOC 的智能与分析层，而不是部署完整的 SIEM 基础设施。它演示了如何通过模块化且可扩展的流水线，将安全数据转化为可操作的警报和事件报告。 ## 问题陈述 安全运营中心 (SOC) 每天都会从终端、服务器、网络设备和安全工具接收到数千起安全事件。其中大量事件是良性的，只有极小比例代表真正的安全事件。分析师必须手动检查日志、关联来自多个数据源的证据、确定事件的严重程度、识别攻击者的技术，并在事件得到妥善处理之前记录他们的发现。 这种调查过程通常是重复且耗时的，并且需要掌握多个安全领域的知识，例如 Windows 事件日志、Sysmon、网络流量分析、威胁情报、MITRE ATT&CK、恶意软件分析和应急响应。 BlueShield 通过提供一个模块化平台来自动化调查工作流程的关键阶段，从而应对了这一挑战。它摄取安全遥测数据，将数据标准化为通用格式，应用检测逻辑，利用威胁情报丰富警报，将检测结果映射到 MITRE ATT&CK 框架，支持威胁狩猎，并生成结构化的调查报告。其目标是展示完整的检测和调查生命周期，同时提供关于 SOC 运营和检测工程概念的实践经验。 ## 目标用户 本项目适用于： - 安全运营中心 (SOC) 分析师 - 检测工程师 - 应急响应人员 - 数字取证学生 - 网络安全学生 - 学习威胁检测和调查工作流程的研究人员 ## 项目构建初衷 本项目的主要目标是通过将多个网络安全概念集成到单一平台中，从而获得完整 SOC 调查工作流程的实践经验。该项目没有孤立地研究单项技术，而是将日志分析、检测工程、威胁情报、MITRE ATT&CK 映射、威胁狩猎、应急响应和报告整合到一个模块化应用程序中。 该项目还可以作为作品集，展示如何使用 Python 和公开可用的安全数据集来实际应用蓝队概念。 ## 项目目标 - 构建基于 Python 的模块化 SOC 调查平台。 - 培养检测工程和应急响应的实操技能。 - 标准化并分析来自多个数据源的安全日志。 - 实现受 Sigma 启发的检测和基于 YARA 的恶意软件扫描。 - 使用威胁情报丰富警报，并将其映射到 MITRE ATT&CK。 - 生成调查报告并提供交互式仪表板。 ## 项目目的 BlueShield 的主要目标是将多种蓝队能力整合到一个单一的模块化平台中，以模拟现代安全运营中心 (SOC) 的工作流程。该项目旨在利用 Python 和公开可用的数据集，提供日志分析、检测工程、威胁狩猎、应急响应和安全自动化方面的实践经验。 该项目旨在实现以下目的： - 解析并标准化来自多个数据源的安全数据，包括 Windows 事件日志、Sysmon 日志和 PCAP 文件。 - 使用自定义检测规则和受 Sigma 启发的规则，实现对常见攻击技术的检测逻辑。 - 使用 YARA 规则分析恶意软件样本。 - 通过匹配危害指标 (IOC)（如 IP 地址、域名、URL 和文件哈希）来丰富警报。 - 将检测到的活动映射到 MITRE ATT&CK 框架，以识别攻击者的战术和技术。 - 通过在历史日志中搜索可疑行为来支持威胁狩猎。 - 生成包含证据、时间线、严重程度、受影响资产、MITRE 映射和响应建议的结构化事件报告。 - 提供一个交互式仪表板，用于可视化警报、事件和安全统计数据。 - 构建模块化架构，以便将来能够通过额外的日志源、检测规则和集成进行扩展。 - 增强在检测工程、安全运营、Python 自动化和事件调查方面的实践技能。 ## 项目范围 ### 范围内 BlueShield 的第一个版本侧重于实现模拟现代安全运营中心 (SOC) 调查工作流程所需的核心功能。 该项目包括以下功能： - 解析 Windows 事件日志 (EVTX) - 解析 Sysmon 日志 - 解析 PCAP 文件 - 将安全事件标准化为通用的 JSON 格式 - 使用自定义检测规则检测可疑活动 - 支持 Sigma 启发式检测规则 - 使用 YARA 规则扫描文件 - 匹配危害指标（IP 地址、域名、URL 和文件哈希） - 将检测结果映射到 MITRE ATT&CK 框架 - 支持在收集的安全日志中进行威胁狩猎 - 生成事件时间线 - 生成应急响应建议 - 创建 HTML、JSON 和 CSV 调查报告 - 提供基于 Streamlit 的仪表板 - 维持模块化架构以备未来扩展 ### 范围外（第一版） 以下功能被有意排除在项目的第一个版本之外： - Wazuh SIEM 的实时部署 - Splunk 的实时部署 - Active Directory 环境 - 终端检测与响应 (EDR) 代理开发 - SOAR 平台集成 - 云安全监控 - Linux 终端监控 - 实时网络数据包捕获 - 内存取证 - 移动恶意软件分析 - 基于机器学习的威胁检测 - 自动恶意软件沙箱执行 - 电子邮件安全分析 - Web 应用程序漏洞扫描 - 用户身份验证和多用户支持 ### 未来增强功能 未来版本的 BlueShield 可能包括： - Wazuh 集成 - Splunk 集成 - Elastic Stack 集成 - Active Directory 日志收集 - 实时日志摄取 - REST API 支持 - 威胁情报 API 集成 (VirusTotal, AbuseIPDB) - SOAR 集成 - 电子邮件警报 - 自动化遏制措施 - Docker 部署 - 云日志摄取 ## 支持的输入源 BlueShield 旨在处理从不同来源收集的多种类型的安全遥测数据。这些数据集在被检测引擎分析之前，会被标准化为通用的事件格式。 | 输入源 | 格式 | 用途 | |--------------|--------|---------| | Windows 安全事件日志 | EVTX | 分析身份验证、账户管理、进程创建和安全事件 | | Sysmon 日志 | EVTX / XML | 检测进程执行、网络连接、注册表修改和文件创建 | | 网络数据包捕获 | PCAP | 调查网络通信、DNS 请求、HTTP 流量和可疑连接 | | 危害指标 (IOC) 源 | CSV / JSON | 匹配恶意 IP 地址、域名、URL 和文件哈希 | | MITRE ATT&CK 数据集 | JSON | 将检测到的活动映射到 ATT&CK 战术和技术 | | 检测规则 | JSON | 为可疑行为定义自定义检测逻辑 | | YARA 规则 | YAR | 基于签名和模式检测恶意软件 | ### 数据处理工作流程 所有受支持的输入源首先会被解析并转换为标准化的内部事件格式。这种标准化允许检测引擎和后续模块使用一致的结构来处理不同的数据源。 ``` Input Source │ ▼ Parser │ ▼ Normalized Event │ ▼ Detection Engine ``` ### 标准事件格式 在进行进一步处理之前，每个受支持的数据源都会被转换为通用的 JSON 结构。 示例： ``` { "timestamp": "", "hostname": "", "user": "", "event_source": "", "event_id": "", "process_name": "", "command_line": "", "source_ip": "", "destination_ip": "", "severity": "", "raw_event": {} } ``` ## 功能需求 BlueShield 应提供以下核心功能： ### FR-1：日志摄取 - 系统应支持接收 Windows 安全事件日志。 - 系统应支持接收 Sysmon 日志。 - 系统应支持接收 PCAP 文件。 - 系统应支持接收 CSV 或 JSON 格式的 IOC 数据集。 ### FR-2：日志解析 - 系统应解析每种受支持的输入格式。 - 系统应提取相关的安全属性。 - 系统应将所有事件标准化为通用的 JSON 结构。 ### FR-3：检测引擎 - 系统应分析标准化后的事件。 - 系统应使用自定义检测规则检测可疑活动。 - 系统应为检测到的事件分配严重性级别。 ### FR-4：IOC 匹配 - 系统应将提取的指标与 IOC 数据集进行比较。 - 系统应识别恶意 IP 地址。 - 系统应识别恶意域名。 - 系统应识别恶意 URL。 - 系统应识别恶意文件哈希。 ### FR-5：MITRE ATT&CK 映射 - 系统应将每个检测映射到相应的 MITRE ATT&CK 战术。 - 系统应将每个检测映射到相应的 ATT&CK 技术。 ### FR-6：威胁狩猎 - 系统应允许搜索历史日志。 - 系统应识别相似的攻击者行为。 - 系统应构建调查时间线。 ### FR-7：事件报告 - 系统应生成调查报告。 - 报告应包含证据。 - 报告应包含 IOC 匹配项。 - 报告应包含 MITRE 映射。 - 报告应包含建议的响应措施。 ### FR-8：仪表板 - 系统应显示警报统计信息。 - 系统应显示严重性分布。 - 系统应显示 MITRE ATT&CK 覆盖情况。 - 系统应显示调查摘要。 ## 非功能需求 - 平台应为模块化且易于扩展。 - 平台应能在 macOS 上运行。 - 平台的运行应无需部署实时 SIEM。 - 平台应能处理公开可用的安全数据集。 - 平台应生成 HTML、JSON 和 CSV 格式的报告。 - 平台应提供轻量级的 Streamlit 仪表板。 - 平台应使用 SQLite 进行本地存储。 - 平台应保持一致的内部事件格式。

标签：Kubernetes, PKI安全, Python, SOC平台, 威胁情报, 安全运营, 库, 应急响应, 开发者工具, 扫描框架, 无后门, 逆向工具