AbhigyanPratap007/Splunk-SOC-Monitoring-and-Detection-Engineering

**基于 Splunk Enterprise 的实时 Windows SOC 监控与检测工程** 这是一个基于 Splunk Enterprise 构建的端到端 Windows 安全运营项目，涵盖遥测数据接入、计划检测工程、告警验证、仪表板可视化、威胁狩猎、调查以及基于证据的案例结案。 该环境结合了真实的 Windows 遥测数据、安全可控的验证活动，以及明确标记的当前时间戳模拟。模拟事件绝不会呈现为真实的攻击。 项目概览 指标 结果 集中式遥测源 9 已验证的计划告警 7 仪表板 KPI 磁贴 6 结构化威胁狩猎 2 识别出的可疑 PowerShell 遥测记录 24 识别出的身份验证异常时间窗口 13 模拟的外部身份验证位置 6 已完成的正式调查 1 调查结论 良性真实告警 受调查登录后的后续可疑事件 0 核心成果 在 `soc_lab` 索引中集中了身份验证、进程创建、PowerShell、Defender、DNS、防火墙、系统和模拟的安全遥测数据。 开发并验证了七项计划检测，涵盖身份验证、PowerShell、恶意软件、端点和邮件安全场景。 构建了包含六个 KPI 的 Dashboard Studio SOC 视图，展示了身份验证趋势、事件类别分析、高风险活动表和模拟的源地理位置。 完成了两次基于假设的威胁狩猎，分别针对 PowerShell 和身份验证数据。 调查了一次失败后成功的身份验证序列，在确认了本地源、可控测试背景以及没有后续可疑活动后，将其作为良性真实告警结案。 保留了完整的证据组合和正式调查报告。 目录 构建本项目的原因 架构 环境与技术 遥测源 证据完整性模型 实施工作流 检测工程 Dashboard Studio 威胁狩猎 调查案例研究 验证方法论 运营决策与调优 核心 SPL 搜索 代码库结构 局限性 未来增强 证据与报告 结论 构建本项目的原因 目标不仅仅是收集 Windows 日志或创建视觉效果出众的告警。该项目旨在重现实用的 SOC 工作流，并回答五个运营问题： 能否将多个 Windows 和安全数据源集中到一个可搜索的 Splunk 索引中？ 能否将原始事件转化为具有明确运营目的的计划检测？ 能否通过关联分析而不是仅靠孤立事件来识别较高风险的行为序列？ 分析师能否在分流处理期间区分真实遥测、受控验证和完全模拟的事件？ 由此产生的证据能否支持仪表板、结构化威胁狩猎、调查以及合理有据的结案决定？ 因此，本项目遵循了完整的流程： 收集 → 规范化 → 检测 → 验证 → 可视化 → 狩猎 → 调查 → 记录 架构 flowchart LR A[Windows 安全日志] --> I[soc_lab 索引] B[PowerShell 运营日志] --> I C[Microsoft Defender 运营日志] --> I D[DNS 客户端 / 防火墙 / 应用程序 / 系统] --> I E[模拟 EDR JSON] --> I F[模拟邮件安全 JSON] --> I G[模拟外部身份验证 JSON] --> I ``` I --> J[Scheduled SPL Detections] I --> K[Dashboard Studio] I --> L[Threat-Hunting Searches] J --> M[Triggered Alerts] L --> N[Investigation Timeline] M --> N N --> O[Saved Splunk Report] O --> P[Final Disposition and Evidence Portfolio] ``` 数据流 原生 Windows 事件日志和受监控的 JSON/日志文件生成事件。 Splunk 持续将这些源摄取到 `soc_lab` 索引中。 搜索时字段和特定源的值支持 SPL 分析。 计划搜索识别阈值、行为和关联条件。 Dashboard Studio 提供跨数据的运营可见性。 威胁狩猎跨多个遥测源测试假设。 调查证据经过过滤、去重并作为报告保留。 最终处置基于证据，而不仅仅基于告警严重程度。 环境与技术 组件 实现 SIEM 本地安装的 Splunk Enterprise 端点 Windows 工作站 主索引 soc_lab 仪表板 Splunk Dashboard Studio 查询语言 Splunk 处理语言 (SPL) 原生遥测 Windows 事件日志和 Microsoft Defender 基于文件的遥测 持续监控的 JSON 和防火墙日志文件 验证 受控的 Windows 活动、良性的 PowerShell 测试和 EICAR 模拟 带有明确 simulation=true 标签的当前时间戳 JSON 事件 隐私声明：公开的屏幕截图和文档应在必要时对本地主机名和用户名进行匿名处理。本 README 中的示例侧重于检测逻辑，而非个人身份标识。 遥测源 项目中接入或使用了九个遥测源。 # 源 Splunk source / sourcetype 证据类别 安全目的 1 Windows 安全 WinEventLog:Security 真实的实时遥测 成功和失败的登录、进程创建 2 PowerShell 运营 WinEventLog:Microsoft-Windows-PowerShell/Operational 真实的实时遥测 脚本块日志记录，事件 ID 4104 3 Microsoft Defender 运营 WinEventLog:Microsoft-Windows-Windows Defender/Operational 真实的实时遥测 恶意软件检测，包括事件 ID 1116 4 DNS 客户端运营 Windows DNS 客户端日志 真实的实时遥测 DNS 可见性和狩猎上下文 5 Windows 防火墙 windows_firewall 真实的实时遥测 允许和丢弃的网络活动 6 应用程序和系统 Windows 事件日志 真实的实时遥测 辅助端点和服务上下文 7 EDR JSON soc_edr_json 模拟的，当前时间戳 严重程度高的端点场景 8 邮件安全 JSON soc_email_json 模拟的，当前时间戳 恶意附件场景 9 外部身份验证 JSON soc_external_auth_json 模拟的，持续追加 源 IP、账户和地理分析 遥测验证示例 index=soc_lab | stats count by source sourcetype | sort - count 此清单搜索确认事件正在到达预期的索引，并有助于识别缺失或意外安静的源。 证据完整性模型 一个核心要求是在三种类型的证据之间保持客观真实的区分。 1. 真实遥测 由 Windows、PowerShell、Microsoft Defender、DNS、防火墙、应用程序和系统日志通道记录的事件。 2. 受控验证 为了生成真实遥测并验证检测行为而专门执行的安全分析师操作，包括： 本地密码输入错误； 多次失败后的有效登录； 良性的 Base64 编码 PowerShell 输出； 对良性目标执行 Invoke-WebRequest； 使用标准 EICAR 测试文件进行 Microsoft Defender 验证。 3. 模拟遥测 表示 EDR、邮件安全和外部身份验证场景的当前时间戳 JSON 事件。这些事件被明确标记为模拟的，并且仅在缺乏生产数据源的情况下使用。 这种完整性模型可防止将实验室活动误报为真实的入侵，并使项目证据具有合理的依据。 实施工作流 阶段 1 — 索引和源接入 创建并使用专用的 `soc_lab` 索引。 接入了 Windows 安全、PowerShell 运营、Defender 运营、DNS 客户端、应用程序和系统遥测。 启用 Windows 防火墙文件日志记录，并使用 `windows_firewall` sourcetype 监控 `pfirewall.log`。 为模拟的 EDR、邮件安全和外部身份验证事件创建了持续监控的 JSON 文件。 阶段 2 — Windows 审计配置 端点已配置为提供检测开发所需的事件： 成功和失败的账户登录审计； 针对事件 ID 4688 的进程创建审计； 在进程创建事件中包含命令行； 针对事件 ID 4104 的 PowerShell 脚本块日志记录； Microsoft Defender 运营日志记录； DNS 客户端运营日志记录； Windows 防火墙日志记录。 阶段 3 — 搜索开发和验证 每项检测都遵循相同的生命周期： 定义运营问题。 识别所需的源和字段。 构建 SPL 搜索。 生成安全的测试事件。 确认预期的统计信息或事件结果。 将搜索保存为计划告警。 生成保存后的全新事件。 确认告警出现在“已触发告警”中。 阶段 4 — 仪表板展示 经验证的搜索被转化为由全局时间范围输入控制的 Dashboard Studio 面板。 阶段 5 — 威胁狩猎与调查 使用更广泛的搜索来识别单个告警执行之外的可疑模式。选择了一个身份验证序列进行正式调查和报告保留。 检测工程 开发并验证了七项计划告警。 告警 严重程度 运营目的 数据源 验证 相关 ATT&CK 上下文* SOC - 编码的 PowerShell 执行 中 识别使用 -EncodedCommand 启动的 PowerShell Security 4688 良性编码命令 T1059.001 — PowerShell SOC - PowerShell 下载活动 中 识别能够检索远程内容的 PowerShell 命令 PowerShell 4104 受控的 Invoke-WebRequest T1105 — 远程数据复制工具 SOC - 多次失败登录 中 检测需要审查的重复身份验证失败 Security 4625 受控的密码输入错误尝试 T1110 — 暴力破解 SOC - 失败后成功的登录 高 检测最终获得访问权限的可能猜测密码序列 Security 4624/4625 受控的失败后进行有效登录 T1110 / T1078 上下文 SOC - Microsoft Defender 恶意软件检测 高 呈现已确认的 Defender 恶意软件检测 Defender 1116 EICAR 测试文件 技术取决于检测到的威胁 SOC - 高严重性 EDR 检测 高 呈现新的高严重性端点告警 模拟的 EDR JSON 模拟的凭证转储告警 T1003 测试数据中的上下文 SOC - 恶意电子邮件附件 高 呈现已隔离的恶意附件检测 模拟的邮件 JSON 模拟的隔离附件 T1566.001 — 鱼叉式网络钓鱼附件 *ATT&CK 参考资料提供了分析上下文；它们本身并不能证明某种技术已被执行。 检测设计原则 每个告警都必须解决一个明确的运营问题。 搜索在计划之前经过了测试。 在保存后生成了一个新事件，以确认计划执行。 阈值保持简单、可解释和可重现。 仅在能提高分流价值时才添加关联。 模拟源保持可见的标签。 嘈杂的搜索被排除，而不是为了充数而保留。 触发告警验证 “已触发告警”视图确认了身份验证、PowerShell、Defender、EDR 和邮件安全搜索针对新生成的事件被触发。第七个失败后成功的关联告警是在截取此屏幕截图后单独验证的。 Dashboard Studio 仪表板标题 实时 Windows SOC 监控仪表板 时间范围策略 推荐默认值：过去 10 天 — 范围足够广以保留有意义的实验室活动，同时保持时间受限。 作品集屏幕截图：所有时间 — 透明地用于展示完整的项目历史。 每个运营面板都通过输入 → 全局时间范围进行连接。 KPI 磁贴 失败登录 成功登录 编码的 PowerShell Defender 恶意软件检测 高严重性 EDR 告警 恶意电子邮件附件 分析面板 面板 目的 随时间变化的身份验证活动 比较成功和失败的交互式登录活动 按类别的安全事件 比较跨真实和模拟源与告警相关的事件类别 近期高风险安全活动 呈现事件时间、类型、遥测类别、主机、用户、严重程度和详细信息 模拟的外部身份验证源 显示模拟失败的地理分布 热门模拟外部源 IP 按模拟失败尝试对源地址进行排名 受攻击最多的账户 — 模拟 按模拟身份验证活动针对的用户名进行排名 安全事件类别视图 此面板允许在选定的时间范围内快速比较失败的登录、编码的 PowerShell、Defender 恶意软件以及模拟的 EDR/邮件事件。 高风险活动表 该表特意包含了遥测分类，以便在分析过程中区分真实和模拟事件。 模拟外部身份验证地图 模拟数据集使用了保留的文档 IP 范围和手动分配的地理坐标。跨六个位置验证了十个新生成的事件： 悉尼 新加坡 法兰克福 纽约 东京 圣保罗 该地图演示了 Dashboard Studio 的地理空间分析，并不意味着真实攻击源自这些位置。 威胁狩猎 威胁狩猎是作为一种基于假设的活动进行的，而不是为了寻找预设的结果。 威胁狩猎 1 — 可疑的 PowerShell 活动 假设：PowerShell 可能已被用于编码执行或远程内容检索。 检查的数据： Windows 安全事件 ID 4688 PowerShell 运营事件 ID 4104 审查的指标： EncodedCommand Invoke-WebRequest DownloadString Start-BitsTransfer WebClient 结果： 24 条匹配的遥测事件 13 条编码的 PowerShell 遥测事件 11 条 PowerShell 下载遥测事件 编码活动出现在事件 4104 和 4688 中 下载活动通过事件 4104 被捕获 解释：这些是遥测记录，而不是 24 个独立的事件。单个受控操作可以在进程创建和脚本块日志记录源中生成多条记录。 结论：这次狩猎确认了多源可见性，并演示了如何跨 Windows 日志通道重建相同的活动。 威胁狩猎 2 — 身份验证异常 假设：重复的交互式登录失败，特别是当后来结合成功登录时，可能表明存在密码猜测或可能的账户被盗用。 检查的数据： 事件 ID 4625 — 登失败 事件 ID 4624 — 登录成功 登录类型 2 — 交互式 结果： 13 个可疑的十分钟身份验证时间窗口 在一个窗口中多达 8 次失败登录 多个失败后成功的序列 活动源自受控测试期间的本地环回地址 结论：将一个失败后成功的序列升级为正式调查，以演示证据处理、噪音移除和案例处置。 调查案例研究 案例详情 字段 值 调查 ID TH-2026-08-01-01 检测 SOC - 失败后成功的登录 初始严重程度 高 分类 身份验证异常 来源 本地环回地址 最终结论 良性真实告警 证据时间线 相对顺序 结果 来源 分析师解释 1 登录失败 本地环回 受控的无效密码尝试 2 登录失败 本地环回 受控的无效密码尝试 3 登录失败 本地环回 满足阈值条件 4 登录成功 本地环回 满足关联条件 调查行动 审查了关联结果并确认了失败后成功的序列。 过滤掉无关的 DWM-* 和 UMFD-* Windows 会话活动。 从证据时间线中删除了重复的成功登录记录。 确认账户和来源在相关事件中保持一致。 审查了成功登录后的十分钟内的： 编码的 PowerShell 执行； 可疑的 PowerShell 下载活动； Microsoft Defender 恶意软件检测。 确认匹配的后续可疑事件为零。 确认该序列是在授权的受控测试期间生成的。 将清理后的时间线保存为可重用的 Splunk 报告。 评估 该告警与检测逻辑完全匹配，但不代表未经授权的访问。本地环回源、已知的测试环境以及缺乏后续恶意行为支持了良性的结论。 结论 良性真实告警 — 授权的受控验证。 无需进行账户重置、主机隔离、防火墙阻断或恶意软件移除操作。 验证方法论 检测领域 验证技术 生成的证据 安全分类 多次失败的登录 本地密码输入错误尝试 真实的事件 ID 4625 遥测 受控且安全 失败后成功 错误的尝试后进行有效登录 真实的 4625/4624 序列 受控且安全 编码的 PowerShell 良性的 Base64 编码输出命令 真实的事件 ID 4688 和 4104 遥测 受控且安全 PowerShell 下载 对良性站点的 Invoke-WebRequest 真实的事件 ID 4104 遥测 受控且安全 Defender 恶意软件 标准 EICAR 防病毒测试文件 真实的 Defender 事件 ID 1116 行业标准安全测试 高严重性 EDR 当前时间戳 JSON 记录 模拟端点告警 完全模拟 恶意电子邮件 当前时间戳 JSON 记录 模拟的隔离附件 完全模拟 外部身份验证 保留的 IP 和手动坐标 模拟的失败身份验证事件 完全模拟 保存后测试的重要性 手动返回结果的搜索并不能证明计划告警可用。因此，每个告警都进行了两次验证： 手动验证，以确认 SPL 逻辑； 保存后，使用全新事件和“已触发告警”视图。 这将正常运作的计划检测与静态的作品集搜索区分开来。 运营决策与调优 专业的检测工程还需要决定不对哪些内容发出告警。 特意排除了防火墙丢弃告警 防火墙数据集包含丢弃的流量，但检查表明其中大部分由 DHCP、NetBIOS 和本地广播活动组成。通用的丢弃计数告警会产生噪音，而没有有意义的分流价值。相反，防火墙遥测被保留用于基线分析和狩猎。 推迟了 DNS 告警 DNS 遥测已成功大量摄取，事件 ID 3008 在 message 字段中包含查询详细信息。然而，在没有可靠的进程级归属的情况下，广泛的 DNS 告警将难以进行分流，并且容易产生误报。DNS 仍可用于仪表板和狩猎，而不是成为一个薄弱的检测。 移除了身份验证服务登录噪音 最初的关联搜索浮现了 Windows 服务登录。将搜索限制为交互式登录类型 2 移除了无关的登录类型 5 活动，并提高了分析精度。 修正了关联逻辑 第一次失败后成功的搜索聚合了整个时间窗口，可能会受到之前成功登录的影响。它被替换为顺序 `streamstats` 逻辑，该逻辑计算失败次数并在成功后重置，更好地表示了预期的事件顺序。 推迟了 Sysmon Sysmon 已安装，但本地服务不稳定。该项目没有声称覆盖范围不可靠，而是继续使用原生的 Windows 安全和 PowerShell 遥测。Sysmon 仍然是一个记录在案的增强功能。 核心 SPL 搜索 以下搜索代表了核心检测和狩猎逻辑。字段名称可能因 Splunk 版本和 Windows 事件渲染配置而异，因此在投入生产使用之前，应根据本地环境对它们进行验证。

1. 编码的 PowerShell 执行

index=soc_lab sourcetype="WinEventLog:Security" EventCode=4688 New_Process_Name="*\\powershell.exe" Process_Command_Line="*-EncodedCommand*" 目的：检测包含 `-EncodedCommand` 参数的 PowerShell 进程创建。

2. PowerShell 下载活动

index=soc_lab source="WinEventLog:Microsoft-Windows-PowerShell/Operational" EventCode=4104 (Message="*Invoke-WebRequest*" OR Message="*DownloadString*" OR Message="*Start-BitsTransfer*" OR Message="*WebClient*") | table _time host Message 目的：识别包含常见远程内容检索方法的脚本块。这些命令是双用途的，需要结合上下文进行分流。

3. 多次失败的登录

index=soc_lab sourcetype="WinEventLog:Security" EventCode=4625 | eval target_user=mvindex(Account_Name,-1) | stats count values(Failure_Reason) AS failure_reason earliest(_time) AS first_seen latest(_time) AS last_seen by Source_Network_Address target_user | where count>=3 | convert ctime(first_seen) ctime(last_seen) 目的：识别在选定的搜索时间窗口中产生至少三次登录失败的来源和账户。

4. 失败后成功的登录

index=soc_lab sourcetype="WinEventLog:Security" (EventCode=4624 OR EventCode=4625) Logon_Type=2 | eval target_user=mvindex(Account_Name,-1) | sort 0 target_user Source_Network_Address _time | streamstats count(eval(EventCode=4625)) AS failed_count by target_user Source_Network_Address reset_after="(EventCode=4624)" | where EventCode=4624 AND failed_count>=3 | table _time target_user Source_Network_Address failed_count 目的：识别一种顺序身份验证模式，其中同一账户和来源在多次失败之后伴随着交互式成功登录。

5. Microsoft Defender 恶意软件检测

index=soc_lab source="WinEventLog:Microsoft-Windows-Windows Defender/Operational" EventCode=1116 目的：呈现 Defender 恶意软件检测事件。

6. 高严重性模拟 EDR 告警

index=soc_lab sourcetype="soc_edr_json" severity="high" status="new" 目的：使用明确标记的模拟数据验证高严重性端点告警处理。

7. 模拟的恶意电子邮件附件

index=soc_lab sourcetype="soc_email_json" detection="Malicious Attachment" delivery_action="quarantined" 目的：使用模拟的隔离附件事件验证邮件安全告警处理。

8. 随时间变化的身份验证活动

index=soc_lab sourcetype="WinEventLog:Security" (EventCode=4624 OR EventCode=4625) | where EventCode=4625 OR (EventCode=4624 AND Logon_Type=2) | eval outcome=if(EventCode=4625,"Failed","Successful") | timechart span=1h count by outcome 目的：比较随时间变化的成功交互式登录和失败登录。

9. 可疑的 PowerShell 威胁狩猎

index=soc_lab ( (source="WinEventLog:Microsoft-Windows-PowerShell/Operational" EventCode=4104) OR (sourcetype="WinEventLog:Security" EventCode=4688 New_Process_Name="*\\powershell.exe") ) | eval activity=case( EventCode=4104, "PowerShell Script Block", EventCode=4688, "PowerShell Process" ) | eval command=coalesce(Process_Command_Line, Message) | search command="*EncodedCommand*" OR command="*Invoke-WebRequest*" OR command="*DownloadString*" OR command="*Start-BitsTransfer*" OR command="*WebClient*" | table _time host activity command | sort - _time

10. 身份验证异常狩猎

index=soc_lab sourcetype="WinEventLog:Security" (EventCode=4624 OR EventCode=4625) Logon_Type=2 | eval target_user=mvindex(Account_Name,-1) | bin _time span=10m | stats count(eval(EventCode=4625)) AS failed_logins count(eval(EventCode=4624)) AS successful_logins values(Failure_Reason) AS failure_reasons by _time target_user Source_Network_Address | where failed_logins>=3 OR (failed_logins>0 AND successful_logins>0) | sort - _time

11. 模拟的外部身份验证地图

index=soc_lab sourcetype="soc_external_auth_json" event_type="external_authentication" simulation=true | geostats latfield=latitude longfield=longitude count AS failed_attempts 目的：使用提供的纬度和经度值可视化明确模拟的身份验证来源。

代码库结构 Splunk_Windows_SOC_GitHub/ ├── README.md ├── detections/ │ └── SPL_Detection_Catalogue.md └── docs/ ├── evidence/ │ └── Splunk_SOC_Evidence_Portfolio.pdf ├── reports/ │ └── TH-2026-08-01-01.md └── screenshots/ ├── 01-soc-dashboard-overview.png ├── 02-security-events-by-category.png ├── 03-high-risk-activity-table.png ├── 04-simulated-authentication-map.png ├── 05-triggered-alerts.png ├── 06-powershell-hunt-summary.png ├── 07-authentication-hunt.png ├── 08-investigation-timeline.png └── 09-saved-investigation-report.png 局限性 该环境使用一个 Windows 端点，而不是多主机企业架构。 未包含 Sysmon，因为本地服务不稳定。 模拟的 EDR、邮件安全和外部身份数据不能替代生产环境的集成。 本地验证活动可以为一个操作创建多个支持性的遥测记录。 仪表板计数取决于选定的全局时间范围，并包括受控测试。 Splunk Enterprise 试用版到期可能会停止计划告警的执行。 外部身份验证的地理位置值是手动分配的，而不是 IP 富化的结果。 该项目未实施自动化的遏制、编排或企业案例管理的集成。 未来增强 恢复 Sysmon 用于进程祖先、哈希和网络连接遥测。 在验证完成后添加基于实体的节流和抑制。 引入账户、主机和源的风险评分。 集成 Microsoft Defender for Endpoint 或其他真实的 EDR 源。 集成 Microsoft 365 Defender 或安全的电子邮件网关。 将监控扩展到多个 Windows 端点和集中的身份日志。 添加公共 IP 信誉和自动的地理定位富化。 添加调查状态、分析师笔记和案例管理字段。 添加检测即代码的版本控制和自动化的 SPL 测试。 添加适合生产环境的数据保留、数据模型和基于角色的访问设计。 证据与报告 完整的 Splunk SOC 证据组合 正式调查报告 — TH-2026-08-01-01 证据组合包含完整的按时间顺序排列的屏幕截图记录，随后是单独的关键证据深入分析，详细解释了目的、发现和运营影响。 安全与道德使用 仅在您拥有或获得授权测试的系统中使用此项目。 使用安全的验证方法和行业标准测试工件。 不要将模拟活动表示为真实攻击。 将保留的文档 IP 范围用于模拟的公共源数据。 在发布屏幕截图之前，移除或匿名化个人身份标识。 将 ATT&CK 映射视为调查上下文，而不是确定的归属。 结论 该项目在 Splunk Enterprise 中建立了完整的 Windows SOC 监控工作流。它通过结合数据接入、检测开发、计划告警验证、行为关联、Dashboard Studio 可视化、威胁狩猎、调查以及基于证据的结案，超越了孤立的搜索。 最重要的成果不仅仅是创建了七个警。而是展示了能够解释告警为何触发、验证底层遥测、消除噪音、区分受控或模拟事件与真实风险、调查后续行为并记录合理的最终处置的能力。

标签：AI合规, Homebrew安装, 安全运营中心, 终端安全, 网络映射, 自定义DNS解析器