irfan129612-prog/Elasticsearch-Threat-Hunting-and-Observability-Engineer

# 🚀 Elastic Stack (ELK) 实验室 ## 📌 代码库概述 本代码库记录了我通过实践实验室学习和实施 Elastic Stack 生态系统的过程。 这些实验室从安装 Elasticsearch 开始，逐步构建一个完整的 SIEM 环境，能够实现日志收集、威胁检测、安全监控、可观测性以及仪表盘创建。 每个实验室包含： - 📖 实验摘要 - 🎯 目标 - 🖥️ 实验环境 - ⚙️ 逐步操作命令 - 📚 关键概念 - 📸 截图 - ✅ 结果 - 🧠 掌握技能 # 🎯 学习目标 通过完成这些实验室，我学会了： - 安装和配置 Elasticsearch - 配置 Kibana - 使用 Beats 收集日志 - 使用 Logstash 解析数据 - 构建 Elasticsearch pipeline - 创建仪表盘和可视化 - 执行 Threat Hunting - 创建检测规则 - 配置告警 - 使用 Elastic Security - 理解 ECS - 使用 APM 和可观测性 - 优化 Elasticsearch 性能 - 构建完整的 SIEM 工作流 # 🛠️ 使用的技术 - Elasticsearch - Kibana - Logstash - Filebeat - Metricbeat - Packetbeat - Heartbeat - Elastic Security (SIEM) - Elastic Agent - ECS (Elastic Common Schema) - KQL - EQL - ILM - APM - Canvas - Lens - Watcher - Ubuntu Linux # 📚 实验索引 ## 模块 01 — Elasticsearch 基础 - ✅ 实验 01 – 安装 Elasticsearch - ✅ 实验 02 – 安装 Kibana - ✅ 实验 03 – Elasticsearch 基础查询 - ✅ 实验 04 – 加载示例日志数据 - ✅ 实验 05 – 理解 Indices、Shards 和 Replicas ## 模块 02 — Kibana 基础 - ✅ 实验 06 – Kibana Discover 基础用法 - ✅ 实验 07 – 创建 Index Pattern - ✅ 实验 08 – 使用 Kibana Lens 进行基础可视化 - ✅ 实验 09 – 构建简单的 Kibana 仪表盘 ## 模块 03 — Elastic Beats - ✅ 实验 10 – Filebeat 简介 - ✅ 实验 11 – Metricbeat 简介 - ✅ 实验 12 – Packetbeat 简介 - ✅ 实验 13 – Heartbeat 简介 - ✅ 实验 14 – 使用 Filebeat 添加 Syslog 数据 ## 模块 04 — 数据处理 - ✅ 实验 15 – 使用 Logstash Grok 解析数据 - ✅ 实验 16 – Ingest Node Pipelines - ✅ 实验 17 – Field Mappings 与 ECS - ✅ 实验 18 – 创建自定义 ECS Pipeline - ✅ 实验 19 – 使用 Index Lifecycle Management (ILM) 进行数据保留 ## 模块 05 — Elastic Security (SIEM) - ✅ 实验 20 – Elasticsearch 安全基础 - ✅ 实验 21 – Elastic Security App 简介 - ✅ 实验 22 – 主机概览 - ✅ 实验 23 – 网络概览 - ✅ 实验 24 – 构建调查时间线 - ✅ 实验 25 – 使用 KQL 进行 Threat Hunting - ✅ 实验 26 – 检测规则简介 - ✅ 实验 27 – 自定义检测规则 - ✅ 实验 28 – 告警与操作 - ✅ 实验 29 – 机器学习基础 ## 模块 06 — 可观测性 - ✅ 实验 30 – 可观测性概览 - ✅ 实验 31 – Logs UI - ✅ 实验 32 – Metrics UI - ✅ 实验 33 – APM 基础 - ✅ 实验 34 – Service Map 可视化 - ✅ 实验 35 – 合成监控 - ✅ 实验 36 – 分布式追踪 ## 模块 07 — 仪表盘与可视化 - ✅ 实验 37 – 自定义 Threat Hunting 可视化 - ✅ 实验 38 – Kibana Canvas - ✅ 实验 39 – 历史威胁分析 - ✅ 实验 40 – 导出与共享仪表盘 - ✅ 实验 41 – 随时间变化的趋势分析 ## 模块 08 — Elasticsearch 进阶 - ✅ 实验 42 – 使用 Watcher 进行告警 - ✅ 实验 43 – 基础版与白金版功能对比 - ✅ 实验 44 – Index Patterns 与字段自定义 - ✅ 实验 45 – GeoIP Threat Hunting - ✅ 实验 46 – Event Query Language (EQL) - ✅ 实验 47 – Elasticsearch 性能 - ✅ 实验 48 – 处理海量日志 ## 模块 09 — SIEM 最终项目 - ✅ 实验 49 – 实验室规模的威胁模拟 - ✅ 实验 50 – 最终的可观测性与 Threat Hunting 仪表盘 # 📂 代码库结构 ``` Elastic-Stack-Labs/ │ ├── Lab-01-Installing-Elasticsearch/ ├── Lab-02-Installing-Kibana/ ├── Lab-03-Basic-Elasticsearch-Querying/ ├── Lab-04-Loading-Sample-Log-Data/ │ ├── ... │ ├── Lab-50-Final-Observability-Threat-Hunting-Dashboard/ │ └── README.md ``` # 🧠 展示的技能 - Elasticsearch 管理 - Kibana 仪表盘开发 - SIEM 运营 - 日志管理 - Threat Hunting - 检测工程 - Linux 管理 - Logstash Pipelines - Beats 配置 - 安全监控 - 可观测性 - 事件调查 - 数据可视化 - 性能优化 - Elastic Stack 管理 # 🎓 学习成果 完成这些实验室后，我在部署和管理 Elastic Stack 以实现集中式日志记录、安全监控、可观测性、Threat Hunting 以及仪表盘开发方面获得了实践经验。本代码库展示了在 Elasticsearch 管理、Kibana 可视化、Beats 数据收集、Logstash 处理、Elastic Security 以及 SIEM 运营方面的实际动手技能。 ## ⭐ 代码库状态 **进度：** 🟢 进行中 / 持续更新中 随着我 Elastic Stack 学习之旅的继续，将添加新的实验室和改进。

标签：API集成, Elastic Stack, ELK, 内容过滤, 可观测性, 教程, 流量重放, 越狱测试