LucioFex/security-data-lake-lab

# 🌊 Security Data Lake — 威胁情报交互式指南 **[→ 查看在线指南 (GitHub Pages)](https://luciofex.github.io/datalake-threat-intelligence/)** 一份面向**威胁情报**主管和团队的双语 (ES/EN) 交互式指南， 专为那些从纯本地部署环境（如 ArcSight 这类 SIEM、Python 脚本）转型而来， 希望客观、实在地了解（拒绝营销噱头）以下内容的人群打造： - 什么是 **data lake**、什么是 **data warehouse**、什么是 **lakehouse** —— 以及它们不是什么。 - *security data lake* 在威胁情报中有哪些**真实用例** （IOC 的 retro-hunting、低成本长期留存、多源关联、detection-as-code）。 - **何时不适合使用** —— 因为你的 SIEM 可能已经足够了，指出这一点也是本指南的一部分。 - 如何**稳妥地**起步：crawl → walk → run 路线图，云平台无关（GCP / AWS / Azure / open source）。 ## 🧪 实验室 该页面包含一个**在浏览器中运行的迷你 data lake**（编译为 WebAssembly 的 DuckDB）： 包含来自虚构 SOC 的 6 个合成数据集（auth、firewall、EDR、IOC feed、CMDB、漏洞）， 其中隐藏着一个**入侵故事**供你用 SQL 进行追踪 —— 钓鱼、C2 beaconing、 凭证转储和横向移动。无需安装任何软件，数据也不会离开你的计算机。 这些相同的查询也可作为**Python 实用手册**在本地运行： ``` git clone https://github.com/LucioFex/datalake-threat-intelligence.git cd datalake-threat-intelligence pip install duckdb python lab/recetas/01_explorar_el_lake.py ``` | 方案 | 展示的概念 | |---|---| | `01_explorar_el_lake.py` | Schema-on-read：在读取时应用 schema，而不是在写入时 | | `02_hunting_con_iocs.py` | Retro-hunting：将历史数据与 IOC feed 进行交叉比对 | | `03_detectar_beaconing.py` | Analytics 与规则对比：使用 window functions 检测 C2 | | `04_priorizar_con_contexto.py` | 富化：通过 JOIN 结合 EDR + CMDB + 漏洞数据 | | `05_csv_a_parquet.py` | 为什么 data lake 使用列式存储格式 (Parquet) | 可以使用 `python lab/generate_datasets.py` 重新生成数据（确定性生成，固定的 seed）。 ## 🔒 关于数据 所有内容均为 **100% 合成数据**：使用文档保留范围的 IP (RFC 5737)、示例域名 (RFC 2606)，以及虚构的主机、用户、哈希和威胁行为者。不包含任何 来自真实组织的信息。 ## ✍️ 作者 由 **Luciano Esteban** —— 网络安全架构师 —— 创建，作为开放的教育资料， 提供给任何正在考虑从本地部署向规模化数据分析转型的安全团队。 MIT 许可证。

标签：AI工具, DuckDB, IP 地址批量处理, PE 加载器, WebAssembly, 交互式教程, 代码示例, 入侵检测系统, 后端开发, 多线程, 威胁情报, 安全数据湖, 开发者工具, 数据分析, 逆向工具