SEPURI-SAI-KRISHNA/Data-engineering-projects

# 🛠️ 数据工程项目       这是一系列**端到端项目**的集合，旨在将杂乱、高吞吐量的数据转化为可靠、可查询的系统。每个项目都是独立且可运行的。 ## 📦 项目 ### 1. 流式 Lakehouse 平台 — [`streaming-lakehouse-platform/`](streaming-lakehouse-platform/) 一个完整的实时 lakehouse，按 **ingestion → processing → storage** 的结构组织，并使用 Docker 进行容器化。它能够接入事件流，进行处理，并将其落地到 lakehouse 中以供分析。 ### 2. 欺诈检测 — [`fraud-detection/`](fraud-detection/) 从交易流中检测**欺诈团伙**。内置了数据生成器（`datagen.py`）、处理 pipeline 以及一个仪表板——所有这些都可通过 `docker-compose` 运行。 ### 3. 数据提炼引擎 — [`Data_refinement_engine/`](Data_refinement_engine/) 通过应用用户自定义的**转换、验证和推导**，将**原始记录转化为精炼记录**——这是一个可配置的数据提炼层。 ### 4. Airflow 拖拽式构建器 — [`airflow_drag_drop/`](airflow_drag_drop/) 一个用于 Apache Airflow DAG 的**可视化、拖拽式构建器**——无需手写 DAG 代码即可组合 pipeline。 ### 5. Spark 模拟器 — [`spark_simulator/`](spark_simulator/) 一个轻量级的**模拟器**，用于实验和理解 Spark 的执行过程。请参阅其 `How-to-run.md`。 ## 🚀 快速开始 每个项目都是独立的——使用 `cd` 进入相应的项目文件夹，并按照其本地的 `README.md` / `How-to-run.md` 进行操作。大多数项目可以通过 `docker-compose up` 或单个 Python 入口点运行。 _{📂 这是我数据工程工作的一部分——欢迎在 **[sepuri-sai-krishna.pages.dev](https://sepuri-sai-krishna.pages.dev)** 探索更多内容 · 作者 [Sepuri Sai Krishna](https://github.com/SEPURI-SAI-KRISHNA)}

标签：Apache Airflow, Apache Spark, Kubernetes, Python, 反欺诈, 数据工程, 数据流水线, 无后门, 流处理, 湖仓一体, 请求拦截, 逆向工具