Warp Parse

Warp Parse 是一个高性能的 Rust ETL 引擎，专为可观测性、安全、实时风控和数据平台团队打造。它专注于日志/遥测数据的接入、解析和转换，提供极致吞吐量的解析（WPL）、转换（OML）、路由、统一的连接器 API 以及简化的运维体验。 ## ✨ 核心特性 - **🚀 极致吞吐：** 在多种场景下，EPS（每秒事件数）显著超越 Vector，在固定速率和大日志等核心场景中具有 2~6 倍的性能优势（参见[性能报告](https://github.com/wp-labs/wp-examples/tree/main/benchmark/report)）。 - **📝 可读性强的规则：** 自主研发的 WPL（Parse DSL）+ OML（Transform DSL）与正则表达式和 Lua 脚本相比，提供了极高的可读性和可维护性。 - **🔌 统一连接器：** 基于标准化的 `wp-connector-api` 接口设计，使社区开发者能够快速扩展多源日志连接器生态。 - **🛠️ 运维友好：** 单一二进制文件部署，完全基于配置进行管理；包含 `wproj`、`wpgen`、`wprescue` 工具套件以降低运维成本。 - **🧠 知识转换：** 内置内存数据库支持实时 SQL 查询，用于日志数据字段富化和关联分析。 - **🎯 数据路由：** 基于规则引擎和转换模型的灵活路由，支持多路径数据复制、精确过滤和目标分发。 ## 性能 WarpParse VS Vector、LogStash [报告](https://github.com/wp-labs/wp-examples/tree/main/benchmark/report)

## 安装说明 ``` ## 稳定版 curl -sSf https://get.warpparse.ai/inst-x.sh | bash -s -- wparse ## 验证版 curl -sSf https://get.warpparse.ai/inst-x.sh | bash -s -- wparse beta ## 开发版 curl -sSf https://get.warpparse.ai/inst-x.sh | bash -s -- wparse alpha ## 安装 wp-skills curl -sSf https://get.warpparse.ai/inst-x.sh | bash -s -- wp-skills ``` ## 运行时管理 Warp Parse 目前仅支持在 daemon 模式下进行运行时管理操作。 - 使用指南：[docs/ENGINE_ADMIN_USAGE.md](docs/ENGINE_ADMIN_USAGE.md) - 状态查询：`cargo run --bin wproj -- engine status --work-root .` - 触发重载：`cargo run --bin wproj -- engine reload --work-root . --reason "manual reload"` 要启用 admin API，请在 `conf/wparse.toml` 中配置 `[admin_api]`，创建 `${HOME}/.warp_parse/admin_api.token`，并启动： ``` cargo run --bin wparse -- daemon --work-root . ``` ## 📄 License **WarpParse 核心引擎及配套工具链（包括 WPL/OML 解析器、wp-connector-api、工具套件等）均采用 Apache License 2.0 授权。** 您可以自由使用、修改和分发本项目的源代码及衍生作品。嵌入闭源商业产品时，您无需开源您的专有业务代码；分发修改后的衍生作品时，您必须保留此许可证声明和版权信息。 详情请参阅仓库根目录下的 [LICENSE](LICENSE) 文件。 # Warp Parse（中文版）

高性能 Rust ETL 引擎，专为极致日志处理而设计

面向可观测性、安全、实时风控、数据平台团队的高性能 ETL 引擎，专注于日志/事件接入、解析与转换，提供高吞吐解析（WPL）、转换（OML）、路由、统一连接器 API 及极简运维体验。 ## ✨ 核心特性 - **🚀 极致吞吐：** 多场景下 EPS（事件处理速率）全面超越 Vector，固定速率/大日志等核心场景性能优势达 2~6 倍（详见[性能测试报告](https://github.com/wp-labs/wp-examples/tree/main/benchmark/report)）。 - **📝 规则易编写：** 自研 WPL（解析 DSL）+ OML（转换 DSL），可读性、可维护性远超正则表达式与 Lua 脚本。 - **🔌 连接器统一：** 基于 `wp-connector-api` 标准化接口设计，支持社区开发者快速扩展多源日志连接器生态。 - **🛠️ 运维友好：** 单二进制文件部署，全配置化管理；配套 `wproj`、`wpgen`、`wprescue` 工具套件，降低运维成本。 - **🧠 知识转换：** 内置内存数据库支持 SQL 实时查询，实现日志数据字段富化与关联分析。 - **🎯 数据路由：** 基于规则引擎与转换模型的灵活路由，支持多路数据复制、精准过滤与目标分发。 ## 📄 许可协议 **WarpParse 核心引擎及配套工具链（含 WPL/OML 解析器、wp-connector-api、工具套件等）均采用 Apache License 2.0 开源协议授权**。 你可自由使用、修改、分发本项目源码及衍生作品，嵌入闭源商业产品时无需开源自有业务代码；分发修改后的衍生作品时，需保留本协议声明及版权信息。 详情请参阅仓库根目录 [LICENSE](LICENSE) 文件。

标签：API集成, ETL, JavaCC, Rust, 可观测性, 可视化界面, 数据工程, 数据转换, 日志处理, 网络流量审计, 通知系统