LuxxxLucy/pi-benchmark

GitHub: LuxxxLucy/pi-benchmark

一套用于评估提示注入分类器准确性与延迟的基准测试工具。

Stars: 0 | Forks: 0

# pi-benchmark 提示注入分类器评估 + 延迟基准测试。 ## 工具 - **`scripts/run_benchmark.py`** — 在分类器 × 数据集上的准确率流水线。参见 `config.yaml` 获取矩阵配置。需要在仓库根目录完成完整环境设置(`uv sync`)。 - **`latency_cuda/`** — 针对 Linux + CUDA 的独立 **延迟** 基准测试:包含 15 个轻量级分类器候选(4 个家族,参数规模 4.4M–86M),覆盖令牌长度扫描范围。它拥有独立的 uv 项目,因此 Ubuntu/CUDA 环境配置只需执行 `cd latency_cuda && uv sync && bash run.sh`。详见 `latency_cuda/README.md`。 ## 共享代码 `bench_common.py` 位于仓库根目录,提供 CPU 延迟流程(`latency_bench.py`)与新 CUDA 流程(`latency_cuda/src/bench.py`)共享的原语,包括 `FILL_TEXT`、`percentile`、`make_input`、`get_max_pos`、`get_disk_size_mb`。
标签:CUDA, GPU推理, Python, SEO: 分类器比较, SEO: 基准评测, SEO: 提示注入检测, UV依赖管理, Vectored Exception Handling, YAML配置, 准确率, 分类器, 反取证, 安全评估, 延迟, 性能评测, 提示注入, 文本分类, 无后门, 流水线脚本, 百分位统计, 磁盘占用, 输入生成, 逆向工具, 集群管理