epoch-research/eci-public

# ECI: Epoch Capabilities Index 本包用于拟合 ECI 模型， ``` performance = sigmoid(discriminability * (capability - difficulty)) ``` 到基准测试分数表，从而估计： - **ECI 分数**：每个模型一个能力分数 - **EDI 分数**：每个基准测试一个难度分数 - **区分度**：每个基准测试一个斜率，控制分数随能力提升而增长的 陡峭程度 有关方法论的详细信息，请参见： - **论文**：[A Rosetta Stone for AI Benchmarks](https://arxiv.org/abs/2512.00193) - **网站**：[Epoch Capabilities Index](https://epoch.ai/benchmarks/eci#overview) ## 安装 ``` git clone https://github.com/epoch-research/eci-public.git cd eci-public pip install -e . ``` ## 用法 ### 命令行 ``` # 拟合 model 并将结果保存到 outputs/ python scripts/fit_eci.py # 使用较少的 bootstrap samples 以实现更快的运行 python scripts/fit_eci.py --bootstrap-samples 100 # 使用数值 Jacobian (较慢) python scripts/fit_eci.py --numeric-jacobian ``` ### Python API ``` from eci import load_benchmark_data, fit_eci_model df = load_benchmark_data("https://epoch.ai/data/eci_benchmarks.csv") eci_df, edi_df, draws = fit_eci_model(df, bootstrap_samples=100) print(eci_df[["Model", "eci", "eci_ci_low", "eci_ci_high"]].head(10)) ``` 所有结果均在 ECI 标度上返回，该标度由两个锚定模型定义 （Claude 3.5 Sonnet = 130，GPT-5 = 150）： - `eci_df`：每个模型的 `eci` 及其置信区间。 - `edi_df`：每个基准测试的难度（`edi`）及其以 ECI 单位表示的斜率 （`discriminability_scaled`），两者均带有置信区间。它们共同 描绘了基准测试的拟合曲线：模型的预测分数为 `sigmoid(discriminability_scaled * (eci - edi))`。 - `draws`：缩放后的 bootstrap 抽样（模型 ECI、基准测试难度 和斜率）以及每次抽样的缩放变换。 置信区间是 bootstrap 抽样的分位数，每次抽样都通过其 自身的缩放变换重新锚定，使得锚定模型在每次 抽样中都精确位于 130/150；锚定模型本身的置信区间为 NaN，因为它们在定义上已被固定。 Bootstrap 重采样会固定模型集合，并对每个 模型的基准测试结果进行有放回重采样。任何无法收敛的拟合——无论是中心拟合还是 bootstrap—— 或者其锚定能力重合或倒置（从而无法定义标度）的拟合，都会抛出异常。 锚定模型名称将与输入数据的 `Model` 列进行匹配； 在上游重命名这些模型需要显式传递新名称 （如果缺少锚定模型，拟合过程会明确报错）。 ## 运行测试 ``` pip install -e ".[dev]" pytest ``` ## 引用 ``` @article{ho2025rosetta, title={A Rosetta Stone for AI Benchmarks}, author={Ho, Anson and Denain, Jean-Stanislas and Atanasov, David and Albanie, Samuel and Shah, Rohin}, journal={arXiv preprint arXiv:2512.00193}, year={2025} } ``` ## 许可证 MIT

标签：Apex, Python, 人工智能, 大模型评估, 安全规则引擎, 无后门, 机器学习, 用户模式Hook绕过, 逆向工具