jonathascordeiro20/bioma-framework

## 30 秒简介 每次 LLM 应用进行新一轮对话时，它都会**重新发送整个会话**——模型在调用之间不保留任何 状态。在实际的 agent 会话中，重新发送的历史记录占到了 **50-60% 的 token 费用**，并且每次轮询 都会增加。Token 消耗金钱、延迟和**能源**——而且越来越多地涉及到一家公司在法律上有义务披露的 碳排放数据。 **B.I.O.M.A. 会在进程内删除这些无效负载。** 一个约 500 行代码的 Rust 内核应用了 *context apoptosis*—— 类别感知的半衰期衰减机制，它会丢弃过时的历史记录并保留重要内容——耗时约 **1 微秒**， **无需模型、不重写 prompt 且不破坏 prompt 缓存**。你依然保留你的提供商、SDK 和密钥。 然后它做了一件没有其他工具做的事：它将测量到的节省量转化为一个**带有签名的、防篡改的 碳排放账本**，外部审计员无需信任你即可进行验证。 ## 它是如何工作的 —— 通俗易懂版 **把它想象成对话的编辑器。** 在每条消息发送给 AI 之前，B.I.O.M.A. 会修剪掉 不再重要的聊天历史部分——就像你在转发一封长邮件之前，会把它精简为一条相关的回复一样。你会得到 **完全相同的答案**；你只是不再为每一轮重新发送整个线程而买单。

1. **问题所在** —— AI 模型在消息之间不记住任何内容，所以你的应用每次都会重新发送*整个* 会话。在实际会话中，其中 50-60% 都是无用的冗余信息，只会增加账单费用。 2. **B.I.O.M.A.** —— 一个位于你应用内部的极快微小组件，会在大约百万分之一秒内删除过时的历史记录， 同时保留系统指令和实际相关的内容。修剪过程不涉及任何 AI 模型； 你的提供商、密钥和代码都保持完全不变。 3. **发送的内容** —— 一个精简干净的 payload。模型会完全按照原来的方式回答——你只需 为发送一个段落而不是整个线程付费。 因为如果无法证明，这一切就毫无意义，所以 B.I.O.M.A. 会记录每次修剪，并生成一份关于节省的 token、成本和碳排放的 **数字签名报告**——第三方（审计员、记者、监管机构）无需你的单方面说辞即可验证。 ## 数据说话 —— 全部经过测量，全部可复现 来自配对的 A/B 基准测试：**8 个模型 × 30 项编码任务 × 3 次重复 = 1,440 次真实 API 调用。** 原始数据、代码和图表位于 [`benchmarks/ab-claude-code`](benchmarks/ab-claude-code/results/RESULTS.md)。 | | | |---|---| | 🔻 **−84.7%** 输入 token 中位数 | 覆盖全部 8 个模型 (Wilcoxon p ≈ 1.7e-16) | | ✅ **质量无损** | 配对成功率 81.2% → 81.9% | | 💸 **对比免费 prompt 缓存降低 42%** | 在原生缓存基础上测量得出，而非取代它 | | 📈 **携带的 token 减少 5.2–5.5 倍** | 适用于缓存无法发挥作用的持续增长的对话 | | ⚡ **每次修剪决策约 1 µs** | Rust 内核，无需辅助模型 | | 🔒 **签名且可验证** | 第三方可核查的碳排放/成本账本 | ## 直观展示 **一个护盾，保护所有模型。** 每个任务的输入 token 中位数，基线 vs BIOMA：  **“但是原生缓存是免费的——为什么还要用它？”** 我们将其作为一个单独的实验进行了运行。BIOMA 在缓存*之上*依然更便宜， 并且在旗舰模型上，它在**每一个**会话长度下都胜出：  **真实会话会增长。** 缓存会降低历史记录的价格，但模型仍然*携带*着它。 Apoptosis 让其保持有界——当基线曲线攀升时，BIOMA 的曲线确实向下弯曲了：  *(我们还发布了这张图表以阻止夸大的标题——节省的程度取决于你的上下文有多陈旧—— 这样你就可以定位自己的工作负载，而不是盲目相信某一个数字： [`reduction_by_stale_ratio.png`](benchmarks/ab-claude-code/results/charts/reduction_by_stale_ratio.png).)* ## 它的与众不同之处 - **仅执行删除，架构上即缓存安全。** 存活下来的前缀保持字节一致，因此你的 提供商的 prompt 缓存依然有效。神经 prompt 压缩器会*重写* prompt 并破坏缓存； 而 BIOMA 则能与缓存完美配合。 - **本地化且与提供商无关。** 100% 在进程内运行。在这里硬化 payload，然后分发到 **Anthropic、Google、OpenAI**——或任何其他平台——并使用*你自己的* SDK。无需向 SaaS 发送任何内容。 - **默认诚实。** 每个请求都会写入一条 JSONL 审计记录（前后的 token 数、剔除的内容、 内核执行微秒数）。我们记录了它*失效*的场景：面对已经管理好上下文的 agent 时，它是一个正确的空操作； 在陈旧内容较少的上下文中，它的节省幅度较小。 ## 可审计的碳排放账本 如果第三方无法验证，那么关于碳排放或成本的声明就毫无价值。因此，节省的数据会以一个 **带有签名的、防篡改的账本**形式提供： ``` pip install "bioma-framework[ledger]" bioma-carbon-ledger keygen --out issuer # Ed25519 keypair bioma-carbon-ledger build bioma_gateway_audit.jsonl --grid br --price-in 2.0 \ --key issuer.key --out ledger.json bioma-carbon-ledger verify ledger.json --pub issuer.pub --audit bioma_gateway_audit.jsonl ``` Token 是经过**测量**的；审计记录是**哈希链式**的（修改或删除任何行都会破坏链条）； 账本是经过 **Ed25519 签名**的（仅需公钥即可验证）；能源使用了**公开声明且带版本号的** 系数边界（低/中/高——降低的百分比是精确的）。`verify` 可以捕获两种攻击：伪造数字 → `签名无效 (INVALID)`； 篡改审计记录 → `重新计算不匹配 (MISMATCH)`。排放量被标记为 **规避排放的反事实**（GHG Protocol）——绝不与 Scope 1/2/3 抵消，也绝非一种 offset。 ## 快速开始 ``` pip install bioma-suite # EVERYTHING in one command, then: bioma-doctor # verify the install (exit 0 = healthy) ``` 或者只安装你需要的内容： ``` pip install bioma-framework # core: Rust kernel + Python API pip install "bioma-framework[gateway]" # + drop-in OpenAI/Anthropic gateway pip install "bioma-framework[monitor]" # + live terminal cockpit (bioma-monitor) pip install "bioma-framework[ledger]" # + signed carbon ledger ``` ### 即插即用的网关 —— 零代码改动 ``` from openai import OpenAI client = OpenAI(base_url="http://localhost:8790/v1", api_key="...") # the only change # 任何兼容 Anthropic 的 client：设置 ANTHROPIC_BASE_URL=http://localhost:8790 ``` 在真实模型上通过官方 SDK 验证：**减少 78% (OpenAI) / 减少 33% (Anthropic)** 的计费输入， 答案完好无损，流式传输正常工作，工具调用对保持完整。 ### 作为库使用（适用于任何提供商） ``` from bioma.firewall_client import CognitiveFirewall fw = CognitiveFirewall(vault={"db_password": DB_PW}) # secrets to protect h = fw.shield(history, "refactor this function") # clean, dehydrated, secret-free # h.prompt / h.system → 使用您的 SDK 发送 # h.telemetry → apoptosis_reduction, saturation, kernel_latency_us ``` ### 观看实时效果 ``` bioma-monitor # follows the gateway audit log: reduction, µs, cost, /health ``` ## 工作原理 —— 三大原语 | 机制 | 功能描述 | |---|---| | **Context apoptosis** | 类别感知的半衰期衰减在分发前去除了陈旧/冗余的历史记录——这是实现 −84% 效果的核心引擎。 | | **Cognitive firewall** | 机密信息脱敏（文本及*基于像素的* OCR）、认知 DDoS/泛洪检测、分发超时守护。 | | **Hormonal bus** | 无锁的微秒级信号传输底层（约 2M 信号/秒）——内核的神经系统。 | 100% 本地化。以 `bioma-micro`（Rust 内核）+ `bioma-framework`（Python 层）的形式分发，提供适用于 Linux/macOS/Windows 的 abi3 wheels ——安装时不需要 Rust 工具链。 ## 证据与可复现性 - **[`benchmarks/ab-claude-code/results/RESULTS.md`](benchmarks/ab-claude-code/results/RESULTS.md)** —— 完整的说明文档：方法论、1,440 次调用的数据集、缓存实验、每一张图表以及坦诚的局限性。 - **[`FINDINGS.md`](FINDINGS.md)** —— 真值评估，包括我们测试过并**已反驳**的内容（多 LLM 的“有丝分裂”并不能提升质量——因此它并未包含在产品中）。 - **可引用的快照：** [Zenodo DOI 10.5281/zenodo.21401899](https://doi.org/10.5281/zenodo.21401899)。 - 上面的每一个数字都可以追溯到仓库中的某个文件。我们欢迎任何结论不同的复现结果——分歧的结果会被链接在这里。 ## License 采用**功能性源代码许可证 ([FSL-1.1-MIT](LICENSE))** 的公平源代码模式：允许阅读、运行，并出于 任何非竞争目的进行二次开发。每个版本在其发布日期两年后会自动变为 **MIT** 许可证。唯一的 限制是不能将其重新打包为竞争产品。

标签：可视化界面, 逆向工具