sangziwang91-design/model-behavior-observatory

# 模型行为观测站 本仓库是权威的公开研究仓库。此账号下的早期仓库可能是历史存档或早期原型。 **一个有限的公开研究界面，用于研究 LLM 自我报告可靠性、结构化行为失效以及受限访问模型审计。** **个人研究主页：** https://sangziwang91-design.github.io/ `LLM 行为` · `自我报告可靠性` · `EC-EpC 差距` · `结构化错觉` · `行为图谱` · `受限访问审计` · `公共安全可观测性` ## 公开记录地图 ### 基础行为审计与认识论可信度研究 - **审计 LLM 自我报告中的认识论可信度** — [10.5281/zenodo.19879788](https://doi.org/10.5281/zenodo.19879788) - **跨模型行为图谱数据集** — [10.5281/zenodo.19881753](https://doi.org/10.5281/zenodo.19881753) ### 行为治理与交互生态 - **动态规则光谱系统 (DDRS)** — [10.5281/zenodo.20086355](https://doi.org/10.5281/zenodo.20086355) - **交互生态框架 (IEF)** — [10.5281/zenodo.20087158](https://doi.org/10.5281/zenodo.20087158) - **迈向 ABS-1.1：约束诱导的结构完整性指标** — [10.5281/zenodo.20087587](https://doi.org/10.5281/zenodo.20087587) - **大型语言模型中的收敛惯性** — [10.5281/zenodo.20087809](https://doi.org/10.5281/zenodo.20087809) ### 应用行为审计与评分数据集 - **MSI-AUDIT-001：用于医疗 AI 幻觉的结构化行为审计数据集** — [10.5281/zenodo.20088014](https://doi.org/10.5281/zenodo.20088014) - **GEO-LINE-X：用于 LLM 评估研究的跨模型行为评分数据集** — [10.5281/zenodo.20487691](https://doi.org/10.5281/zenodo.20487691) ### 评估环境与行为评分记录 - **自适应行为评分** — [10.5281/zenodo.20337500](https://doi.org/10.5281/zenodo.20337500) - **作为环境的测试** — [10.5281/zenodo.20337599](https://doi.org/10.5281/zenodo.20337599) ## 当前边界说明 本仓库仍然是一个有限的公开研究界面。 最近的私人研究延伸至运行时交互场验证，以及用于 prompt 路由、审计准备和行为可观测性工作流的受控内部工具。这些私有系统未在此处开源。 本仓库中的公开材料仅限于可引用的记录、公共安全摘要、证据框架和方法论边界。私有原型、prompt 路由逻辑、干预模板、评分阈值、内部任务包以及未发布的验证工作流均被刻意排除在外。 当前声明级别：探索性公开研究界面。运行时治理和交互场干预声明在公开发布技术之前，需要进一步的真实模型验证。 ## 最新公开发布 ### 2026 年 5 月 22 日 – 6 月 1 日记录 另有三项公开的 Zenodo 记录可供查阅： | 记录 | 类型 | DOI | 公开角色 | |---|---|---|---| | **自适应行为评分** | 框架 / 规范 | [10.5281/zenodo.20337500](https://doi.org/10.5281/zenodo.20337500) | 输出层行为评分框架 | | **作为环境的测试** | 框架 / 立场文件 | [10.5281/zenodo.20337599](https://doi.org/10.5281/zenodo.20337599) | 评估环境与认识论边界框架 | | **GEO-LINE-X** | 数据集 | [10.5281/zenodo.20487691](https://doi.org/10.5281/zenodo.20487691) | 跨模型行为评分数据集 | 发布说明：[`docs/releases/zenodo-2026-05-22-to-06-01.md`](docs/releases/zenodo-2026-05-22-to-06-01.md) ### 2026 年 5 月扩展记录 五份 2026 年 5 月扩展记录已作为公共安全的 Zenodo 发布提供： | 记录 | 类型 | DOI | 公开角色 | |---|---|---|---| | **动态规则光谱系统 (DDRS)** | 预印本 | [10.5281/zenodo.20086355](https://doi.org/10.5281/zenodo.20086355) | 规则层架构 | | **交互生态框架 (IEF)** | 预印本 | [10.5281/zenodo.20087158](https://doi.org/10.5281/zenodo.20087158) | 交互生态 / 生命周期框架 | | **迈向 ABS-1.1** | 预印本 / 规范 | [10.5281/zenodo.20087587](https://doi.org/10.5281/zenodo.20087587) | 约束诱导的结构完整性指标 | | **大型语言模型中的收敛惯性 (EXP-047)** | 预印本 / 阶段 1 证据说明 | [10.5281/zenodo.20087809](https://doi.org/10.5281/zenodo.20087809) | 行为现象证据集群 | | **MSI-AUDIT-001** | 数据集 | [10.5281/zenodo.20088014](https://doi.org/10.5281/zenodo.20088014) | 医疗 AI 结构化错觉审计数据集 | 发布说明：[`docs/releases/zenodo-generative-behavior-series-2026-05.md`](docs/releases/zenodo-generative-behavior-series-2026-05.md) ### 2026 年 4 月基础记录 早期的两份 Zenodo 记录仍然是 EC-EpC 差距与行为图谱研究路线的基础层： | 记录 | 类型 | DOI | |---|---|---| | **审计 LLM 自我报告中的认识论可信度：双轴行为框架与初步证据** | 预印本 | [10.5281/zenodo.19879788](https://doi.org/10.5281/zenodo.19879788) | | **跨模型行为图谱：LLM 自我报告可靠性研究的初步数据集摘要** | 数据集摘要 / 初步数据集记录 | [10.5281/zenodo.19881753](https://doi.org/10.5281/zenodo.19881753) | 发布说明：[`docs/releases/zenodo-ec-epc-2026.md`](docs/releases/zenodo-ec-epc-2026.md) ## 核心问题 当语言模型解释其自身的局限性时，这种解释值得信任吗？ 本仓库将模型自我描述、结构化解释以及表观系统级行为视为可观测的输出，而不是内部机制的直接证明。 ## 公开架构 公开层被组织为一个有限的证据与方法界面： ``` Foundation layer EC-EpC gap / Structured Illusion Behavioral Cartography Interaction and governance layer DDRS: rule-layer architecture IEF: interaction ecology and lifecycle dynamics ABS-1.1: structural integrity and constraint-gain metrics Adaptive Behavioral Scoring: output-layer behavioral scoring framework Testing as Environment: evaluation-environment and epistemic-boundary framing Evidence / dataset layer EXP-047: convergence inertia phase-1 evidence MSI-AUDIT-001: medical AI structured-illusion audit dataset GEO-LINE-X: cross-model behavioral scoring dataset ``` 这种架构是刻意保持公共安全的。它公开了可引用的记录、概念和边界，而未泄露私有的 prompt 链、评分阈值、干预模板或可逆向工程的控程。 ## 本仓库是什么 模型行为观测站是一个有限的公开评估界面，用于观察语言模型在以下情况的行为表现： - 证据不完整时； - 基础依据薄弱时； - 不确定性高时； - 引入权威框架时； - 被要求自我描述时； - 结构化输出看起来比实际更可靠时； - 评估环境塑造了其表面上要测量的行为时。 它关注的是实际的可靠性问题： ## 公开研究重点 ### 1. 自我报告可靠性 模型如何描述自身的局限性、规则、不确定性和行为倾向——以及为什么这些描述需要外部审计而不是直接信任。 ### 2. EC-EpC 差距 以下两者之间可测量的差距： - **执行可信度 (EC)：** 模型执行结构化自我审计任务的程度； - **认识论可信度 (EpC)：** 模型表征自身知识边界的准确程度。 ### 3. 行为图谱 在结构化审计条件下对外部响应模式进行跨模型观察，而无需访问模型内部。 ### 4. 结构化解释表面 模型如何生成系统级、文档级、来源级或审计级别的输出，这些输出看起来比实际更有根据。 ### 5. 规则层、交互生态与评估环境框架 公共安全的概念记录，描述规则压力、交互上下文、命名锚点、生命周期动态和评估环境如何塑造可观测的生成路径。这些记录用于生成假设，需要独立验证。 ## 公共安全边界 本仓库被刻意设定了边界。 它使选定的观察结果变得清晰、可讨论且可引用，同时避免泄露私有的审计程序。 公开材料可能包括： - 高层级方法框架； - 行为分类； - 汇总级别的定量发现； - 公开试点记录； - 局限性与验证要求； - DOI 索引的发布说明。 公开材料**不**包括： - 确切的私有任务输入； - 评分权重； - 触发阈值； - 干预模板； - 私有审计启发式规则； - 可逆向工程的控程； - 完整的基准测试任务包； - 未经批准公开披露的原始私有日志。 ## 声明级别 当前的公开记录属于探索性、初步规模或用于生成假设的发布。 它们支持： - 方法学批判； - 复现设计； - 外部引用； - 关于 LLM 自我报告可靠性的讨论； - 有限的公开参考； - 公共安全的证据框架。 它们**不**支持： - 群体级别的普遍性声明； - 模型排名； - 关于模型内部机制的因果声明； - 已验证的基准测试状态； - 监管级别的标准化声明； - 关于公开材料构成完整控制或安全系统的声明。 ## 当前公开信号 本公开层重点强调了反复出现的可观测模式，例如： - 信心与证据不匹配； - 结构凌驾于证据之上； - 过早的合法性； - 伪一致性； - 自我验证倾向； - 自我报告可靠性差距； - 结构化解释表面； - 边界重定向； - 强制基础依据下的崩溃； - 对协议敏感的行为转变； - 约束诱导的结构保留； - 对评估环境的敏感度； - 跨模型行为评分分歧。 ## 从这里开始 - [`docs/start-here.md`](docs/start-here.md) — 推荐的入口 - [`docs/releases/zenodo-2026-05-22-to-06-01.md`](docs/releases/zenodo-2026-05-22-to-06-01.md) — 评估环境与行为评分发布说明 - [`docs/releases/zenodo-generative-behavior-series-2026-05.md`](docs/releases/zenodo-generative-behavior-series-2026-05.md) — 2026 年 5 月扩展发布说明 - [`docs/releases/zenodo-ec-epc-2026.md`](docs/releases/zenodo-ec-epc-2026.md) — 2026 年 4 月基础发布说明 - [`docs/overview.md`](docs/overview.md) — 公开评估范围 - [`docs/findings/what-we-found.md`](docs/findings/what-we-found.md) — 公开发现地图 - [`docs/reports/index.md`](docs/reports/index.md) — 公共安全报告 - [`public-kits/llm-stability-eval-kit/`](public-kits/llm-stability-eval-kit/) — 重复 prompt 测试与伪一致性观测 ## 引用 ### 基础记录 Wang, S. (2026). *Auditing Epistemological Credibility in LLM Self-Reports: A Dual-Axis Behavioral Framework and Pilot Evidence*. Zenodo. https://doi.org/10.5281/zenodo.19879788 Wang, S. (2026). *Cross-Model Behavioral Cartography: A Pilot Dataset Summary for LLM Self-Report Reliability Research*. Zenodo. https://doi.org/10.5281/zenodo.19881753 ### 2026 年 5 月扩展记录 Wang, S. (2026). *Dynamic Rule Spectrum System (DDRS): A Ten-Layer Pressure Field Architecture for Modeling Rule Activation, Attractor Coupling, and Path Selection in Large Language Models*. Zenodo. https://doi.org/10.5281/zenodo.20086355 Wang, S. (2026). *Interaction Ecology Framework (IEF): Naming Anchors, Orbital Triggers, and Lifecycle Dynamics in Human-AI Interaction Systems*. Zenodo. https://doi.org/10.5281/zenodo.20087158 Wang, S. (2026). *Toward ABS-1.1: A Specification for Constraint-Induced Structural Integrity Metrics and the Tourniquet Effect Hypothesis*. Zenodo. https://doi.org/10.5281/zenodo.20087587 Wang, S. (2026). *Convergence Inertia in Large Language Models: Phase-1 Multi-Model Evidence Cluster (EXP-047, R001-R013)*. Zenodo. https://doi.org/10.5281/zenodo.20087809 Wang, S. (2026). *MSI-AUDIT-001: A Structured Behavioral Audit Dataset for Medical AI Hallucination Research*. Zenodo. https://doi.org/10.5281/zenodo.20088014 ### 2026 年 5 月 22 日 – 6 月 1 日记录 Wang, S. (2026). *Adaptive Behavioral Scoring: A Restricted-Access Framework for Measuring Output-Layer Deformation in Large Language*. Zenodo. https://doi.org/10.5281/zenodo.20337500 Wang, S. (2026). *Testing as Environment: The EC-EpC Gap Framework for Assessing Epistemic Boundary Alignment in Large Language Models*. Zenodo. https://doi.org/10.5281/zenodo.20337599 Wang, S. (2026). *GEO-LINE-X: A Cross-Model Behavioral Scoring Dataset for LLM Evaluation Research*. Zenodo. https://doi.org/10.5281/zenodo.20487691 ## 用例 本仓库旨在支持： - 模型行为比较； - 公共安全证据框架； - 外部引用； - 有限的基准测试参考； - 结构化错觉检测； - 自我报告可靠性讨论； - 受限访问条件下验证差距的分析； - 公共安全行为审计工作的复现规划。 ## 导航 - `docs/releases/` — 公开发布说明 - `docs/findings/` — 可观测行为模式 - `docs/reports/` — 公共安全分析说明 - `docs/studies/` — 范围受限的概念笔记 - `docs/benchmark/` — 面向基准测试的材料 - `docs/benchmark-scope.md` — 基准测试边界与信号定义 - `docs/forward-path.md` — 发布规范与公开方向 - `docs/about.md` — 外部介绍 - `public-kits/llm-stability-eval-kit/` — 用于重复 prompt 稳定性测试的公开入门套件 ## 作者 SangZi Wang sangziwang91@gmail.com 独立研究员 · 行为 AI 研究倡议，中山 ## 状态 活跃。专注于谨慎、渐进式地公开发布模型行为观察材料。 ## 说明 本项目并未作为对齐解决方案、产品或经过验证的基准测试呈现。 它是一个有限的公开研究界面，旨在让 LLM 自我报告的可靠性、技术合理性和验证差距变得更容易观察和讨论。

标签：AI审计, API集成, DLL 劫持, 人工智能, 可观测性, 大语言模型, 幻觉检测, 模型评估, 用户模式Hook绕过, 行为分析