danieldopler-ctrl/cbrne-intelligence-lab
GitHub: danieldopler-ctrl/cbrne-intelligence-lab
基于公开数据的 CBRN-E 风险信号平台，通过规范化数据摄取和可解释检测规则为分析师提供带有证据链接的审查警报。
Stars: 0 | Forks: 0
# CBRN-E Intelligence Lab
CBRN-E Intelligence Lab 是一个正在开发中的真实数据风险信号平台。它接收经过批准的公开或用户提供的数据集，对源记录进行规范化，运行可解释的检测规则，并创建带有证据链接的警报供分析师审查。
CBRN-E 是第一个投入运行的领域。一项受控的欺诈模拟实验表明，共享的事件、警报、评估、报告和审计工作流是可以复用的，同时每个领域都可以提供自己的规则和审查控制。
## 当前构建状态
事件监控基础目前已包含：
- 基于 PostgreSQL 的应用程序模型和迁移。
- 用于来源、数据摄取、规范化事件、检测运行、警报、分析师审查、通知和响应准则审查的 FastAPI 端点。
- 用于来源注册、数据集上传和警报审查的 Next.js 分析师界面。
- 直接针对选定响应支持事件的 NOAA IncidentNews 公共领域 CSV 连接器。
- 具备报告级别去重和单位感知泄漏评分的 PHMSA 导出导入器。
- 具备报告级别数字后果评分以及 NRC/PHMSA 关联审查警报的 NRC 年度工作簿导入器。
- 使用公共安全抽象评估记录和独立内部审查路由的 AI 误用风险评估模块。
- 将受控或分析师标记的基准案例与版本化检测运行和警报证据链接起来的评估和回测工作区。
- 使用有界限的 WHO Disease Outbreak News 和 CDC NNDSS 官方公开数据同步，在本地开发环境中进行生物监控。
- 基于分析师审查过的警报生成引用来源的报告，支持确定性的 JSON 导出和可打印的 HTML 导出。
- 使用抽象合成记录和独立的 `FR0` 到 `FR3` 审查路由的 `FRAUD_MONITORING_V0.1` 可移植性实验。
此构建**不**确认恶意意图，也**不**自动通知外部机构。自动检测结果仅作为审查优先级。
报告**不**添加叙述性结论，也**不**调用 AI 服务；它们仅保留已记录的证据、审查结论和声明的限制。
## 视觉指南
`docs/assets/` 中的截图展示了主要分析师工作流：
| 视图 | 用途 |
|---|---|
|  | 仪表盘指标和工作流卡片 |
|  | 包含 MR 路由安全信号的 AI 误用审查队列 |
|  | 证据、来源限制和分析师结论 |
|  | 测试夹具一致性和版本化评估运行 |
|  | 保留声明限制的已审查报告输出 |
|  | 官方连接器和受控的测试夹具工作流 |
## 架构
```
flowchart LR
subgraph Sources["Domain Inputs"]
C["CHEM: NOAA / PHMSA / NRC"]
B["BIO: CDC NNDSS / WHO DON"]
M["AI_MISUSE: safe fixture"]
F["FRAUD_MONITORING: safe fixture"]
end
subgraph Domain["Domain-Specific Adapters"]
DP["Rule engines and review frameworks
CHEM / BIO / MR / FR"] end subgraph Core["Shared Core - FastAPI + PostgreSQL"] I["Ingest"] --> N["Normalize"] --> DP --> D["Detect"] --> A["Alert"] --> R["Review"] --> E["Evaluate"] --> G["Report"] L["Audit Log"] end UI["Next.js Analyst Interface"] C --> I B --> I M --> I F --> I I --> L D --> L R --> L E --> L G --> L UI <--> A UI <--> E UI <--> G ``` ## 技术栈 | 层级 | 技术 | |---|---| | API | Python, FastAPI, Pydantic | | 数据访问 | SQLAlchemy, Alembic | | 操作数据库 | PostgreSQL | | 前端 | Next.js, TypeScript, Tailwind CSS | | 本地服务编排 | Docker Compose | | 测试 | Pytest, FastAPI TestClient | ## 本地运行 前置条件：Python 3.12+、`uv`、Node.js 以及 PostgreSQL 或 Docker。 在使用本地 PostgreSQL 服务的情况下，创建一个数据库并使用本地套接字连接： ``` cp .env.example .env /opt/homebrew/opt/postgresql@16/bin/createdb cbrne_lab # 在 .env 中设置 DATABASE_URL=postgresql+psycopg:///cbrne_lab cd backend uv sync --extra dev uv run alembic upgrade head uv run uvicorn app.main:app --reload --port 8000 ``` 在有 Docker 可用的环境下，Docker Compose 仍然是一个备选方案： ``` docker compose up -d postgres # 保留 .env.example 中提供的 DATABASE_URL 值 ``` 在另一个终端中： ``` cd frontend npm install npm run dev ``` 打开 `http://localhost:3000`。API 健康检查端点为 `http://localhost:8000/health`。 ## 来源处理 阶段 0 的候选来源是官方公开数据： | 来源 | 预期用途 | |---|---| | NOAA IncidentNews 原始事件数据 | 第一个直接的公共领域 CHEM 事件连接器 | | PHMSA 危险品事件报告 | CHEM/危险品事件分析和基线 | | National Response Center 报告 | 环境泄漏事件监控 | | WHO Disease Outbreak News API | 通过有界限的 API 同步获取官方 BIO 报告上下文 | | CDC NNDSS 每周数据 | 每周临时性 BIO 监控审查指标 | 原始数据文件仅在本地保存并被排除在 git 之外。每次摄取都会记录来源元数据、文件哈希、映射版本和限制。NOAA IncidentNews 包含的是 NOAA 提供响应支持的选定事件；它不是一个完整的清单，也不能确立恶意意图。 NOAA 商品名称会被规范化到一个专门的事件字段中。`CHEM-SUBSTANCE-001` 会将该字段与 `40 CFR 68.130 Table 1` 中 EPA RMP 监管的毒性物质进行比较，并为记录在案的匹配项创建一个分析师审查条目。该信号不识别恶意意图、监管适用性或已核实的后果。 PHMSA 的分隔文本导出可以从“来源”屏幕进行导入。导入器将 `Total Hazmat Fatalities` 映射为数字计数，并将值为 `Yes` 的 `Hazmat Injury Indicator` 和 `Serious Evacuations` 转换为 `CHEM-CONSEQUENCE-001` 的 `TL2` 报告后果信号；这些指标不是计数。阶段 2 使用 `Report Number` 来避免重复的事件级别后果警报，并仅将 `CHEM-RELEASE-QUANTITY-001` 应用于 PHMSA 报告为标准化液体加仑 (`LGA`) 的数量。`GCF` 和 `SLB` 数据将保持原样，不进行转换。 NRC 年度 XLSX 工作簿是通过在 `SEQNOS` 上连接官方的 `INCIDENT_COMMONS`、`INCIDENT_DETAILS` 和 `MATERIAL_INVOLVED` 表格进行导入的。NRC 的数字伤亡和疏散计数可以产生基于计数的 `TL3` 审查警报。多个 NRC 物质行不会使后果计数成倍增加。如果一个 NRC/PHMSA 匹配项共享相同的 EPA RMP 毒性物质、州和三天时间窗口，将为分析师审查创建一个关联的关联警报，但这并非确认的事件匹配。 AI 误用风险评估模块加载了一个已提交的合成评估集，该集合仅由公共安全的抽象描述组成。`AI_MISUSE_V0.1` 通过可见规则分配内部误用审查级别（`MR0` 到 `MR3`）。它不接受有害提示，不调用实时模型，也不将测试夹具记录路由到紧急情况、外部通知或响应准则工作流。 本地验证将所有 34 个测试夹具案例路由到了其预期的最高误用审查级别，零遗漏高优先级案例，且零意外升级；这是测试夹具一致性，而非模型安全性能。 仪表盘和默认警报队列显示的是最新的检测运行结果，因此历史校准运行不会被计入当前的警报总数中。早期的运行结果仍会被保留，以供审计审查。 评估工作区根据记录在案的预期来衡量路由行为。AI 误用测试夹具的结果被标记为 `Fixture routing agreement`（夹具路由一致性）；它们并不代表模型的安全性能。CHEM 审查过的基准测试要求分析师对选定的公开来源记录提供引用和理由；它们不能确立意图或面向全人群的威胁检测率。 阶段 6 在本地添加了 `BIO_MONITORING_V0.1`。WHO Disease Outbreak News 记录被保留为官方报告观察结果。CDC NNDSS 行仅限于选定的报告周，保留来源标志，拒绝达到有界限的 10,000 行上限的每周响应，并且仅当数字形式的本周计数高于 CDC 来源发布的过去 52 周最大值时，才能创建 `TL1` 审查指标。CDC 计数是临时性的，可能会被修订或延迟；完全相同的重复行会被跳过，而更改过的官方行将作为链接的来源修订保留。BIO 指标不能确立原因、意图、归属或紧急状态，并且在此规则版本中禁用了通知或响应准则操作。 初步本地验证导入了 20 个有界限的 WHO DON 报告，并产生了 20 条 `TL1` 官方报告观察结果。针对 MMWR 2026 第 19 周的 CDC NNDSS 导入保留了 8,400 行每周数据，排除了 7,438 行不可评分或被标记的数据不参与评分，并从 962 行可评分的数据中产生了 15 个 `TL1` 过往最大值审查指标。这些是本地规则输出，并非威胁普遍性或检测性能的声明。对同一官方周进行具备修订感知能力的重复同步，将所有 8,400 行归类为完全相同的重复项，保留了零个错误修订，并从标准导入批次中复现了 15 项指标的结果。 阶段 7 添加了确定性的引用来源报告。一份报告只能包含具有已记录分析师审查的警报，并且不能混用 CHEM、BIO、AI 误用和欺诈记录。每次导出都会保留来源引用、证据字段、规则理由、来源限制、分析师结论以及特定领域的披露说明。提供 JSON 下载和浏览器打印输出；AI 撰写的摘要和自动交付仍被排除在外。 阶段 8 添加了 `FRAUD_MONITORING_V0.1` 作为一项受控的可移植性实验。其 20 个合成案例仅包含抽象类别标志，并通过独立的 `FRAUD_REVIEW` 框架进行路由。欺诈测试夹具结果无法开启 CBRN-E 通知或准则操作，也不能衡量现实世界的欺诈表现。EXP 和专门的 RN 分类被记录为推迟的扩展决策，因为目前对公开来源和分类的支持不足以证明事件级别声明的合理性。 ## 安全边界 此仓库被设计为一种防御性的分析师工作流和作品集制品。它刻意不会： - 确认恶意意图、归属、犯罪活动或紧急状态。 - 提供有关有害 CBRN-E 能力的说明、采购指南、操作步骤或优化指导。 - 存储有害提示语料库、实时越狱尝试或特定于操作的 AI 误用示例。 - 调用实时 AI 模型进行摘要、评分或红队互动。 - 自动联系响应机构、执法部门、公共卫生当局或外部系统。 - 将 BIO 监控观察结果视为故意释放的发现。 - 将合成的 AI 误用或欺诈测试夹具视为真实的用户活动、真实事件或模型性能证明。 - 将 CHEM、BIO、AI 误用和欺诈记录混在一份已审查的报告中。 公开测试夹具仅使用抽象描述。AI 误用记录通过 `MR0` 到 `MR3` 内部审查级别进行路由，无法开启通知或响应准则工作流。欺诈测试夹具使用 `FR0` 到 `FR3`，并且同样被隔离。操作部署、受限数据、私有查询日志或 AI 撰写的报告摘要需要经过单独的批准和安全审查。 ## 评估方法 评估被视为证据链接的路由评估，而非广泛的性能证明。 | 评估术语 | 含义 | 限制 | |---|---|---| | 测试夹具一致性 | 受控的安全记录路由至预期的 `MR` 或 `FR` 级别 | 并非真实世界的模型安全或欺诈检测性能 | | 审查过的基准 | 带有引用和预期路由的分析师标记的公开来源 CHEM 事件 | 并非全人群检测性能 | | 路由一致性 | 生成的路由与记录在案的预期路由相匹配 | 除非评估集支持该声明，否则不代表准确率 | | 遗漏的预期优先级 | 生成的路由低于记录在案的高优先级预期 | 需要经过审查的标签 | | 意外的高优先级 | 生成的路由高于记录在案的低优先级预期 | 支持误报审查，不支持独立的比率声明 | | 工作量比较 | 对兼容的运行进行警报计数和路由更改的比较 | 历史运行不会计入当前的警报总数中 | 该平台记录信号质量指标、遗漏路由审查、意外升级审查和工作量变化。精确率、召回率、误报率和漏报率将被推迟，直到有经过批准的标记基准设计支持这些衡量标准。 ## 威胁和升级处理 警报使用 `TL0` 到 `TL4` 处理机制： | 级别 | 含义 | |---|---| | `TL0` | 记录的观察结果 | | `TL1` | 监控 | | `TL2` | 在高级审查下进行调查 | | `TL3` | 升级以进行内部通知和外部报告评估 | | `TL4` | 紧急或强制报告情况；软件工作流绝不能延误响应 | 对于 `TL3` 和 `TL4`，平台会记录 `NIMS/ICS`、`NRF`/ESFs、`NCP/NRS`、`BIA`、`NRIA` 或范围严格的 `NARP` 参考的潜在适用性。除非记录了经过验证的证据，否则它无法声称某个负责机构启动了某项计划。 ## 文档 - [架构](
CHEM / BIO / MR / FR"] end subgraph Core["Shared Core - FastAPI + PostgreSQL"] I["Ingest"] --> N["Normalize"] --> DP --> D["Detect"] --> A["Alert"] --> R["Review"] --> E["Evaluate"] --> G["Report"] L["Audit Log"] end UI["Next.js Analyst Interface"] C --> I B --> I M --> I F --> I I --> L D --> L R --> L E --> L G --> L UI <--> A UI <--> E UI <--> G ``` ## 技术栈 | 层级 | 技术 | |---|---| | API | Python, FastAPI, Pydantic | | 数据访问 | SQLAlchemy, Alembic | | 操作数据库 | PostgreSQL | | 前端 | Next.js, TypeScript, Tailwind CSS | | 本地服务编排 | Docker Compose | | 测试 | Pytest, FastAPI TestClient | ## 本地运行 前置条件：Python 3.12+、`uv`、Node.js 以及 PostgreSQL 或 Docker。 在使用本地 PostgreSQL 服务的情况下，创建一个数据库并使用本地套接字连接： ``` cp .env.example .env /opt/homebrew/opt/postgresql@16/bin/createdb cbrne_lab # 在 .env 中设置 DATABASE_URL=postgresql+psycopg:///cbrne_lab cd backend uv sync --extra dev uv run alembic upgrade head uv run uvicorn app.main:app --reload --port 8000 ``` 在有 Docker 可用的环境下，Docker Compose 仍然是一个备选方案： ``` docker compose up -d postgres # 保留 .env.example 中提供的 DATABASE_URL 值 ``` 在另一个终端中： ``` cd frontend npm install npm run dev ``` 打开 `http://localhost:3000`。API 健康检查端点为 `http://localhost:8000/health`。 ## 来源处理 阶段 0 的候选来源是官方公开数据： | 来源 | 预期用途 | |---|---| | NOAA IncidentNews 原始事件数据 | 第一个直接的公共领域 CHEM 事件连接器 | | PHMSA 危险品事件报告 | CHEM/危险品事件分析和基线 | | National Response Center 报告 | 环境泄漏事件监控 | | WHO Disease Outbreak News API | 通过有界限的 API 同步获取官方 BIO 报告上下文 | | CDC NNDSS 每周数据 | 每周临时性 BIO 监控审查指标 | 原始数据文件仅在本地保存并被排除在 git 之外。每次摄取都会记录来源元数据、文件哈希、映射版本和限制。NOAA IncidentNews 包含的是 NOAA 提供响应支持的选定事件；它不是一个完整的清单，也不能确立恶意意图。 NOAA 商品名称会被规范化到一个专门的事件字段中。`CHEM-SUBSTANCE-001` 会将该字段与 `40 CFR 68.130 Table 1` 中 EPA RMP 监管的毒性物质进行比较，并为记录在案的匹配项创建一个分析师审查条目。该信号不识别恶意意图、监管适用性或已核实的后果。 PHMSA 的分隔文本导出可以从“来源”屏幕进行导入。导入器将 `Total Hazmat Fatalities` 映射为数字计数，并将值为 `Yes` 的 `Hazmat Injury Indicator` 和 `Serious Evacuations` 转换为 `CHEM-CONSEQUENCE-001` 的 `TL2` 报告后果信号；这些指标不是计数。阶段 2 使用 `Report Number` 来避免重复的事件级别后果警报，并仅将 `CHEM-RELEASE-QUANTITY-001` 应用于 PHMSA 报告为标准化液体加仑 (`LGA`) 的数量。`GCF` 和 `SLB` 数据将保持原样，不进行转换。 NRC 年度 XLSX 工作簿是通过在 `SEQNOS` 上连接官方的 `INCIDENT_COMMONS`、`INCIDENT_DETAILS` 和 `MATERIAL_INVOLVED` 表格进行导入的。NRC 的数字伤亡和疏散计数可以产生基于计数的 `TL3` 审查警报。多个 NRC 物质行不会使后果计数成倍增加。如果一个 NRC/PHMSA 匹配项共享相同的 EPA RMP 毒性物质、州和三天时间窗口，将为分析师审查创建一个关联的关联警报，但这并非确认的事件匹配。 AI 误用风险评估模块加载了一个已提交的合成评估集，该集合仅由公共安全的抽象描述组成。`AI_MISUSE_V0.1` 通过可见规则分配内部误用审查级别（`MR0` 到 `MR3`）。它不接受有害提示，不调用实时模型，也不将测试夹具记录路由到紧急情况、外部通知或响应准则工作流。 本地验证将所有 34 个测试夹具案例路由到了其预期的最高误用审查级别，零遗漏高优先级案例，且零意外升级；这是测试夹具一致性，而非模型安全性能。 仪表盘和默认警报队列显示的是最新的检测运行结果，因此历史校准运行不会被计入当前的警报总数中。早期的运行结果仍会被保留，以供审计审查。 评估工作区根据记录在案的预期来衡量路由行为。AI 误用测试夹具的结果被标记为 `Fixture routing agreement`（夹具路由一致性）；它们并不代表模型的安全性能。CHEM 审查过的基准测试要求分析师对选定的公开来源记录提供引用和理由；它们不能确立意图或面向全人群的威胁检测率。 阶段 6 在本地添加了 `BIO_MONITORING_V0.1`。WHO Disease Outbreak News 记录被保留为官方报告观察结果。CDC NNDSS 行仅限于选定的报告周，保留来源标志，拒绝达到有界限的 10,000 行上限的每周响应，并且仅当数字形式的本周计数高于 CDC 来源发布的过去 52 周最大值时，才能创建 `TL1` 审查指标。CDC 计数是临时性的，可能会被修订或延迟；完全相同的重复行会被跳过，而更改过的官方行将作为链接的来源修订保留。BIO 指标不能确立原因、意图、归属或紧急状态，并且在此规则版本中禁用了通知或响应准则操作。 初步本地验证导入了 20 个有界限的 WHO DON 报告，并产生了 20 条 `TL1` 官方报告观察结果。针对 MMWR 2026 第 19 周的 CDC NNDSS 导入保留了 8,400 行每周数据，排除了 7,438 行不可评分或被标记的数据不参与评分，并从 962 行可评分的数据中产生了 15 个 `TL1` 过往最大值审查指标。这些是本地规则输出，并非威胁普遍性或检测性能的声明。对同一官方周进行具备修订感知能力的重复同步，将所有 8,400 行归类为完全相同的重复项，保留了零个错误修订，并从标准导入批次中复现了 15 项指标的结果。 阶段 7 添加了确定性的引用来源报告。一份报告只能包含具有已记录分析师审查的警报，并且不能混用 CHEM、BIO、AI 误用和欺诈记录。每次导出都会保留来源引用、证据字段、规则理由、来源限制、分析师结论以及特定领域的披露说明。提供 JSON 下载和浏览器打印输出；AI 撰写的摘要和自动交付仍被排除在外。 阶段 8 添加了 `FRAUD_MONITORING_V0.1` 作为一项受控的可移植性实验。其 20 个合成案例仅包含抽象类别标志，并通过独立的 `FRAUD_REVIEW` 框架进行路由。欺诈测试夹具结果无法开启 CBRN-E 通知或准则操作，也不能衡量现实世界的欺诈表现。EXP 和专门的 RN 分类被记录为推迟的扩展决策，因为目前对公开来源和分类的支持不足以证明事件级别声明的合理性。 ## 安全边界 此仓库被设计为一种防御性的分析师工作流和作品集制品。它刻意不会： - 确认恶意意图、归属、犯罪活动或紧急状态。 - 提供有关有害 CBRN-E 能力的说明、采购指南、操作步骤或优化指导。 - 存储有害提示语料库、实时越狱尝试或特定于操作的 AI 误用示例。 - 调用实时 AI 模型进行摘要、评分或红队互动。 - 自动联系响应机构、执法部门、公共卫生当局或外部系统。 - 将 BIO 监控观察结果视为故意释放的发现。 - 将合成的 AI 误用或欺诈测试夹具视为真实的用户活动、真实事件或模型性能证明。 - 将 CHEM、BIO、AI 误用和欺诈记录混在一份已审查的报告中。 公开测试夹具仅使用抽象描述。AI 误用记录通过 `MR0` 到 `MR3` 内部审查级别进行路由，无法开启通知或响应准则工作流。欺诈测试夹具使用 `FR0` 到 `FR3`，并且同样被隔离。操作部署、受限数据、私有查询日志或 AI 撰写的报告摘要需要经过单独的批准和安全审查。 ## 评估方法 评估被视为证据链接的路由评估，而非广泛的性能证明。 | 评估术语 | 含义 | 限制 | |---|---|---| | 测试夹具一致性 | 受控的安全记录路由至预期的 `MR` 或 `FR` 级别 | 并非真实世界的模型安全或欺诈检测性能 | | 审查过的基准 | 带有引用和预期路由的分析师标记的公开来源 CHEM 事件 | 并非全人群检测性能 | | 路由一致性 | 生成的路由与记录在案的预期路由相匹配 | 除非评估集支持该声明，否则不代表准确率 | | 遗漏的预期优先级 | 生成的路由低于记录在案的高优先级预期 | 需要经过审查的标签 | | 意外的高优先级 | 生成的路由高于记录在案的低优先级预期 | 支持误报审查，不支持独立的比率声明 | | 工作量比较 | 对兼容的运行进行警报计数和路由更改的比较 | 历史运行不会计入当前的警报总数中 | 该平台记录信号质量指标、遗漏路由审查、意外升级审查和工作量变化。精确率、召回率、误报率和漏报率将被推迟，直到有经过批准的标记基准设计支持这些衡量标准。 ## 威胁和升级处理 警报使用 `TL0` 到 `TL4` 处理机制： | 级别 | 含义 | |---|---| | `TL0` | 记录的观察结果 | | `TL1` | 监控 | | `TL2` | 在高级审查下进行调查 | | `TL3` | 升级以进行内部通知和外部报告评估 | | `TL4` | 紧急或强制报告情况；软件工作流绝不能延误响应 | 对于 `TL3` 和 `TL4`，平台会记录 `NIMS/ICS`、`NRF`/ESFs、`NCP/NRS`、`BIA`、`NRIA` 或范围严格的 `NARP` 参考的潜在适用性。除非记录了经过验证的证据，否则它无法声称某个负责机构启动了某项计划。 ## 文档 - [架构](
标签：AV绕过, CBRN-E, FastAPI, HTTP/HTTPS抓包, 态势感知, 测试用例, 版权保护, 逆向工具