piyenghar/plc-bpmn-llm-artifacts
GitHub: piyenghar/plc-bpmn-llm-artifacts
该仓库提供了基于LLM生成IEC 62443合规PLC安全需求的研究数据制品,包含场景定义、基线概念、模型输出及评估结果,用于分析不同提示模式下的生成效果。
Stars: 0 | Forks: 0
# 流程感知的 OT 安全需求:数据制品
本仓库提供我们研究中使用的**数据制品**,该研究涉及基于 LLM 的 IEC 62443 合规 PLC 安全需求生成与评估,并使用 BPMN 衍生的流程上下文。
## 本次发布范围
这是一个**仅数据发布**。
它包含场景定义、基线概念集、模型输出和聚合评估结果。
本版本故意不包含代码。
## 包含的文件
### 1) `data/scenarios.json`
定义用于生成的场景和提示上下文设计。
每个场景对象包含:
- `scenario_id`
- `system_context`
- `task_name`
- `previous_task`
- `next_task`
- `expected_artifact`
- `iec62443_principles`(列表)
此文件表示提示中使用的 BPMN 衍生上下文抽象。
### 2) `data/keyword_baselines.json`
定义每个工程任务使用的关键词/概念基线,用于概念覆盖率评估。
对于每个任务,基线项目描述了预期的 IEC 62443 合规概念。
### 3) `outputs/results.json`
所有运行轮次的原始生成输出。
每条记录包含:
- `timestamp_utc`
- `scenario_id`
- `task_name`
- `expected_artifact`
- `prompt_mode`
- `model`
- `prompt`
- `response`(模型生成的需求)
### 4) `outputs/annotated_results.json`
带有评估注释的运行级输出。
包含匹配和评分详情,例如:
- 基线项目
- 每个项目的匹配详情
- `matched_count`
- `pass` / `fail` 状态(基于阈值)
- 分析中使用的其他诊断字段
### 5) `outputs/evaluation_summary.json`
用于快速验证和重用的聚合评估统计信息。
包含摘要块,例如:
- `overall`
- `by_model`
- `by_prompt_mode`
- `by_task_name`
- `baseline_item_hits`
## 实验框架(反映在制品中)
- 提示模式:
- `task_only`
- `bpmn_only`
- `standards_only`
- `bpmn_plus_standards`
- 评估的模型:列于 `results.json` 中
- 通过规则(见摘要文件):
`如果 matched_count >= 5 个基线项目中的 3 个,则通过`
## 用户说明
- `results.json` 包含完整的提示和生成的文本输出。
- `annotated_results.json` 和 `evaluation_summary.json` 足以支持大多数二次分析。
- 字段名称应作为解析的真实来源。
## 可复现性声明
本制品发布旨在支持**结果检查、验证和数据输出的重用**。
本仓库版本不包含完整的代码发布。
## 引用
如果您使用这些制品,请引用相应的论文:
标签:BPMN, C2, DLL 劫持, Homebrew安装, ICS安全, IEC 62443, OT安全, PLC安全, prompt工程, 人工智能安全, 制造业安全, 反取证, 合规性, 大语言模型, 安全标准合规, 安全评估, 安全需求工程, 工业控制系统安全, 工业自动化, 概念覆盖评估, 流程建模, 结构化查询, 网络安全, 自动化安全, 过程感知计算, 运营技术, 隐私保护, 需求生成