piyenghar/plc-bpmn-llm-artifacts

GitHub: piyenghar/plc-bpmn-llm-artifacts

该仓库提供了基于LLM生成IEC 62443合规PLC安全需求的研究数据制品,包含场景定义、基线概念、模型输出及评估结果,用于分析不同提示模式下的生成效果。

Stars: 0 | Forks: 0

# 流程感知的 OT 安全需求:数据制品 本仓库提供我们研究中使用的**数据制品**,该研究涉及基于 LLM 的 IEC 62443 合规 PLC 安全需求生成与评估,并使用 BPMN 衍生的流程上下文。 ## 本次发布范围 这是一个**仅数据发布**。 它包含场景定义、基线概念集、模型输出和聚合评估结果。 本版本故意不包含代码。 ## 包含的文件 ### 1) `data/scenarios.json` 定义用于生成的场景和提示上下文设计。 每个场景对象包含: - `scenario_id` - `system_context` - `task_name` - `previous_task` - `next_task` - `expected_artifact` - `iec62443_principles`(列表) 此文件表示提示中使用的 BPMN 衍生上下文抽象。 ### 2) `data/keyword_baselines.json` 定义每个工程任务使用的关键词/概念基线,用于概念覆盖率评估。 对于每个任务,基线项目描述了预期的 IEC 62443 合规概念。 ### 3) `outputs/results.json` 所有运行轮次的原始生成输出。 每条记录包含: - `timestamp_utc` - `scenario_id` - `task_name` - `expected_artifact` - `prompt_mode` - `model` - `prompt` - `response`(模型生成的需求) ### 4) `outputs/annotated_results.json` 带有评估注释的运行级输出。 包含匹配和评分详情,例如: - 基线项目 - 每个项目的匹配详情 - `matched_count` - `pass` / `fail` 状态(基于阈值) - 分析中使用的其他诊断字段 ### 5) `outputs/evaluation_summary.json` 用于快速验证和重用的聚合评估统计信息。 包含摘要块,例如: - `overall` - `by_model` - `by_prompt_mode` - `by_task_name` - `baseline_item_hits` ## 实验框架(反映在制品中) - 提示模式: - `task_only` - `bpmn_only` - `standards_only` - `bpmn_plus_standards` - 评估的模型:列于 `results.json` 中 - 通过规则(见摘要文件): `如果 matched_count >= 5 个基线项目中的 3 个,则通过` ## 用户说明 - `results.json` 包含完整的提示和生成的文本输出。 - `annotated_results.json` 和 `evaluation_summary.json` 足以支持大多数二次分析。 - 字段名称应作为解析的真实来源。 ## 可复现性声明 本制品发布旨在支持**结果检查、验证和数据输出的重用**。 本仓库版本不包含完整的代码发布。 ## 引用 如果您使用这些制品,请引用相应的论文:
标签:BPMN, C2, DLL 劫持, Homebrew安装, ICS安全, IEC 62443, OT安全, PLC安全, prompt工程, 人工智能安全, 制造业安全, 反取证, 合规性, 大语言模型, 安全标准合规, 安全评估, 安全需求工程, 工业控制系统安全, 工业自动化, 概念覆盖评估, 流程建模, 结构化查询, 网络安全, 自动化安全, 过程感知计算, 运营技术, 隐私保护, 需求生成