RayaBuckley/4thYearProject

GitHub: RayaBuckley/4thYearProject

该项目研究一种为 LLM 系统设计的溯源感知授权架构,通过为每条信息携带并传播 provenance 来防御 prompt injection 导致的权限提升。

Stars: 0 | Forks: 0

四年级项目 四年级计算机科学毕业论文项目,旨在研究一种面向基于 LLM 系统的溯源感知授权架构。 概述 现代 LLM 应用程序容易通过 prompt injection 和间接影响攻击导致权限提升,因为它们通常使用应用程序自身的权限来执行操作,而不是使用导致这些操作的信息所具有的权限。 本项目研究了一种替代的执行模型,其中每条信息都携带 provenance,并且每个受保护的操作都根据促成该操作的所有信息的有效权限进行授权。 核心假设是,在整个执行过程中传播 provenance 并根据该 provenance 评估授权,可以在不依赖 prompt 过滤或可信/不可信输入分类的情况下防止未经授权的操作。 目标 * 为 LLM 系统开发溯源感知执行模型。 * 设计基于源自 provenance 权限的授权模型。 * 支持受 AWS IAM、Google Cloud IAM 和 Microsoft Entra 启发的实际企业授权策略。 * 针对 prompt injection 和相关影响攻击评估该架构。 * 产出一份展示所提设计的参考实现。 计划架构 src/ fourth_year_project/ core/ execution/ auth/ policy/ tools/ tests/ docs/ examples/ 开发原则 * 信息永远不被分类为可信或不可信。 * 每个 artifact 都携带 provenance。 * provenance 通过每个操作进行传播。 * 在受保护操作之前立即评估授权。 * 策略与执行语义分离。 * 组件应可独立测试。 仓库状态 🚧 早期开发阶段。 初始实现侧重于核心 provenance 数据模型,然后再引入执行图、授权和策略引擎。
标签:C2, Streamlit, 大语言模型(LLM), 学术论文/毕业设计, 提示词注入防御, 权限管理, 模型越狱, 溯源感知架构, 系统架构, 访问控制, 逆向工具