MukundaKatta/rag-guardrails-action
GitHub: MukundaKatta/rag-guardrails-action
一个 GitHub Action,用于在 RAG 管道中扫描检索文本的 prompt injection 和 vector poisoning 信号,防止恶意内容到达 LLM。
Stars: 0 | Forks: 0
# RAG Guardrails 操作
GitHub Action,用于在检索到的文本片段到达你的 LLM 之前,扫描其是否存在 prompt-injection 模式和 vector-poisoning 信号。封装了两个零依赖的 npm 库:
- [`@mukundakatta/prompt-injection-shield`](https://www.npmjs.com/package/@mukundakatta/prompt-injection-shield)
- [`@mukundakatta/vector-poison-score`](https://www.npmjs.com/package/@mukundakatta/vector-poison-score)
## 用法
```
name: RAG guardrails
on: [pull_request]
jobs:
scan:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: MukundaKatta/rag-guardrails-action@v0.1.0
with:
fixtures-dir: fixtures
fail-on: high
poison-threshold: '0.5'
```
## 输入
| 名称 | 默认值 | 描述 |
|---|---|---|
| `fixtures-dir` | `fixtures` | 包含 `.txt` / `.md` / `.json` 检索文本 fixture 的目录 |
| `fail-on` | `high` | `any`(有任何信号即失败)/ `high`(仅检测到 injection 即失败)/ `none`(仅生成报告) |
| `poison-threshold` | `0.5` | 当得分高于此值时,该 chunk 被标记为 poisoned (0.0-1.0) |
## 输出
- `injection-hits` — 检测到 prompt-injection 信号的 fixture 数量
- `poison-hits` — 超过 poison 阈值的 fixture 数量
- `report` — 包含完整检测结果的 `rag-guardrails-report.json` 的路径
## 相关预印本
[用于检索增强生成的小规则 Guardrails](https://doi.org/10.5281/zenodo.20057056) (CC BY 4.0)。
## 许可证
MIT
标签:DLL 劫持, GitHub Action, MITM代理, Naabu, 人工智能安全, 内容安全, 合规性, 大语言模型, 暗色界面, 零日漏洞检测