lavanyaashri/PromptInjectionResearch
GitHub: lavanyaashri/PromptInjectionResearch
使用轻量级机器学习模型检测大语言模型 prompt injection 攻击的研究项目，评估了不同分类器在不同攻击严重程度下的检测性能。
Stars: 0 | Forks: 0
# Prompt Injection 检测研究
本项目研究了使用轻量级机器学习模型进行 prompt injection 检测，并探讨了检测性能如何随 prompt injection 的严重程度而变化。
评估的模型：
* Logistic Regression
* Random Forest
* SVM (LinearSVC)
数据集：
* SPML Prompt Injection Dataset
当前结果：
| 模型 | 准确率 |
| ------------------- | -------- |
| Logistic Regression | 82.98% |
| SVM | 89.73% |
| Random Forest | 96.60% |
当前发现：
* Random Forest 取得了最高的性能。
* 随着攻击严重程度的增加，检测性能也会提升。
* 检测低严重程度的 prompt injection 明显比检测高严重程度的攻击更困难。
* 对于高严重程度的攻击，其召回率几乎达到完美水平。
仓库结构：
```
data/
figures/
notebooks/
results/
```
工作正在进行中。
标签：Apex, DLL 劫持, NoSQL, 人工智能, 分类模型, 大语言模型, 机器学习, 用户模式Hook绕过, 逆向工具