justinkyuQA/llm-prompt-injection-suite

cat > README.md <<'EOF' # LLM Prompt Injection Suite 一个模块化的工具包，用于评估大型语言模型（LLM）中的 prompt 注入漏洞、对抗行为、越狱尝试和指令绕过技术。 ## 概述 LLM Prompt Injection Suite 是一个面向研究的框架，专注于测试现代 AI 系统的弹性和安全边界。 该工具包可帮助研究人员、开发者和安全从业者： - 评估 prompt 注入抵抗力 - 分析越狱有效性 - 测试指令层级处理 - 衡量安全策略的稳健性 - 构建对抗性测试数据集 - 自动化评估工作流 本项目旨在用于防御性安全研究、AI 安全测试和模型评估。 ## 项目创立初衷 Prompt 注入仍然是影响现代 LLM 应用程序最常见的攻击类别之一。 LLM Prompt Injection Suite 提供了一个轻量级、可复现的框架，用于评估大型语言模型中的指令绕过技术、prompt 泄露尝试、越狱 prompt 和对抗行为。 其目标是支持防御性安全研究、AI 安全测试和评估方法的开发。 ## 快速示例 运行 prompt 注入评估： ``` python src/evaluator.py --dataset prompts/direct_injection.txt t_injection.txt ``` 示例输出： ``` Loaded prompts Evaluation complete. Results saved to results/direct_injection_results.json ``` ## 评估工作流 Prompt 数据集 ↓ 批量评估 ↓ 评分引擎 ↓ JSON 结果 ↓ 评估报告 ↓ 风险分析 ## 截图 ### 批量评估  ### 项目结构  ### 攻击库  ### 攻击数据集与结果  ### 评分引擎输出  ### 评估报告示例  ## 功能 ### 当前功能 - Prompt 注入测试 - 批量评估运行器 - 直接注入数据集 - 指令覆盖数据集 - Prompt 泄露数据集 - 角色扮演攻击数据集 - JSON 结果生成 - 注入成功率评分 - 结构化报告 - 模块化 Python 架构 ## 报告 Prompt Injection Suite 可以为对抗性 prompt 测试生成结构化的评估报告。 报告摘要包括： - 攻击类别 - 注入成功率 - 风险评级 - 发现 - 建议 示例报告存储在 `reports/` 目录中。 ## 项目结构 ``` llm-prompt-injection-suite/ ├── prompts/ ├── results/ ├── reports/ ├── screenshots/ ├── src/ ├── README.md ├── RELEASE.md └── LICENSE ``` ## 安装说明 ``` git clone https://github.com/justinkyuQA/llm-prompt-injection-suite.git cd llm-prompt-injection-suite pip install -r requirements.txt ``` ## 使用说明 运行批量评估套件： ``` python src/run_all.py ``` 运行特定数据集： ``` python src/evaluator.py --dataset prompts/direct_injection.txt ``` ## 研究目标 本项目探索： - 对抗性 prompting - Prompt 注入向量 - 指令覆盖攻击 - 上下文投毒 - Prompt 泄露 - AI 系统的评估方法 ## 道德规范使用 本仓库严格用于： - 防御性安全研究 - 教育目的 - AI 安全评估 - 授权的测试环境 用户有责任遵守所有适用的法律、平台政策和负责任的披露实践。 ## 路线图 ### v1.0 - Prompt 注入数据集 - 批量评估框架 - JSON 结果生成 - 截图文档 - 公开发布 ### v1.1 - 结构化报告 - 扩展的攻击语料库 - 增强的评分指标 ### v2.0 - 多模型评估 - 本地 LLM 集成 - 自动化 fuzzing 工作流 ## 技术 - Python - Git - GitHub - Linux - Termux - AI 安全研究 - LLM 评估技术 ## 贡献 欢迎贡献、想法和研究讨论。 ## 许可证 MIT License

标签：AI安全, Chat Copilot, DLL 劫持, 人工智能, 大模型评估, 大语言模型, 用户模式Hook绕过, 红队评估, 逆向工具