cckuailong/awesome-gpt-security

# Awesome GPT + Security [](https://github.com/sindresorhus/awesome) 一个精选的列表，收录了与 LLM 或 GPT 相关的出色安全工具、实验案例或其他有趣的内容。 ## 目录 - [工具](#tools) - [综合工具](#integrated) - [审计](#audit) - [侦察](#reconnaissance) - [攻击](#offensive) - [检测](#detecting) - [防御](#preventing) - [社会工程学](#social-engineering) - [逆向工程](#reverse-engineering) - [调查](#investigation) - [修复](#fix) - [评估](#assessment) - [案例](#cases) - [实验性](#experimental) - [学术](#academic) - [博客](#blogs) - [趣味](#fun) - [GPT 安全](#gpt-security) - [标准](#standard) - [绕过安全策略](#bypass-security-policy) - [Bug Bounty](#bug-bounty) - [破解](#crack) - [插件安全](#plugin-security) - [贡献](#contributing)  ## 注意 这里有一个[好工具](https://github.com/cckuailong/SuperAdapters)，可以在所有平台上使用所有适配器对所有的 LLM 进行微调！ ## 工具 🧰 ### 综合工具 * [SecGPT](https://github.com/ZacharyZcR/SecGPT) - SecGPT 旨在通过结合 LLM 为网络安全做出更多贡献，包括渗透测试、红蓝对抗、CTF 竞赛等方面。 * [AutoAudit](https://github.com/ddzipp/AutoAudit) - 用于网络安全的 LLM * [secgpt](https://github.com/Clouditera/secgpt) - 网络安全 LLM（使用一些网络安全材料对 baichuan-13B 进行 Lora 微调） * [HackerGPT-2.0](https://github.com/Hacker-GPT/HackerGPT-2.0) - HackerGPT 是您在黑客世界中不可或缺的数字伴侣。 ### 审计 * [SourceGPT](https://github.com/NightmareLab/SourceGPT) - 构建于 ChatGPT 之上的 prompt 管理器和源代码分析器 * [vulnhuntr](https://github.com/protectai/vulnhuntr) - 使用 LLM 进行零样本漏洞发现 * [ChatGPTScanner](https://github.com/YulinSec/ChatGPTScanner) - 由 ChatGPT 驱动的白盒代码扫描 * [chatgpt-code-analyzer](https://github.com/MilindPurswani/chatgpt-code-analyzer) - 用于 Visual Studio Code 的 ChatGPT 代码分析器 * [hacker-ai](https://hacker-ai.ai/#hacker-ai) - 使用 AI 检测源代码漏洞的在线工具 * [audit_gpt](https://github.com/fuzzland/audit_gpt) - 为智能合约审计微调的 GPT * [vulchatgpt](https://github.com/ke0z/vulchatgpt) - 使用 IDA PRO HexRays 反编译器和 OpenAI(ChatGPT) 来发现二进制文件中可能存在的漏洞 * [Ret2GPT](https://github.com/DDizzzy79/Ret2GPT) - 利用 OpenAI 的 LangChain 技术的高级 AI 驱动二进制分析工具，彻底改变了 CTF Pwn 手在二进制文件解释和漏洞检测方面的体验。 * [AuthzAI](https://github.com/ngalongc/AuthzAI) - 一个自动化工具，使用 OpenAI 结构化输出测试和分析 API 端点是否存在潜在的权限模型违规。 * [SinkFinder](https://github.com/Phelaine/SinkFinder) - 用于闭源系统的半自动漏洞挖掘工具，对 jar/war/zip 进行静态代码分析，加入 LLM 大模型能力以验证路径可达性，LLM 根据上下文代码环境判断路径的信任分数 * [VulnHawk](https://github.com/momenbasel/vulnhawk) - 由 LLM 驱动的 SAST 扫描器，使用 Claude、GPT 和 Ollama 进行上下文增强分析，以检测需要理解业务逻辑的漏洞，如缺失授权、IDOR 和不一致的安全控制 ### 侦察 * [CensysGPT Beta](https://gpt.censys.io) - 该工具使用户能够快速轻松地获取互联网上主机的洞察信息，简化流程，从而实现更主动的威胁狩猎和暴露面管理 * [GPT_Vuln-analyzer](https://github.com/morpheuslord/GPT_Vuln-analyzer) - 使用 ChatGPT API、Python-Nmap、DNS Recon 模块，并利用 GPT3 模型基于 Nmap 扫描数据和 DNS 扫描信息创建漏洞报告。它还能在很大程度上执行子域名枚举 * [SubGPT](https://github.com/s0md3v/SubGPT) - SubGPT 会查看您已经发现的某个域名的子域，并使用 BingGPT 来查找更多子域。 * [Navi](https://github.com/SSGOrg/Navi) - 一款基于 QA 并结合 GPT 的侦察工具 * [ChatCVE](https://github.com/jasona7/ChatCVE) - ChatCVE Lang Chain App 是一款 AI 驱动的 devSecOps 应用程序 🔍，专为分诊和聚合 CVE（常见漏洞和暴露）信息的组织而设计。 * [ZoomeyeGPT](https://github.com/knownsec/ZoomeyeGPT) - ZoomEyeGPT 浏览器扩展是一款基于 GPT 的 Chrome 浏览器扩展，旨在为 ZoomEye 用户带来 AI 辅助的搜索体验。 * [uncover-turbo](https://github.com/zt2/uncover-turbo) - 实现通用自然语言测绘引擎，打通从自然语言到测绘语法的最后一公里。 * [DevOpsGPT](https://github.com/kuafuai/DevOpsGPT) - AI 驱动的软件开发自动化解决方案 ### 攻击 * [PentestGPT](https://github.com/GreyDGL/PentestGPT) - 一款由 GPT 赋能的渗透测试工具 * [HackingBuddyGPT](https://github.com/ipa-lab/hackingBuddyGPT): LLM x 渗透测试，专注于 linux 提权和 web/web-api 渗透测试 * [burpgpt](https://github.com/aress31/burpgpt) - 一个 Burp Suite 扩展，集成了 OpenAI 的 GPT 来执行额外的被动扫描以发现高度定制化的漏洞，并支持运行任何基于流量的分析。 * [ReconAIzer](https://github.com/hisxo/ReconAIzer) - 一款 Burp Suite 扩展，在 Burp 中加入 OpenAI (GPT)，协助您进行 Bug Bounty 侦察，发现端点、参数、URL、子域名等！ * [Cochise](https://github.com/andreashappe/cochise/): 针对 Microsoft Windows Active Directory 执行自主渗透测试的 LLM agent（使用 [GOAD](https://github.com/Orange-Cyberdefense/GOAD) 作为测试床）。 * [CodaMOSA](https://github.com/microsoft/codamosa) - CodaMOSA 是论文《CodaMOSA: Escaping Coverage Plateaus in Test Generation with Pre-trained Large Language Models》的代码。它实现了一个结合 OpenAI API 的 fuzzer，旨在缓解传统 fuzz 中覆盖率停滞的问题。 * [PassGAN](https://github.com/brannondorsey/PassGAN) - 一种用于密码猜测的深度学习方法。[HomeSecurityHeroes 发布了一款产品](https://www.homesecurityheroes.com/ai-password-cracking/)，您可以在这里测试 AI 需要多少时间才能破解您的密码。 * [nuclei-ai-extension](https://github.com/projectdiscovery/nuclei-ai-extension) - 由 Nuclei 团队官方出品。用于快速生成 Nuclei 模板的浏览器扩展。 * [nuclei_gpt](https://github.com/sf197/nuclei_gpt) - 只需提交相关的 Request 和 Response 以及漏洞描述，即可生成 Nuclei PoC。 * [Nuclei Templates AI Generator](https://templates.nuclei.sh/) -- 通过文本描述创建 Nuclei 模板（例如，基于 PoC 的漏洞扫描器）。 * [hackGPT](https://github.com/NoDataFound/hackGPT) - 利用 OpenAI 和 ChatGPT 做一些黑客性质的事情 * [AutorizePro](https://github.com/sule01u/AutorizePro) - AutorizePro 是一个用于 burp suite 的授权执行检测扩展。通过添加 AI 辅助分析，它显著降低了误报率并提高了漏洞检测效率。 ### 检测 * [k8sgpt](https://github.com/k8sgpt-ai/k8sgpt/) - 一个用于扫描您的 Kubernetes 集群、诊断和分诊问题的工具，并以简单的英语输出。 * [cloudgpt](https://github.com/ustayready/cloudgpt) - 使用 ChatGPT 的 AWS 客户托管策略漏洞扫描器 * [IATelligence](https://github.com/fr0gger/IATelligence) - 关于 IATelligence 是一个 Python 脚本，它将提取 PE 文件的 IAT，并请求 GPT 以获取有关 API 和相关 ATT&CK 矩阵的更多信息 * [rebuff](https://github.com/protectai/rebuff) - Prompt 注入检测器。 * [Callisto](https://github.com/JetP1ane/Callisto) - 一个智能的自动化二进制漏洞分析工具。 * [LLMFuzzer](https://github.com/mnns/LLMFuzzer) - LLMFuzzer 是第一个开源的模糊测试框架，专为大型语言模型（LLM）设计，特别是针对它们通过 LLM API 在应用程序中的集成。 * [Vigil](https://github.com/deadbits/vigil-llm) - Prompt 注入检测和 LLM prompt 安全扫描器 * [AgentShield](https://github.com/elliotllliu/agent-shield) - 针对 AI agent 技能、MCP server 和插件的安全扫描器。31 条规则检测 prompt 注入（8 种语言，55+ 模式）、数据泄露、后门、工具投毒和跨文件攻击链。包含用于实时拦截的 MCP runtime 代理。 * [Agent Threat Rules (ATR)](https://github.com/Agent-Threat-Rule/agent-threat-rules) - 针对 AI agent 威胁（prompt 注入、工具投毒、MCP 攻击、技能妥协）的开放检测标准 —— Sigma/YARA 风格的 YAML 规则。包含 9 个攻击类别共 330 条规则，完全映射到 OWASP Agentic Top 10 (10/10)、MITRE ATLAS (100/113)、NIST AI RMF (100%) 和 SAFE-MCP (78/85)。在 garak 探针集上实现了 97.1% 的召回率，并且在 53,577 个真实的 MCP 技能上实现了 0% 的误报。已在 Cisco AI Defense 和 Microsoft agent-governance-toolkit 中应用于生产环境。Apache-2.0。 ### 防御 ### 社会工程学 * [ChatGPT-Web-Setting-Funny-Abuse](https://github.com/Esonhugh/ChatGPT-Web-Setting-Funny-Abuse) - 玩转 ChatGPT-Web 并发现了描述设置中的 HTML 渲染。 ### 逆向工程 * [LLM4Decompile](https://github.com/albertan017/LLM4Decompile) - 逆向工程：使用大型语言模型反编译二进制代码 * [Gepetto](https://github.com/JusticeRage/Gepetto) - 关于 IDA 插件，通过查询 OpenAI 的 gpt-3.5-turbo 语言模型来加速逆向工程 * [gpt-wpre](https://github.com/moyix/gpt-wpre) - 使用 GPT-3 进行全程序逆向工程 * [G-3PO](https://github.com/tenable/ghidra_tools/tree/main/g3po) - 一个请求 GPT-3 对反编译代码进行注释的脚本 ### 调查 * [beelzebub](https://github.com/mariocandela/beelzebub) - 基于 Go 的低代码蜜罐框架，具有增强的安全性，利用 GPT-3 进行系统虚拟化 ### 修复 * [wolverine](https://github.com/biobootloader/wolverine) - 自动修复 Python 脚本/代码中的 Bug ### 评估 * [falco-gpt](https://github.com/Dentrax/falco-gpt) - 为 Falco 审计事件生成 AI 修复方案 * [selefra](https://github.com/selefra/selefra) - 一款开源的策略即代码软件，为多云和 SaaS 提供分析功能。 * [openai-cti-summarizer](https://github.com/EC-DIGIT-CSIRC/openai-cti-summarizer) - openai-cti-summarizer 是一款基于 OpenAI 的 GPT-3.5 和 GPT-4 API 生成威胁情报摘要报告的工具 * [HOL Guard](https://github.com/hashgraph-online/hol-guard) - 为 AI 编码 agent 提供的本地优先 runtime 安全。在执行前拦截 shell 命令、机密读取和 MCP 更改，并提供可配置的保护级别。 ## 案例 🌰 ### 实验性 * [迷失在 ChatGPT 的记忆中：逃离 ChatGPT-3.5 记忆问题来编写 CVE PoC](https://tin-z.github.io/chatgpt/go/cve/2023/04/14/escaping_chatgpt_memory.html) * [我仅使用 ChatGPT prompt 构建了一个带有无法检测的数据泄露功能的零日病毒](https://www.forcepoint.com/blog/x-labs/zero-day-exfiltration-using-chatgpt-prompts) * [使用 GPT-3 检测代码安全漏洞的实验](https://github.com/chris-koch-penn/gpt3_security_vulnerability_scanner) * [我们在 Semgrep 中加入 GPT-4 来指出误报并修复代码](https://semgrep.dev/blog/2023/gpt4-and-semgrep-detailed) * [使用 ChatGPT 的一个实用的、AI 生成的钓鱼 PoC](https://curtbraz.medium.com/a-practical-ai-generated-phishing-poc-f81d3c3da76b) * [使用 GPT-4 夺旗](https://micahflee.com/2023/04/capturing-the-flag-with-gpt-4/) * [我使用 GPT-3 在单个代码库中发现了 213 个安全漏洞](https://betterprogramming.pub/i-used-gpt-3-to-find-213-security-vulnerabilities-in-a-single-codebase-cc3870ba9411) * [使用 ChatGPT 生成编码器并支持 WebShell](https://mp.weixin.qq.com/s/I9IhkZZ3YrxblWIxWMXAWA) * [使用 OpenAI Chat 生成钓鱼活动](https://www.richardosgood.com/posts/using-openai-chat-for-phishing/) -- 包含钓鱼平台 * [针对安全的 ChatGPT 实验](https://github.com/mesutgungor/ChatGPT4Security) * [GPT-3 在网络安全中的用例](https://github.com/sophos/gpt3-and-cybersecurity) * [AI 驱动的模糊测试：打破漏洞 hunting 瓶颈](https://security.googleblog.com/2023/08/ai-powered-fuzzing-breaking-bug-hunting.html) ### 学术 * [GPT-4 技术报告](https://arxiv.org/abs/2303.08774) -- OpenAI 对该模型自身的安全评估和缓解措施 * [忽略之前的 Prompt：针对语言模型的攻击技术](https://arxiv.org/pdf/2211.09527.pdf) -- Prompt 注入的先驱工作 * [超乎您的要求：对应用集成的大型语言模型的新型 Prompt 注入威胁的全面分析](https://arxiv.org/abs/2302.12173) * [RealToxicityPrompts：评估语言模型中的神经毒性退化](https://arxiv.org/pdf/2009.11462.pdf) * [利用 LLM 的可编程行为：通过标准安全攻击实现双重用途](https://arxiv.org/pdf/2302.05733.pdf) * [通过红队测试语言模型以减少危害：方法、扩展行为与经验教训](https://arxiv.org/pdf/2209.07858.pdf) * [我们可以通过自然语言生成 shellcode 吗？一项实证研究](https://link.springer.com/article/10.1007/s10515-022-00331-3) ### 博客 * [以 chatGPT 为助手剖析 redis CVE-2023-28425](https://tin-z.github.io/redis/cve/chatgpt/2023/04/02/redis-cve2023.html) * [使用 ChatGPT 进行安全代码审查](https://research.nccgroup.com/2023/02/09/security-code-review-with-chatgpt/) * [ChatGPT 很乐意编写勒索软件，只是写得非常糟糕](https://www.malwarebytes.com/blog/news/2023/03/chatgpt-happy-to-write-ransomware-just-really-bad-at-it?utm_source=blueshift&utm_medium=email&utm_campaign=b2c_pro_oth_20230403_aprilweeklynewsletter_v1_168025968119&utm_content=chatgpt_ransomware) * [创建 ATT&CK 组织知识库](https://otrf.github.io/GPT-Security-Adventures/experiments/ATTCK-GPT/notebook.html) * [模型混淆 - 为红队和赏金猎人武器化 ML 模型](https://5stars217.github.io/2023-08-08-red-teaming-with-ml-models/) * [使用 LLM 逆向 JavaScript 变量名压缩](https://thejunkland.com/blog/using-llms-to-reverse-javascript-minification) * [CircleGuardBench - 一个用于评估 AI 模型保护能力的全方位基准测试](https://huggingface.co/blog/whitecircle-ai/circleguardbench) ### 趣味 * [能让 GPT 保护密钥的最短 prompt](https://gpd.43z.one/) * [一个类似 CTF 的游戏，教你如何使用语言技巧绕过 LLM](https://doublespeak.chat/#/) * [ai-goat](https://github.com/dhammon/ai-goat) - 通过一系列存在漏洞的 LLM CTF 挑战来学习 AI 安全。 ## GPT 安全 🚨 ### 标准 * [modelscan](https://github.com/protectai/modelscan) - 针对模型序列化攻击的防护 * [promptfoo](https://github.com/promptfoo/promptfoo) - LLM 红队和评估框架。包含用于扫描 ML 模型中的恶意代码、后门和序列化攻击的 modelaudit。支持 CI/CD 集成 * [针对 LLM 应用的 ATT&CK](https://atlas.mitre.org/) * [大型语言模型应用的 OWASP Top 10 项目](https://owasp.org/www-project-top-10-for-large-language-model-applications/) * [Google AI 红队](https://services.google.com/fh/files/blogs/google_ai_red_team_digital_final.pdf) * [PurpleLlama](https://github.com/facebookresearch/PurpleLlama) - 赋能开发者，提升安全性，构建开放的生态系统 * [agentic_security](https://github.com/msoedov/agentic_security) - Agentic LLM 漏洞扫描器 * [garak](https://github.com/NVIDIA/garak) - LLM 漏洞扫描器 * [inspect_ai](https://github.com/UKGovernmentBEIS/inspect_ai) - Inspect：一个用于大型语言模型评估的框架 * [WFGY 问题地图](https://github.com/onestardao/WFGY/blob/main/ProblemMap/README.md) - 这是一本结构化的诊断手册，对 RAG/Agent 系统中常见的 AI 故障模式进行了分类和编号，提供了从“症状识别”到“精确修复”的完整路径。 * [SecLens](https://github.com/mattersec-labs/seclens) - 使用真实的 CVE 评估 LLM 在安全漏洞检测方面的基准测试。涵盖 5 种利益相关者视角、406 项任务和 12 种模型。([论文](https://arxiv.org/abs/2604.01637)) ### 绕过安全策略 * [Chat GPT "DAN"（以及其他“越狱”）](https://gist.github.com/coolaj86/6f4f7b30129b0251f61fa7baaa881516) * [用于 Bug Bounty 和渗透测试的 ChatGPT Prompts](https://github.com/TakSec/chatgpt-prompts-bug-bounty) * [promptmap](https://github.com/utkusen/promptmap) - 自动测试针对 ChatGPT 实例的 prompt 注入攻击 * [使用“Typoglycemia”绕过 LLM 的安全策略](https://mp.weixin.qq.com/s?__biz=MzkwNDI1NDUwMQ==&mid=2247486630&idx=1&sn=814af2fb7a06e5283b026c6483c47b07) * [针对对齐语言模型的通用且可转移的对抗性攻击](https://llm-attacks.org/) * [promptbench](https://github.com/microsoft/promptbench) - 大型语言模型针对对抗性 prompt 的鲁棒性评估框架 * [jailbreak_llms](https://github.com/verazuo/jailbreak_llms) - 一个数据集，包含来自 Reddit、Discord、网站和开源数据集的 15,140 个 ChatGPT prompt（包括 1,405 个越狱 prompt）。 ### Bug Bounty * [在 ChatGPT 内部构建虚拟机](https://www.engraved.blog/building-a-virtual-machine-inside/) - 虽已过时但很有趣 * [LangChain 存在代码注入漏洞 -- CVE-2023-29374](https://github.com/advisories/GHSA-fprp-p869-w6q2) * [ai-exploits](https://github.com/protectai/ai-exploits) - 一系列真实世界的 AI/ML 漏洞利用，针对负责任披露的漏洞 ### 破解 * [gpt4free](https://github.com/xtekky/gpt4free) - 仅包含一些语言模型站点的 API。 * [EdgeGPT](https://github.com/acheong08/EdgeGPT) - 逆向工程获得的微软 Bing Chat AI API * [GPTs](https://github.com/linexjlin/GPTs) - 泄露的 GPTs prompt ### 插件安全 * [SecureGPT](https://escape.tech/securegpt) – 动态测试您的 ChatGPT 插件 API 的安全性（免费的 ChatGPT 插件 DAST 工具）。

标签：C2, DLL 劫持, Petitpotam, 人工智能, 大语言模型, 子域名突变, 漏洞利用检测, 用户模式Hook绕过, 网络安全, 逆向工具, 隐私保护