zTehRyaN/awesome-ai-security-papers
GitHub: zTehRyaN/awesome-ai-security-papers
一份精选的 AI 安全论文与博客阅读清单，聚焦 GenAI/LLM 安全、ML 安全与隐私领域的前沿研究。
Stars: 2 | Forks: 0
# 极佳的 AI 安全论文 [](https://awesome.re)
一份精心挑选且紧跟前沿的阅读清单，收录了 AI 安全领域最具影响力的论文和博客文章 —— 主要关注 GenAI/LLM 安全，但也涵盖了广泛的 ML 安全和隐私问题。
这并不是一份详尽无遗的集合。这是我在每周阅读数十篇论文、预印本和深度分析后，挑选出的给我留下最深印象的个人精选读物。如果有人问你*“我想进入 GenAI/LLM 安全领域，你有什么资源可以推荐给我吗？”*，这个仓库就是我想要分享的链接。
## 目录
- [对抗攻击与红蓝对抗](#adversarial-attacks--red-teaming)
- [提示词注入与越狱](#prompt-injection--jailbreaking)
- [隐私、数据投毒与提取](#privacy-data-poisoning--extraction)
- [护栏、过滤与防御](#guardrails-filtering--defense)
- [Agent 安全与工具使用风险](#agent-security--tool-use-risks)
- [新兴主题与杂项](#emerging-topics--miscellaneous)
## 对抗攻击与红蓝对抗
| 年份 | 论文 | 核心要点与描述 |
| :--- | :---- | :-------------------------- |
| 2026 | [REDEFINING AI RED TEAMING IN THE AGENTIC ERA: FROM WEEKS TO HOURS](https://www.alphaxiv.org/abs/2605.04019v1) | 本文提出了 Dreadnode，这是一个 agentic AI 红队测试系统，它接受自然语言目标，并自主组合、执行、评分和报告跨越 45+ 种攻击、450+ 种变换和 130+ 种评分器的对抗性工作流，统一了生成式和传统 ML 攻击能力。在一项针对 Meta 的 Llama Scout 的 3 小时案例研究中展示了约 85% 的攻击成功率，声称极大地缩短了评估时间。
_“通过自然语言目标，将 AI 红队测试的时间从数周压缩到数小时。”_ | | 2025 | [When Names Disappear: Revealing What LLMs Actually Understand About Code](https://www.alphaxiv.org/abs/2510.03178v1) | 引入了一套保留语义的标识符混淆方法和 ClassEval-Obf 基准测试，用于将结构语义与人类可解释的命名分离开来，表明 LLM 在意图总结时严重依赖标识符名称，并且名称线索会引发导致执行基准测试分数虚高的记忆捷径。
_“标识符名称锚定了训练数据中记忆的代码-输出对；混淆打破了这种捷径，并推动模型转向执行推理。”_ | | 2024 | [Black-Box Adversarial Attacks on LLM-Based Code Completion](https://www.alphaxiv.org/abs/2408.02509) | 引入了 INSEC，这是一种黑盒攻击，通过基于查询的优化隐秘地注入精心构造的简短注释字符串，从而偏置 LLM 代码补全引擎生成不安全的代码。该攻击使 16 种 CWE 和 5 种语言的不安全代码生成率提高了 50% 以上，适用于开源模型和商业服务（例如 OpenAI API、GitHub Copilot），开发成本低（10 美元以下），并通过 IDE 插件进行了演示。
_“INSEC 将生成不安全代码的比率提高了 50% 以上，同时保持了生成代码的功能正确性。”_ | | 2023 | [Explore, Establish, Exploit: Red Teaming Language Models from Scratch](https://www.alphaxiv.org/abs/2306.09442) | 提出了一个三阶段的“探索、建立、利用”框架，用于在没有预先存在的故障分类器的情况下对语言模型进行红队测试，并将其应用于查找引发 GPT-3 错误声明的输入。引入了包含 20,000 个人工标记声明的 CommonClaim 数据集，并发布了代码和数据以支持定制的红队测试。
_“‘从零开始’的红队测试，即对手一开始没有对故障进行分类的方法。”_ | | 2023 | [Universal and Transferable Adversarial Attacks on Aligned Language Models](https://www.alphaxiv.org/abs/2307.15043) | 引入了 Greedy Coordinate Gradient (GCG)，这是一种自动化的离散优化方法，用于寻找通用的对抗性后缀，这些后缀能可靠地越狱已对齐的 LLM 并迁移到许多黑盒模型；在新的 AdvBench 基准上进行评估，它在开源模型上实现了接近完美的 ASR，并大量迁移到 GPT-3.5、GPT-4、PaLM-2、Claude、Bard 等。
_“我们的攻击构建了单一的对抗性提示词，能够持续绕过包括 ChatGPT、Claude、Bard 和 Llama-2 在内的最先进商业模型的对齐。”_ | | 2022 | [Red Teaming Language Models with Language Models](https://www.alphaxiv.org/abs/2202.03286) | 本文使用语言模型自动生成红队测试用例，以揭露目标语言模型中的有害行为，在一个拥有 2800 亿参数的聊天机器人中发现了数以万计的攻击性回复。它评估了从 zero-shot 到强化学习的生成方法，并应用提示工程来揭示各种危害，包括隐私泄露、攻击性群体提及和多轮对话失败。
_“基于 LM 的红队测试是一种有前途的工具（在影响用户之前发现和修复各种不良 LM 行为所需的众多工具之一）。”_ | ## 提示词注入与越狱 | 年份 | 论文 | 核心要点与描述 | | :--- | :---- | :-------------------------- | | 2026 | [AI AGENTS MAY ALWAYS FALL FOR PROMPT INJECTIONS](https://www.alphaxiv.org/abs/2605.17634) | 本文将提示词注入重新定义为对上下文完整性的破坏，表明将注入视为“隐藏在数据中的指令”对于上下文操纵攻击是无效的，并且会降低 Agent 的效用。它提供了基于上下文完整性的红队测试和实证评估（例如，对电子邮件助手的攻击成功率达 96.7%），并论证了在拦截上下文攻击和保留合法流程之间存在不可能的权衡。
_“这种重新定义暗示了一个不可能的结果：对手总是可以构建一个上下文，使得被拦截的流程看起来是合法的；或者收紧规范的防御者将拦截真正合法的流程。”_ | | 2026 | [LLM Code Reviewers Are Harder to Fool Than You Think: Adversarial Comments Fail Where Vulnerability Patterns Succeed](https://www.alphaxiv.org/abs/2602.16741v1) | 大规模的实证研究（100 个样本、8 种注释变体、8 个模型、14,012 次评估）表明，嵌入的对抗性注释对 LLM 漏洞检测的影响微乎其微，在统计学上不具有显著性。SAST 交叉引用可大幅提高检测率，并恢复了许多基线遗漏（96.9% 的检测率，47% 的恢复率），而剥离注释会降低性能；作者得出结论，主要风险在于难以应对的漏洞类别（竞态条件、计时攻击、复杂的授权），而不是基于注释的操纵。
_“对 AI 代码审查的真正威胁不是对抗性注释。而是某些漏洞模式（竞态条件、计时攻击、复杂的授权逻辑）固有的困难性，无论注释怎么说，模型都会遗漏它们。”_ | | 2024 | [Jailbreaking Leading Safety-Aligned LLMs with Simple Adaptive Attacks](https://www.alphaxiv.org/abs/2404.02151v4) | 演示了简单的、特定于模型的自适应越狱——结合了手工制作的提示词模板、用于对抗性后缀的对数概率引导的随机搜索、自迁移和预填充——在许多领先的安全对齐 LLM（GPT-3.5/4o、Claude 2/3/3.5、Llama-2/3、Gemma、Mistral、R2D2 等）上实现了 100% 的攻击成功率。提供了对开源和专有模型的广泛评估，并认为自适应攻击对于可靠的鲁棒性评估至关重要。
_“自适应攻击对于准确评估 LLM 的鲁棒性至关重要。”_ | | 2023 | [Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study](https://www.alphaxiv.org/abs/2305.13860) | 本文对越狱提示词模式进行了分类，评估了 ChatGPT 3.5 和 4.0 在八个禁止场景下的 3,120 次越狱，并展示了提示词结构如何实现绕过约束。
_“这些提示词可以在 40 个用例场景中持续逃避限制。”_ | | 2023 | [Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection](https://www.alphaxiv.org/abs/2302.12173) | 引入了“间接提示词注入”，表明攻击者可以将提示词注入到检索到的数据中，以覆盖指令、窃取数据、执行任意操作并破坏现实世界中集成了 LLM 的系统。展示了影响的分类（数据窃取、蠕虫传播、信息生态系统污染），并对 Bing 的 GPT-4 聊天和代码补全引擎等服务进行了实际攻击演示，突显了缺乏有效的缓解措施。
_“集成了 LLM 的应用程序模糊了数据和指令之间的界限。”_ | ## 隐私、数据投毒与提取 | 年份 | 论文 | 核心要点与描述 | | :--- | :---- | :-------------------------- | | 2026 | [LARGE-SCALE ONLINE DEANONYMIZATION WITH LLMS](https://www.alphaxiv.org/abs/2602.16800v2) | 本文证明 LLM 能够通过从非结构化文本中提取与身份相关的信号、使用语义 embedding 搜索候选池并进行推理来验证匹配，从而实现自动化的、大规模的去匿名化；并在 Hacker News⇄LinkedIn、Reddit 电影社区和时间分割的 Reddit 个人资料上进行了评估。他们报告称，在 90% 的精确率下召回率高达 68%——远远超过了经典的基线方法——并认为假名不再提供在线的实际保护。
_“假名无法提供有意义的在线保护。”_ | | 2024 | [TrojanPuzzle: Covertly Poisoning Code-Suggestion Models](https://www.alphaxiv.org/abs/2301.02344) | 演示了两种针对代码建议模型的新型数据投毒攻击：Covert 将恶意 payload 嵌入注释/文档字符串中以逃避静态分析过滤器，而 TrojanPuzzle 从训练数据中省略关键的 payload token，并教授替换模式，以便模型在补全时重构完整的恶意代码。该论文在多个现实世界的 CWE 上评估了针对 CodeGen 模型的两种攻击，报告了相当可观的 attack@k 成功率，并表明简单的数据集过滤和精细剪枝防御是不够的。
_“TrojanPuzzle 是第一个在投毒数据中仅显示特定恶意 payload 子集，但仍然能够实现相同攻击目标的投毒攻击。”_ | | 2023 | [Poisoning Web-Scale Training Datasets Is Practical](https://www.alphaxiv.org/abs/2302.10149v2) | 引入了两种实际的投毒向量——split-view（购买过期域名以更改已索引的 URL）和 frontrunning（把握编辑时间以配合维基百科等快照处理过程）——并演示了在 10 个受欢迎的网络规模数据集上的可行性，包括在现实预算下展示模型损坏的实验。提出了诸如加密完整性验证和随机或时间限制快照等低开销的缓解措施。
_“仅需 60 美元，我们在 2023 年就可以投毒 0.01% 的 LAION-400M 或 COYO-700M 数据集。”_ | | 2020 | [Extracting Training Data from Large Language Models](https://www.alphaxiv.org/abs/2012.07805) | 本文表明，对手可以通过查询大型语言模型来提取逐字逐句的训练样本，恢复数百个序列，包括个人身份信息、IRC 对话、代码和 UUID。它评估了影响提取成功率的因素，并讨论了防御和安全保障措施。
_“令人担忧的是，我们发现较大的模型比小型模型更容易受到攻击。”_ | ## 护栏、过滤与防御 | 年份 | 论文 | 核心要点与描述 | | :--- | :---- | :-------------------------- | | 2024 | [SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks](https://www.alphaxiv.org/abs/2310.03684v4) | 引入了 SmoothLLM，这是一种黑盒的随机扰动与聚合包装器，无需重新训练即可防御 LLM 免受基于后缀的越狱攻击，并经实证在多个模型上降低了 GCG、PAIR、RandomSearch 和 AmpleGCG 的攻击成功率。论文还在不稳定性假设下给出了闭式概率保证，评估了自适应攻击，并表征了鲁棒性、标称性能和查询效率之间的权衡。
_“对抗性生成的提示词对字符级别的更改非常脆弱。”_ | | 2024 | [RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content](https://www.alphaxiv.org/abs/2403.13031) | 提出了 RigorLLM，它使用基于能量（朗之万）的训练数据增强、安全后缀的极小极大优化，以及结合了稳健的 KNN 与 LLM 的融合模型来强化护栏。实验结果表明，它在有害内容检测方面优于 OpenAI 和 Perspective API，并且对越狱攻击具有高度抵御能力。
_“RigorLLM 对越狱攻击展现出无与伦比的抵御能力。”_ | | 3 | [Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations](https://www.alphaxiv.org/abs/2312.06674) | 本文介绍了 Llama Guard，这是一个经过指令微调的 Llama2-7b 模型和用于分类提示词和模型响应的安全风险分类法，并发布了约 14k 个带注释的提示词-响应数据集和模型权重。Llama Guard 实现了强大的领域内性能，并可通过 zero-/few-shot 提示或微调适应外部分类法，在 ToxicChat 和 OpenAI 审核评估中匹配或超越了现有的审核 API。 | ## Agent 安全与工具使用风险 | 年份 | 论文 | 核心要点与描述 | | :--- | :---- | :-------------------------- | | 2026 | [A FRAMEWORK FOR FORMALIZING LLM AGENT SECURITY](https://www.alphaxiv.org/abs/2603.19469) | 本文提出了一个用于 LLM Agent 上下文安全的形式化框架，定义了四个安全属性（任务对齐、动作对齐、源授权和数据隔离）以及用于验证违规的预言机函数，并将攻击和防御重新定义为上下文属性违规。
_“安全是动作与上下文之间的一种关系属性，而不是动作本身的内在属性。”_ | | 2026 | [Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios](https://www.alphaxiv.org/abs/2603.11214) | 在两个专门构建的靶场（一个 32 步的企业网络和一个 7 步的工业控制系统）中评估了七种前沿 AI 模型的自主网络攻击能力，这些场景需要链式的、异构的操作。发现性能与推理时计算量呈对数线性扩展，并且模型在各代之间有一致的提升；表现最好的一次运行完成了 32 个企业步骤中的 22 步，而 ICS 性能仍然有限（7 步中最多完成 3 步）。
_“模型性能与推理时计算量呈对数线性关系，未观察到平台期。”_ | | 2026 | [DEBT BEHIND THE AI BOOM: A LARGE-SCALE EMPIRICAL STUDY OF AI-GENERATED CODE IN THE WILD](https://www.alphaxiv.org/abs/2603.28592) | 这项大规模的实证研究分析了来自 6,299 个 GitHub 仓库的 302.6K 个经过验证的 AI 创作的 commit，将代码坏味道、正确性和安全问题归因于五种 AI 编程助手，并追踪每个引入的问题直到 HEAD。作者发现了 484,366 个不同的问题（89.3% 为代码坏味道），并表明很大一部分由 AI 引入的技术债会随时间持续存在。
_“22.7% 被追踪的 AI 引入的问题在最新的代码库版本（HEAD）中仍然存在，揭示了 AI 生成代码带来的持续维护成本。”_ | | 2026 | [Cybersecurity AI: A Game-Theoretic AI for Guiding Attack and Defense](https://www.alphaxiv.org/abs/2601.05887) | 引入了 Generative Cut-the-Rope (G-CTR)，这是一个博弈论指导层，可提取攻击图、计算感知工作量的纳什均衡，并将简洁的摘要反馈给 LLM Agent 以指导其行动。在真实世界的演练和 44 次靶场运行中，G-CTR 匹配了 70–90% 的专家图结构，运行速度提高了 60–245 倍，成功率从 20.0% 提高到 42.9%，单次成功成本降低了 2.7 倍，并实现了优于纯 LLM 基线的 Purple agent。
_“这种闭环指导带来了突破：它减少了歧义，缩小了 LLM 的搜索空间，抑制了幻觉，并使模型锚定在问题最相关的部分，从而在成功率、一致性和可靠性方面取得了巨大的提升。”_ | | 2026 | [The Attack and Defense Landscape of Agentic AI: A Comprehensive Survey](https://www.alphaxiv.org/abs/2603.11088v1) | 本文首次全面系统化了 agentic AI 安全，调查了 Agent 的设计维度、攻击向量与风险的分类法，以及结合了具体案例研究的深度防御全景。它引入了七个设计维度，将威胁映射到防御，并强调了现实世界 Agent（如 AutoGPT）中的实际差距，同时确定了开放的研究挑战。
_“我们提出了第一个系统性的框架，以了解 AI Agent 的安全风险和防御策略。”_ | | 2023 | [Identifying the Risks of LM Agents with an LM-Emulated Sandbox](https://www.alphaxiv.org/abs/2309.15817) | 引入了 ToolEmu，这是一个基于 LM 的工具模拟器和自动安全评估器，无需手动设置即可跨多种工具和场景对 LM Agent 进行大规模测试，并提供了包含 36 个高风险工具和 144 个测试用例的基准测试。报告指出，模拟器识别出的失败中有 68.8% 对应于真实的 Agent 失败，即使是最安全的 Agent 也有 23.9% 的时间会发生失败。
_“根据我们的评估器，即使是最安全的 LM Agent 也有 23.9% 的时间会发生失败。”_ | ## 新兴主题与杂项 | 年份 | 论文 | 核心要点与描述 | | :--- | :---- | :-------------------------- | ## 许可证 [](LICENSE) 本仓库基于 [MIT License](LICENSE) 授权。
_“通过自然语言目标，将 AI 红队测试的时间从数周压缩到数小时。”_ | | 2025 | [When Names Disappear: Revealing What LLMs Actually Understand About Code](https://www.alphaxiv.org/abs/2510.03178v1) | 引入了一套保留语义的标识符混淆方法和 ClassEval-Obf 基准测试，用于将结构语义与人类可解释的命名分离开来，表明 LLM 在意图总结时严重依赖标识符名称，并且名称线索会引发导致执行基准测试分数虚高的记忆捷径。
_“标识符名称锚定了训练数据中记忆的代码-输出对；混淆打破了这种捷径，并推动模型转向执行推理。”_ | | 2024 | [Black-Box Adversarial Attacks on LLM-Based Code Completion](https://www.alphaxiv.org/abs/2408.02509) | 引入了 INSEC，这是一种黑盒攻击，通过基于查询的优化隐秘地注入精心构造的简短注释字符串，从而偏置 LLM 代码补全引擎生成不安全的代码。该攻击使 16 种 CWE 和 5 种语言的不安全代码生成率提高了 50% 以上，适用于开源模型和商业服务（例如 OpenAI API、GitHub Copilot），开发成本低（10 美元以下），并通过 IDE 插件进行了演示。
_“INSEC 将生成不安全代码的比率提高了 50% 以上，同时保持了生成代码的功能正确性。”_ | | 2023 | [Explore, Establish, Exploit: Red Teaming Language Models from Scratch](https://www.alphaxiv.org/abs/2306.09442) | 提出了一个三阶段的“探索、建立、利用”框架，用于在没有预先存在的故障分类器的情况下对语言模型进行红队测试，并将其应用于查找引发 GPT-3 错误声明的输入。引入了包含 20,000 个人工标记声明的 CommonClaim 数据集，并发布了代码和数据以支持定制的红队测试。
_“‘从零开始’的红队测试，即对手一开始没有对故障进行分类的方法。”_ | | 2023 | [Universal and Transferable Adversarial Attacks on Aligned Language Models](https://www.alphaxiv.org/abs/2307.15043) | 引入了 Greedy Coordinate Gradient (GCG)，这是一种自动化的离散优化方法，用于寻找通用的对抗性后缀，这些后缀能可靠地越狱已对齐的 LLM 并迁移到许多黑盒模型；在新的 AdvBench 基准上进行评估，它在开源模型上实现了接近完美的 ASR，并大量迁移到 GPT-3.5、GPT-4、PaLM-2、Claude、Bard 等。
_“我们的攻击构建了单一的对抗性提示词，能够持续绕过包括 ChatGPT、Claude、Bard 和 Llama-2 在内的最先进商业模型的对齐。”_ | | 2022 | [Red Teaming Language Models with Language Models](https://www.alphaxiv.org/abs/2202.03286) | 本文使用语言模型自动生成红队测试用例，以揭露目标语言模型中的有害行为，在一个拥有 2800 亿参数的聊天机器人中发现了数以万计的攻击性回复。它评估了从 zero-shot 到强化学习的生成方法，并应用提示工程来揭示各种危害，包括隐私泄露、攻击性群体提及和多轮对话失败。
_“基于 LM 的红队测试是一种有前途的工具（在影响用户之前发现和修复各种不良 LM 行为所需的众多工具之一）。”_ | ## 提示词注入与越狱 | 年份 | 论文 | 核心要点与描述 | | :--- | :---- | :-------------------------- | | 2026 | [AI AGENTS MAY ALWAYS FALL FOR PROMPT INJECTIONS](https://www.alphaxiv.org/abs/2605.17634) | 本文将提示词注入重新定义为对上下文完整性的破坏，表明将注入视为“隐藏在数据中的指令”对于上下文操纵攻击是无效的，并且会降低 Agent 的效用。它提供了基于上下文完整性的红队测试和实证评估（例如，对电子邮件助手的攻击成功率达 96.7%），并论证了在拦截上下文攻击和保留合法流程之间存在不可能的权衡。
_“这种重新定义暗示了一个不可能的结果：对手总是可以构建一个上下文，使得被拦截的流程看起来是合法的；或者收紧规范的防御者将拦截真正合法的流程。”_ | | 2026 | [LLM Code Reviewers Are Harder to Fool Than You Think: Adversarial Comments Fail Where Vulnerability Patterns Succeed](https://www.alphaxiv.org/abs/2602.16741v1) | 大规模的实证研究（100 个样本、8 种注释变体、8 个模型、14,012 次评估）表明，嵌入的对抗性注释对 LLM 漏洞检测的影响微乎其微，在统计学上不具有显著性。SAST 交叉引用可大幅提高检测率，并恢复了许多基线遗漏（96.9% 的检测率，47% 的恢复率），而剥离注释会降低性能；作者得出结论，主要风险在于难以应对的漏洞类别（竞态条件、计时攻击、复杂的授权），而不是基于注释的操纵。
_“对 AI 代码审查的真正威胁不是对抗性注释。而是某些漏洞模式（竞态条件、计时攻击、复杂的授权逻辑）固有的困难性，无论注释怎么说，模型都会遗漏它们。”_ | | 2024 | [Jailbreaking Leading Safety-Aligned LLMs with Simple Adaptive Attacks](https://www.alphaxiv.org/abs/2404.02151v4) | 演示了简单的、特定于模型的自适应越狱——结合了手工制作的提示词模板、用于对抗性后缀的对数概率引导的随机搜索、自迁移和预填充——在许多领先的安全对齐 LLM（GPT-3.5/4o、Claude 2/3/3.5、Llama-2/3、Gemma、Mistral、R2D2 等）上实现了 100% 的攻击成功率。提供了对开源和专有模型的广泛评估，并认为自适应攻击对于可靠的鲁棒性评估至关重要。
_“自适应攻击对于准确评估 LLM 的鲁棒性至关重要。”_ | | 2023 | [Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study](https://www.alphaxiv.org/abs/2305.13860) | 本文对越狱提示词模式进行了分类，评估了 ChatGPT 3.5 和 4.0 在八个禁止场景下的 3,120 次越狱，并展示了提示词结构如何实现绕过约束。
_“这些提示词可以在 40 个用例场景中持续逃避限制。”_ | | 2023 | [Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection](https://www.alphaxiv.org/abs/2302.12173) | 引入了“间接提示词注入”，表明攻击者可以将提示词注入到检索到的数据中，以覆盖指令、窃取数据、执行任意操作并破坏现实世界中集成了 LLM 的系统。展示了影响的分类（数据窃取、蠕虫传播、信息生态系统污染），并对 Bing 的 GPT-4 聊天和代码补全引擎等服务进行了实际攻击演示，突显了缺乏有效的缓解措施。
_“集成了 LLM 的应用程序模糊了数据和指令之间的界限。”_ | ## 隐私、数据投毒与提取 | 年份 | 论文 | 核心要点与描述 | | :--- | :---- | :-------------------------- | | 2026 | [LARGE-SCALE ONLINE DEANONYMIZATION WITH LLMS](https://www.alphaxiv.org/abs/2602.16800v2) | 本文证明 LLM 能够通过从非结构化文本中提取与身份相关的信号、使用语义 embedding 搜索候选池并进行推理来验证匹配，从而实现自动化的、大规模的去匿名化；并在 Hacker News⇄LinkedIn、Reddit 电影社区和时间分割的 Reddit 个人资料上进行了评估。他们报告称，在 90% 的精确率下召回率高达 68%——远远超过了经典的基线方法——并认为假名不再提供在线的实际保护。
_“假名无法提供有意义的在线保护。”_ | | 2024 | [TrojanPuzzle: Covertly Poisoning Code-Suggestion Models](https://www.alphaxiv.org/abs/2301.02344) | 演示了两种针对代码建议模型的新型数据投毒攻击：Covert 将恶意 payload 嵌入注释/文档字符串中以逃避静态分析过滤器，而 TrojanPuzzle 从训练数据中省略关键的 payload token，并教授替换模式，以便模型在补全时重构完整的恶意代码。该论文在多个现实世界的 CWE 上评估了针对 CodeGen 模型的两种攻击，报告了相当可观的 attack@k 成功率，并表明简单的数据集过滤和精细剪枝防御是不够的。
_“TrojanPuzzle 是第一个在投毒数据中仅显示特定恶意 payload 子集，但仍然能够实现相同攻击目标的投毒攻击。”_ | | 2023 | [Poisoning Web-Scale Training Datasets Is Practical](https://www.alphaxiv.org/abs/2302.10149v2) | 引入了两种实际的投毒向量——split-view（购买过期域名以更改已索引的 URL）和 frontrunning（把握编辑时间以配合维基百科等快照处理过程）——并演示了在 10 个受欢迎的网络规模数据集上的可行性，包括在现实预算下展示模型损坏的实验。提出了诸如加密完整性验证和随机或时间限制快照等低开销的缓解措施。
_“仅需 60 美元，我们在 2023 年就可以投毒 0.01% 的 LAION-400M 或 COYO-700M 数据集。”_ | | 2020 | [Extracting Training Data from Large Language Models](https://www.alphaxiv.org/abs/2012.07805) | 本文表明，对手可以通过查询大型语言模型来提取逐字逐句的训练样本，恢复数百个序列，包括个人身份信息、IRC 对话、代码和 UUID。它评估了影响提取成功率的因素，并讨论了防御和安全保障措施。
_“令人担忧的是，我们发现较大的模型比小型模型更容易受到攻击。”_ | ## 护栏、过滤与防御 | 年份 | 论文 | 核心要点与描述 | | :--- | :---- | :-------------------------- | | 2024 | [SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks](https://www.alphaxiv.org/abs/2310.03684v4) | 引入了 SmoothLLM，这是一种黑盒的随机扰动与聚合包装器，无需重新训练即可防御 LLM 免受基于后缀的越狱攻击，并经实证在多个模型上降低了 GCG、PAIR、RandomSearch 和 AmpleGCG 的攻击成功率。论文还在不稳定性假设下给出了闭式概率保证，评估了自适应攻击，并表征了鲁棒性、标称性能和查询效率之间的权衡。
_“对抗性生成的提示词对字符级别的更改非常脆弱。”_ | | 2024 | [RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content](https://www.alphaxiv.org/abs/2403.13031) | 提出了 RigorLLM，它使用基于能量（朗之万）的训练数据增强、安全后缀的极小极大优化，以及结合了稳健的 KNN 与 LLM 的融合模型来强化护栏。实验结果表明，它在有害内容检测方面优于 OpenAI 和 Perspective API，并且对越狱攻击具有高度抵御能力。
_“RigorLLM 对越狱攻击展现出无与伦比的抵御能力。”_ | | 3 | [Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations](https://www.alphaxiv.org/abs/2312.06674) | 本文介绍了 Llama Guard，这是一个经过指令微调的 Llama2-7b 模型和用于分类提示词和模型响应的安全风险分类法，并发布了约 14k 个带注释的提示词-响应数据集和模型权重。Llama Guard 实现了强大的领域内性能，并可通过 zero-/few-shot 提示或微调适应外部分类法，在 ToxicChat 和 OpenAI 审核评估中匹配或超越了现有的审核 API。 | ## Agent 安全与工具使用风险 | 年份 | 论文 | 核心要点与描述 | | :--- | :---- | :-------------------------- | | 2026 | [A FRAMEWORK FOR FORMALIZING LLM AGENT SECURITY](https://www.alphaxiv.org/abs/2603.19469) | 本文提出了一个用于 LLM Agent 上下文安全的形式化框架，定义了四个安全属性（任务对齐、动作对齐、源授权和数据隔离）以及用于验证违规的预言机函数，并将攻击和防御重新定义为上下文属性违规。
_“安全是动作与上下文之间的一种关系属性，而不是动作本身的内在属性。”_ | | 2026 | [Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios](https://www.alphaxiv.org/abs/2603.11214) | 在两个专门构建的靶场（一个 32 步的企业网络和一个 7 步的工业控制系统）中评估了七种前沿 AI 模型的自主网络攻击能力，这些场景需要链式的、异构的操作。发现性能与推理时计算量呈对数线性扩展，并且模型在各代之间有一致的提升；表现最好的一次运行完成了 32 个企业步骤中的 22 步，而 ICS 性能仍然有限（7 步中最多完成 3 步）。
_“模型性能与推理时计算量呈对数线性关系，未观察到平台期。”_ | | 2026 | [DEBT BEHIND THE AI BOOM: A LARGE-SCALE EMPIRICAL STUDY OF AI-GENERATED CODE IN THE WILD](https://www.alphaxiv.org/abs/2603.28592) | 这项大规模的实证研究分析了来自 6,299 个 GitHub 仓库的 302.6K 个经过验证的 AI 创作的 commit，将代码坏味道、正确性和安全问题归因于五种 AI 编程助手，并追踪每个引入的问题直到 HEAD。作者发现了 484,366 个不同的问题（89.3% 为代码坏味道），并表明很大一部分由 AI 引入的技术债会随时间持续存在。
_“22.7% 被追踪的 AI 引入的问题在最新的代码库版本（HEAD）中仍然存在，揭示了 AI 生成代码带来的持续维护成本。”_ | | 2026 | [Cybersecurity AI: A Game-Theoretic AI for Guiding Attack and Defense](https://www.alphaxiv.org/abs/2601.05887) | 引入了 Generative Cut-the-Rope (G-CTR)，这是一个博弈论指导层，可提取攻击图、计算感知工作量的纳什均衡，并将简洁的摘要反馈给 LLM Agent 以指导其行动。在真实世界的演练和 44 次靶场运行中，G-CTR 匹配了 70–90% 的专家图结构，运行速度提高了 60–245 倍，成功率从 20.0% 提高到 42.9%，单次成功成本降低了 2.7 倍，并实现了优于纯 LLM 基线的 Purple agent。
_“这种闭环指导带来了突破：它减少了歧义，缩小了 LLM 的搜索空间，抑制了幻觉，并使模型锚定在问题最相关的部分，从而在成功率、一致性和可靠性方面取得了巨大的提升。”_ | | 2026 | [The Attack and Defense Landscape of Agentic AI: A Comprehensive Survey](https://www.alphaxiv.org/abs/2603.11088v1) | 本文首次全面系统化了 agentic AI 安全，调查了 Agent 的设计维度、攻击向量与风险的分类法，以及结合了具体案例研究的深度防御全景。它引入了七个设计维度，将威胁映射到防御，并强调了现实世界 Agent（如 AutoGPT）中的实际差距，同时确定了开放的研究挑战。
_“我们提出了第一个系统性的框架，以了解 AI Agent 的安全风险和防御策略。”_ | | 2023 | [Identifying the Risks of LM Agents with an LM-Emulated Sandbox](https://www.alphaxiv.org/abs/2309.15817) | 引入了 ToolEmu，这是一个基于 LM 的工具模拟器和自动安全评估器，无需手动设置即可跨多种工具和场景对 LM Agent 进行大规模测试，并提供了包含 36 个高风险工具和 144 个测试用例的基准测试。报告指出，模拟器识别出的失败中有 68.8% 对应于真实的 Agent 失败，即使是最安全的 Agent 也有 23.9% 的时间会发生失败。
_“根据我们的评估器，即使是最安全的 LM Agent 也有 23.9% 的时间会发生失败。”_ | ## 新兴主题与杂项 | 年份 | 论文 | 核心要点与描述 | | :--- | :---- | :-------------------------- | ## 许可证 [](LICENSE) 本仓库基于 [MIT License](LICENSE) 授权。
标签：AI安全, Chat Copilot, 大语言模型安全, 学习资源, 密钥泄露防护, 对抗攻击, 敏感信息检测, 机器学习安全, 机密管理, 网络安全研究, 论文清单, 防御加固