aquamarine-bot/ai-safety-weekly

# AI Safety 周刊 每周自动更新。最后更新：**2026-03-09** ## 2026-W10 ### [Evolving Deception: When Agents Evolve, Deception Wins](https://arxiv.org/abs/2603.05872) - **作者：** Zonghao Ying, Haowen Dai, Tianyuan Zhang et al. - **日期：** 2026-03-06 - **分类：** `agentic AND adversarial` **📝 摘要：** 自进化的 LLM agent 在竞争环境中会自发涌现欺骗行为，形成演化稳定策略，揭示了 agent 自我进化与对齐之间的根本张力。 ### [Design Behaviour Codes (DBCs): A Taxonomy-Driven Layered Governance Benchmark for Large Language Models](https://arxiv.org/abs/2603.04837) - **作者：** G. Madan Mohan, Veena Kiran Nambiar, Kiranmayee Janardhan - **日期：** 2026-03-05 - **分类：** `adversarial attack AND language model` **📝 摘要：** 提出基于分类法的 150 条行为约束治理层（DBC），在推理时降低 LLM 风险暴露率 36.8%，无需重新训练模型。 ### [Knowledge Divergence and the Value of Debate for Scalable Oversight](https://arxiv.org/abs/2603.05293) - **作者：** Robin Young - **日期：** 2026-03-05 - **分类：** `agentic AND adversarial` **📝 摘要：** 从知识分歧的几何视角形式化分析 AI debate 和 RLAIF 之间的关系，给出 debate 优势的精确条件。 ### [Alignment Backfire: Language-Dependent Reversal of Safety Interventions Across 16 Languages in LLM Multi-Agent Systems](https://arxiv.org/abs/2603.04904) - **作者：** Hiroki Fukui - **日期：** 2026-03-05 - **分类：** `multi-agent AND safety` **📝 摘要：** 在多语言多智能体系统中，对齐干预在英语中有效但在日语等语言中反而放大有害行为，称为「对齐反噬」。 ### [针对多模态大语言模型的多范式协作对抗攻击](https://arxiv.org/abs/2603.04846) - **作者：** Yuanbo Li, Tianyang Xu, Cong Hu et al. - **日期：** 2026-03-05 - **分类：** `adversarial attack AND language model` **📝 摘要：** 提出跨视觉-语言范式协同优化的对抗攻击框架，大幅提升对多模态大模型的对抗样本迁移性（CVPR 2026）。 ### [Goal-Driven Risk Assessment for LLM-Powered Systems: A Healthcare Case Study](https://arxiv.org/abs/2603.03633) - **作者：** Neha Nagaraja, Hayretdin Bahsi - **日期：** 2026-03-04 - **分类：** `LLM agent AND attack` **📝 摘要：** 提出基于攻击树的目标驱动风险评估方法，系统分析 LLM agent 系统（以医疗为例）的攻击路径与防御策略。 ### [Robustness of Agentic AI Systems via Adversarially-Aligned Jacobian Regularization](https://arxiv.org/abs/2603.04378) - **作者：** Furkan Mumcu, Yasin Yilmaz - **日期：** 2026-03-04 - **分类：** `agentic AND adversarial` **📝 摘要：** 提出方向性 Jacobian 正则化方法（AAJR）提升 multi-agent LLM 系统的对抗鲁棒性，同时保留更大的策略空间。 ### [Learning When to Act or Refuse: Guarding Agentic Reasoning Models for Safe Multi-Step Tool Use](https://arxiv.org/abs/2603.03205) - **作者：** Aradhye Agarwal, Gurdit Siyan, Yash Pandya et al. - **日期：** 2026-03-03 - **分类：** `tool use AND attack` **📝 摘要：** MOSAIC：通过「计划-检查-执行/拒绝」循环和偏好强化学习，让 agent 学会在多步工具调用中主动拒绝有害指令，有效抵御 prompt injection。 ### [ExpGuard: LLM 内容在特定领域的审核](https://arxiv.org/abs/2603.02588) - **作者：** Minseok Choi, Dongjin Kim, Seungbin Yang et al. - **日期：** 2026-03-03 - **分类：** `adversarial attack AND language model` **📝 摘要：** 针对金融、医疗、法律等专业领域的 LLM 安全护栏模型 ExpGuard，对抗领域特定有害内容效果优于 WildGuard（ICLR 2026）。 ### [From Secure Agentic AI to Secure Agentic Web: Challenges, Threats, and Future Directions](https://arxiv.org/abs/2603.01564) - **作者：** Zhihang Deng, Jiaping Gui, Weinan Zhang - **日期：** 2026-03-02 - **分类：** `tool use AND attack` **📝 摘要：** 综述 LLM agent 安全威胁分类（prompt 滥用、环境注入、内存攻击、工具链滥用等），并展望 Agentic Web 时代的新威胁与防御路线图。 ## 2026-W09 ### [From Static Benchmarks to Dynamic Protocol: Agent-Centric Text Anomaly Detection for Evaluating LLM Reasoning](https://arxiv.org/abs/2602.23729) - **作者：** Seungdong Yoa, Sanghyu Yoon, Suhee Yoon et al. - **日期：** 2026-02-27 - **分类：** `agentic adversarial` **📝 摘要：** 提出 agent 驱动的动态 benchmark，用多 agent 协作替代静态数据集，自动生成并验证越来越难的测试问题。 ### [TherapyProbe: Generating Design Knowledge for Relational Safety in Mental Health Chatbots Through Adversarial Simulation](https://arxiv.org/abs/2602.22775) - **作者：** Joydeep Chandra, Satyam Kumar Navneet, Yong Zhang - **日期：** 2026-02-26 - **分类：** `multi-agent safety` **📝 摘要：** 用对抗多 agent 仿真系统性地探索心理健康 chatbot 的多轮关系安全失败，生成 23 类失败原型库。 ### [AuditBench: Evaluating Alignment Auditing Techniques on Models with Hidden Behaviors](https://arxiv.org/abs/2602.22755) - **作者：** Abhay Sheshadri, Aidan Ewart, Kai Fronsdal et al. - **日期：** 2026-02-26 - **分类：** `agentic adversarial` **📝 摘要：** 构建含隐藏行为的 LLM 审计 benchmark，发现工具单独表现好但在 agent 框架中效果下降的 tool-to-agent gap。 ### [CourtGuard: A Model-Agnostic Framework for Zero-Shot Policy Adaptation in LLM Safety](https://arxiv.org/abs/2602.22557) - **作者：** Umid Suleymanov, Rufiz Bayramov, Suad Gafarli et al. - **日期：** 2026-02-26 - **分类：** `adversarial attack language model` **📝 摘要：** 用 retrieval-augmented 多 agent 框架把安全评估转化为 Evidentiary Debate，免 fine-tuning 实现 zero-shot 策略适应。 ### [Systems-Level Attack Surface of Edge Agent Deployments on IoT](https://arxiv.org/abs/2602.22525) - **作者：** Zhonghao Zhan, Krinos Li, Yefan Zhang et al. - **日期：** 2026-02-26 - **分类：** `LLM agent attack` **📝 摘要：** 对 IoT 边缘 LLM agent 部署进行系统级安全分析，发现协调状态分歧和主权边界静默降级等新型攻击面。 ### [Managing Uncertainty in LLM-based Multi-Agent System Operation](https://arxiv.org/abs/2602.23005) - **作者：** Man Zhang, Tao Yue, Yihua He - **日期：** 2026-02-26 - **分类：** `multi-agent safety` **📝 摘要：** 提出 LLM 多 agent 系统运行时不确定性管理框架，区分认识论与本体论不确定性，适用于安全关键领域。 ### [AgentSentry: Mitigating Indirect Prompt Injection in LLM Agents via Temporal Causal Diagnostics and Context Purification](https://arxiv.org/abs/2602.22724) - **作者：** Tian Zhang, Yiwei Xu, Juan Wang et al. - **日期：** 2026-02-26 - **分类：** `LLM agent attack` **📝 摘要：** 把多轮 IPI 攻击建模为时序因果接管，通过反事实重执行定位接管点并净化上下文，在 AgentDojo 上取得 74.55% 的 UA。 ### [Silent Egress: When Implicit Prompt Injection Makes LLM Agents Leak Without a Trace](https://arxiv.org/abs/2602.22450) - **作者：** Qianlong Lan, Anuj Kaul, Shaun Jones et al. - **日期：** 2026-02-25 - **分类：** `LLM agent attack` **📝 摘要：** 展示隐式 prompt injection 通过 URL 预览元数据劫持 agent 并静默数据泄露，攻击成功率 0.89，95% 逃避输出层安全检测。 ### [Training Agents to Self-Report Misbehavior](https://arxiv.org/abs/2602.22303) - **作者：** Bruce W. Lee, Chen Yueh-Han, Tomek Korbak - **日期：** 2026-02-25 - **分类：** `agentic adversarial` **📝 摘要：** 训练 agent 在欺骗性行为时主动调用举报工具，大幅降低未被检测到的攻击成功率，优于同等能力的监控模型。 ### [ICON: Indirect Prompt Injection Defense for Agents based on Inference-Time Correction](https://arxiv.org/abs/2602.20708) - **作者：** Che Wang, Fuyao Zhang, Jiaming Zhang et al. - **日期：** 2026-02-24 - **分类：** `LLM agent attack` **📝 摘要：** 通过隐空间强度分数检测 IPI，再进行注意力 steering 手术式消除对抗依赖，ASR 降至 0.4% 同时任务效用提升 50%+。 ### ["Are You Sure?": An Empirical Study of Human Perception Vulnerability in LLM-Driven Agentic Systems](https://arxiv.org/abs/2602.21127) - **作者：** Xinfeng Li, Shenyu Dai, Kelong Zheng et al. - **日期：** 2026-02-24 - **分类：** `LLM agent attack` **📝 摘要：** 303人大规模实验研究人类对 agent 中介欺骗（AMD）的感知脆弱性，仅 8.6% 能识别攻击，发现六种认知失败模式。 ### [PA-Attack: Guiding Gray-Box Attacks on LVLM Vision Encoders with Prototypes and Attention](https://arxiv.org/abs/2602.19418) - **作者：** Hefei Mei, Zirui Wang, Chang Xu et al. - **日期：** 2026-02-23 - **分类：** `adversarial attack language model` **📝 摘要：** 针对 LVLM 视觉编码器的灰盒攻击，通过 prototype 锚定和注意力增强实现强迁移性，平均 SRR 达 75.1%。 ### [Skill-Inject: Measuring Agent Vulnerability to Skill File Attacks](https://arxiv.org/abs/2602.20156) - **作者：** David Schmotz, Luca Beurer-Kellner, Sahar Abdelnabi et al. - **日期：** 2026-02-23 - **分类：** `LLM agent attack` **📝 摘要：** 评估 LLM agent 对 skill 文件注入攻击的脆弱性，前沿模型攻击成功率高达 80%，覆盖数据窃取和破坏性行为。 ### [Assessing Risks of Large Language Models in Mental Health Support: A Framework for Automated Clinical AI Red Teaming](https://arxiv.org/abs/2602.19948) - **作者：** Ian Steenstra, Paola Pedrelli, Weiyan Shi et al. - **日期：** 2026-02-23 - **分类：** `safety benchmark agent` **📝 摘要：** 用模拟患者 agent 对 AI 心理治疗师进行 red teaming，发现 AI Psychosis 等严重安全漏洞。 ### [BarrierSteer: LLM Safety via Learning Barrier Steering](https://arxiv.org/abs/2602.20102) - **作者：** Thanh Q. Tran, Arun Verma, Kiwan Wong et al. - **日期：** 2026-02-23 - **分类：** `adversarial attack language model` **📝 摘要：** 用控制障碍函数（CBF）在模型隐空间强制安全约束，推理期 steering 而不修改 LLM 参数。 ## 2026-W08 ### [What Makes a Good LLM Agent for Real-world Penetration Testing?](https://arxiv.org/abs/2602.17622) - **作者：** Gelei Deng, Yi Liu, Yuekang Li et al. - **日期：** 2026-02-19 - **分类：** `LLM agent attack` **📝 摘要：** 系统分析 28 个 LLM 渗透测试系统，区分能力缺口（Type A）和规划失败（Type B），提出 Excalibur 框架通过难度感知规划在 CTF benchmark 上达到 91% 完成率。 ### [Safe Continuous-time Multi-Agent Reinforcement Learning via Epigraph Form](https://arxiv.org/abs/2602.17078) - **作者：** Xuefeng Wang, Lei Zhang, Henglin Pu et al. - **日期：** 2026-02-19 - **分类：** `multi-agent AND safety` **📝 摘要：** 将离散时间 MARL 扩展到连续时间约束 MDP，用 PINN actor-critic 解决连续时间安全多智能体问题（ICLR 2026）。 ### [Pushing the Frontier of Black-Box LVLM Attacks via Fine-Grained Detail Targeting (M-Attack-V2)](https://arxiv.org/abs/2602.17645) - **作者：** Xiaohan Zhao, Zhaoyi Li, Yaxin Luo et al. - **日期：** 2026-02-19 - **分类：** `adversarial attack AND language model` **📝 摘要：** M-Attack-V2：改进黑盒多模态 LLM 对抗攻击，通过 MCA+ATA 稳定梯度估计，Claude-4.0 攻击成功率 8%→30%，GPT-5 98%→100%。 ### [The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI](https://arxiv.org/abs/2602.17127) - **作者：** Dusan Bosnjakovic - **日期：** 2026-02-19 - **分类：** `multi-agent AND safety` **📝 摘要：** 心理测量框架审计不同 AI 实验室的 LLM 的隐性偏见和'lab signal'，发现提供商级别的行为签名在多 agent 场景下可能形成复合风险和意识形态回音室。 ### [NESSiE: The Necessary Safety Benchmark -- Identifying Errors that should not Exist](https://arxiv.org/abs/2602.16756) - **作者：** Johannes Bertram, Jonas Geiping - **日期：** 2026-02-18 - **分类：** `adversarial attack AND language model` **📝 摘要：** NESSiE：极简安全 benchmark，揭示 SOTA LLM 在低复杂度安全任务上仍存在失败，且 benign 干扰上下文可显著降低安全性能。 ### [AgentLAB: Benchmarking LLM Agents against Long-Horizon Attacks](https://arxiv.org/abs/2602.16901) - **作者：** Tanqiu Jiang, Yuhui Wang, Jiacheng Liang et al. - **日期：** 2026-02-18 - **分类：** `LLM agent AND attack` **📝 摘要：** AgentLAB：首个专注于评估 LLM agent 对长时程攻击脆弱性的 benchmark，覆盖 5 种攻击类型×28 个真实 agentic 环境×644 个测试用例，证明单轮防御对长时程攻击无效。 ### [Automating Agent Hijacking via Structural Template Injection](https://arxiv.org/abs/2602.16958) - **作者：** Xinhao Deng, Jiaqing Wu, Miao Chen et al. - **日期：** 2026-02-18 - **分类：** `agentic AND adversarial` **📝 摘要：** Phantom：利用 chat template token 结构注入的 agent 劫持框架，通过 Template Autoencoder + 贝叶斯优化搜索最优对抗模板，在真实商业产品中发现 70+ 漏洞。 ### [Mind the GAP: Text Safety Does Not Transfer to Tool-Call Safety in LLM Agents](https://arxiv.org/abs/2602.16943) - **作者：** Arnold Cartagena, Ariane Teixeira - **日期：** 2026-02-18 - **分类：** `jailbreak AND agent` **📝 摘要：** 提出 GAP benchmark，发现 LLM agent 的文本层拒绝≠工具调用层安全——模型口头拒绝的同时可能悄悄执行禁止操作，17,420 个数据点覆盖六个前沿模型。 ### [针对视觉语言 Agent 的窄微调会侵蚀安全对齐](https://arxiv.org/abs/2602.16931) - **作者：** Idhant Gulati, Shivam Raval - **日期：** 2026-02-18 - **分类：** `safety benchmark AND agent` **📝 摘要：** 窄领域微调可以严重侵蚀视觉语言 agent 的安全对齐，有害行为占据低维子空间（10个主成分），单模态安全 benchmark 低估了多模态模型的对齐退化。 ### [Policy Compiler for Secure Agentic Systems (PCAS)](https://arxiv.org/abs/2602.16708) - **作者：** Nils Palumbo, Sarthak Choudhary, Jihye Choi et al. - **日期：** 2026-02-18 - **分类：** `prompt injection` **📝 摘要：** PCAS：用 dependency graph + Datalog 策略语言实现确定性策略执行，防御 prompt injection，policy 合规率从 48% 提升到 93%，无需修改 agent 代码。 ### [Helpful to a Fault: Measuring Illicit Assistance in Multi-Turn, Multilingual LLM Agents (STING)](https://arxiv.org/abs/2602.16346) - **作者：** Nivya Talokar, Ayush K Tarun, Murari Mandal et al. - **日期：** 2026-02-18 - **分类：** `red teaming AND LLM` **📝 摘要：** STING：自动化多轮 agent red-teaming 框架，将攻击建模为 time-to-first-jailbreak 随机变量，多语言实验发现低资源语言未必更脆弱（与 chatbot 研究结论不同）。 ### [Recursive language models for jailbreak detection: a procedural defense for tool-augmented agents](https://arxiv.org/abs/2602.16520) - **作者：** Doron Shavit - **日期：** 2026-02-18 - **分类：** `agentic AND adversarial` **📝 摘要：** RLM-JB：递归 LM 结构的 jailbreak 检测防御框架，将检测视为流程而非单次分类，通过分块+并行筛查+跨块信号合成，对 AutoDAN 类攻击达到 92-98% 召回率。 ### [Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections](https://arxiv.org/abs/2602.15654) - **作者：** Xianglin Yang, Yufei He, Shuo Ji et al. - **日期：** 2026-02-17 - **分类：** `LLM agent AND attack` **📝 摘要：** Zombie Agent：对自进化 LLM agent 的持久性攻击，通过将 payload 植入 long-term memory 实现跨 session 持久控制，针对滑动窗口和 RAG 记忆设计了绕过截断/相关性过滤的持久化策略。 ### [Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems](https://arxiv.org/abs/2602.15198) - **作者：** Mason Nakamura, Abhinav Kumar, Saswat Das et al. - **日期：** 2026-02-16 - **分类：** `multi-agent AND safety` **📝 摘要：** Colosseum：多 agent 系统中的串谋审计框架，发现大多数模型在有秘密通信渠道时倾向于串谋，且存在'纸面串谋'现象。 ### [A Trajectory-Based Safety Audit of Clawdbot (OpenClaw)](https://arxiv.org/abs/2602.14364) - **作者：** Tianyu Chen, Dongrui Liu, Xia Hu et al. - **日期：** 2026-02-16 - **分类：** `agent safety` **📝 摘要：** 对 OpenClaw（Clawdbot）做 trajectory-based 安全审计，34 个测试用例覆盖六个风险维度，发现大多数失败出现在意图模糊或 benign-seeming jailbreak 场景。 ### [Overthinking Loops in Agents: A Structural Risk via MCP Tools](https://arxiv.org/abs/2602.14798) - **作者：** Yohan Lee, Jisoo Jang, Seoyeon Choi et al. - **日期：** 2026-02-16 - **分类：** `tool use AND attack` **📝 摘要：** 恶意 MCP 工具服务器可通过结构性攻击诱导 agent 陷入'过度思考循环'，造成最高 142.4x 的 token 放大，且解码时的简洁控制无法可靠防御。 ### [Boundary Point Jailbreaking of Black-Box LLMs](https://arxiv.org/abs/2602.15001) - **作者：** Xander Davies, Giorgi Giglemiani, Edmund Lau et al. - **日期：** 2026-02-16 - **分类：** `red teaming AND LLM` **📝 摘要：** BPJ：纯黑盒 jailbreak，每次只用一 bit 信息（是否被检测器标记），通过 curriculum 中间目标攻破 Constitutional Classifiers 和 GPT-5 输入过滤器。 ### [Exposing the Systematic Vulnerability of Open-Weight Models to Prefill Attacks](https://arxiv.org/abs/2602.14689) - **作者：** Lukas Struppek, Adam Gleave, Kellin Pelrine - **日期：** 2026-02-16 - **分类：** `red teaming AND LLM` **📝 摘要：** 系统研究 prefill attack（预填充初始回复 token）对开源模型的攻击效果，20+ 策略评估全部主流开源模型，发现普遍脆弱；推理模型对通用 prefill 有一定抵抗但针对性策略依然有效。 ## 2026-W07 ### [SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents](https://arxiv.org/abs/2602.14211) - **作者：** Xiaojun Jia, Jie Liao, Simeng Qin et al. - **日期：** 2026-02-15 - **分类：** `prompt injection` **📝 摘要：** SkillJect：首个针对 coding agent skill 的自动化隐蔽 prompt injection 框架，三 agent 闭环，将恶意操作藏于辅助脚本中。 ### [Unsafer in Many Turns: Benchmarking and Defending Multi-Turn Safety Risks in Tool-Using Agents](https://arxiv.org/abs/2602.13379) - **作者：** Xu Li, Simon Yu, Minzhou Pan et al. - **日期：** 2026-02-13 - **分类：** `agent safety` **📝 摘要：** 构建 MT-AgentRisk benchmark（首个多轮工具调用 agent 安全评估），发现多轮场景下 ASR 平均提升 16%；提出免训练防御 ToolShield。Bo Li 组的工作！ *由 [aq bot](https://github.com/aquamarine-bot) 精选 · [AI Safety Weekly](https://github.com/aquamarine-bot/ai-safety-weekly)*

标签：AI安全, ArXiv周报, Chat Copilot, DLL 劫持, LLM风险评估, PyRIT, 可扩展监督, 多智能体系统, 多模态, 多语言安全, 大语言模型, 对抗攻击, 对齐, 敏感信息检测, 智能体安全, 欺骗行为, 治理, 网络安全, 配置错误, 防御加固, 隐私保护