TheSeydiCharyyev/ai-safety-engineer-roadmap

# AI 安全工程师路线图 **AI 安全人才管道是为研究人员建立的。而实验室需要的是工程师。** 这是为工程师绘制的地图。每个节点都是你可以*证明*自己已通过的里程碑——一个合并的 eval、一个确认的 break、一个发布的 guardrail——而不是你只能点头的流行词。当你完成一个节点时，你拥有的是实实在在的产物，而不是一种感觉。 它是为想要转型进入 AI 安全*工程*（evals、red-teaming、guardrails、agent 安全、monitoring）并因此获得聘用（Anthropic Safeguards、Google DeepMind、METR、Apollo Research、英国 AI 安全研究所等）的在职软件、ML 或基础设施工程师构建的。 ## 为什么会有这份路线图 传授 AI 安全的基础设施——[ARENA](https://www.arena.education/)、[MATS](https://www.matsprogram.org/)、[BlueDot](https://bluedot.org/courses/technical-ai-safety)，以及那些著名的“如何提升技能”的帖子——几乎完全是为*研究人员*量身定制的。但工作岗位并非如此。 一项对 [3,654 个 AI 安全招聘职位](https://forum.effectivealtruism.org/posts/AAGD34wyWHXm5d2gp/what-3-654-job-postings-tell-us-about-talent-needs-in-ai)（涵盖 540 个组织，2023 年 3 月 – 2026 年 3 月）的分析发现，该领域的职位构成为 **43% 的研究、24% 的政策、21% 的软件工程、19% 的信息安全**。在前沿实验室内部，比例发生了剧烈反转：**信息安全占招聘职位的 49%，软件工程占 39%**——领先于研究。作者自己的结论是：*人才管道对研究人员的优化过度了。* 因此存在一个真正的鸿沟：针对工程师的招聘需求庞大且不断增长，但几乎没有用他们的语言（“构建这个、破坏这个、发布这个”）对他们说话的地图，而不是“阅读这四十篇论文”。这个鸿沟正是本路线图要填补的。 ## 如何使用本指南 1. **从 [§0](#0--orientation-what-the-job-actually-is) 开始。不要跳过它** —— 这是唯一一节旨在将剩余部分对准真实工作而非虚无感觉的章节。 2. 每个节点都是一个**里程碑**：包含一句 `You're done when …` 的话，指明一个你可以拿出手的实际产物。请为达成里程碑而努力，而不是仅仅了解“这个话题”。 3. 在没有好的实践资源的地方，你会看到 🔨 **`[reference implementation]`** —— 这是本仓库中一个小巧、独立的项目（随着路线图的完善会逐步推出），用于填补这一空白。 4. **职业规划（§9）是并行进行的，而不是放在最后。** 你应该在完成 Evals（§2）后立刻发出第一份申请。不要等到你“全部学完”。 ### 两个切入点 | 你是一名… | 入口 | 跳过 | |---|---|---| | 后端 / 产品 / 基础设施工程师（典型读者） | §0 → §1 → §2 | 无 | | 已经在训练模型的 ML 工程师 | §0 → §2 | §1 | ### 路线图  _{由 [`scripts/render_map.py`](scripts/render_map.py) 确定性渲染 —— 请在此处编辑数据，而不是修改 SVG。} ## 目录 - [§0 — 定向：这份工作实际上是什么](#0--orientation-what-the-job-actually-is) - [§1 — 基础：工作级别的 LLM 内部原理](#1--foundations-llm-internals-at-working-level) - [§2 — Evals：核心技能](#2--evals-the-core-skill) - [§3 — Red teaming：可证明地破坏系统](#3--red-teaming-break-things-provably) - [§4 — Guardrails：防御的一半](#4--guardrails-the-defensive-half) - [§5 — Agent 安全：前沿领域](#5--agent-security-the-frontier) - [§6 — Monitoring 与 AI 控制](#6--monitoring--ai-control) - [§7 — Interpretability：工作的最低要求](#7--interpretability-the-working-minimum) - [§8 — ML/AI 安全](#8--mlai-security) - [§9 — 职业：如何获得聘用](#9--career-getting-hired) - [§10 — 治理：一个里程碑](#10--governance-one-milestone) - [贡献](#contributing) · [许可证](#license) ## §0 — 定向：这份工作实际上是什么 浪费六个月最快的方法，就是去为一份并未真正对外招聘的工作做训练。本节简短且必读：它用从最新招聘启事中摘录的该领域原话，取代你对该领域的固有印象，并为你规划出贯穿下方所有内容的个人路线。 ### M0.1 — 阅读市场，而不是凭感觉 像工程师阅读规范一样去阅读它们，而不是像梦想家阅读使命宣言。那些反复出现的词汇——*eval harness、precision/recall、regression pipeline、prompt injection、red team、monitor*——才是这份工作实际的交付物，它们中的每一个都对应着下方的一个章节。 - [Anthropic 招聘](https://job-boards.greenhouse.io/anthropic) —— 筛选 *Safeguards* 和 *Security*；“Safeguards Evals”和“Red Team Engineer”职位是值得仔细阅读的。 - [METR 招聘](https://jobs.lever.co/metr) —— 他们的 Evaluation Execution 职位描述自己是*“更多关注研究执行和软件工程技能，而不是研究科学。”* - [UK AISI 招聘](https://www.aisi.gov.uk/careers) —— 查看 Red Team 和 evaluations 职位。 - [aisafety.com/jobs](https://aisafety.com/jobs) —— 该领域的汇总招聘板（数百个在职岗位）；筛选工程师头衔。 ### M0.2 — 知道你身处哪条赛道 研究问的是*“这个模型是对齐的吗，为什么？”* 工程问的是*“我能测量它、破坏它、控制它，并在每次发布时发布修复方案吗？”* 这份路线图训练的是后者。认清两者的区别，能让你免于在不需要的研究前置条件上碰壁，也能避免在面试时告诉对方你想要他们的研究岗，而你其实想要的是工程岗。 - [3,654 个招聘职位揭示了 AI 安全的人才需求](https://forum.effectivealtruism.org/posts/AAGD34wyWHXm5d2gp/what-3-654-job-postings-tell-us-about-talent-needs-in-ai) —— 该鸿沟背后的数据。 - [AI Safety Atlas](https://ai-safety-atlas.com/)，第 1-3 章 —— 一本免费的、每季度更新的教科书，用于了解概念层面的基本格局。阅读它是为了定向，而不是为了学完。 ## §1 — 基础：工作级别的 LLM 内部原理 你无法测试、破坏或防御一个对你来说机制是黑盒的系统。本节是工作的最低要求——足以让你推理出模型在做什么，但不至于多到让你去写论文。它特意*没有*走研究路线：大量的数学内容已被砍掉。**如果你已经在训练模型，请跳至 [§2](#2--evals-the-core-skill)。** ### M1.1 — 构建你将要测试的东西 做一次这件事会永久改变你阅读后续所有章节的方式：attention、logits 和 sampling 不再只是词汇，而是变成了你调试过的代码。你不需要构建一个*好*模型——你只需要*亲手构建过一个*，这样它的内部机制就属于你了。 - [ARENA — 第 1.1 章，Transformer from Scratch](https://github.com/callummcdougall/ARENA_3.0) —— 带测试的练习；该领域事实上的技术课程。*（当你通过本章的测试时，你就完成了。）* - [Karpathy — "Let's build GPT" / nanoGPT](https://github.com/karpathy/nanoGPT) —— 如果觉得 ARENA 的节奏太陡峭，这是一个更平缓的入口。 ### M1.2 — 将双手深入一个运行中的模型 测试和 interpretability 都依赖于一项技能：深入运行中的模型并解读它在做什么。现在用一个玩具 prompt 学习这个工具，那么 §6（monitoring）和 §7（interpretability）就会成为它的延伸，而不是全新的世界。 - [TransformerLens](https://github.com/TransformerLensOrg/TransformerLens) —— 用于探索 GPT 风格模型内部原理的标准库。 ### M1.3 — 理解 post-training 对它做了什么 这是安全边缘最锋利的基础节点。在这里，fine-tuning 不是一项中立的技能：即使是良性的 fine-tuning 也会[显著降低模型的安全对齐](https://arxiv.org/abs/2310.03693)。亲自重现这一点，你就会亲手理解为什么“稍微 fine-tune 一下”不仅是一个功能，更是一个威胁模型。 - [Hugging Face TRL](https://github.com/huggingface/trl) + [smol-course](https://github.com/huggingface/smol-course) —— 标准的 SFT/DPO 技术栈，以及一门关于对齐小型模型的免费实践课程。 - [Qi 等，《Fine-tuning Aligned LMs Compromises Safety, Even When Users Do Not Intend To》](https://arxiv.org/abs/2310.03693) —— 需要重现的实验结果。 ## §2 — Evals：核心技能 Evals 是该领域招聘需求最大的工程技能，也是实验室做出的每一个安全案例的支柱。这是本指南中最大的部分，它的结尾是路线图的旗舰里程碑：一个带有你名字的、公开且被永久引用的实际产物。 ### M2.1 — 你的第一个真正的 eval 由英国 AI 安全研究所构建的 [Inspect](https://inspect.aisi.org.uk/) 是行业标准的 evals 框架，因此学习它就是学习实验室实际使用的东西。构建一个哪怕很简单的 eval，也能教你所有 eval 的基本结构：输入 samples、向模型发送 prompt 的 solver、对结果进行评分的 scorer，以及你可以审计的 log。 - [Inspect 文档](https://inspect.aisi.org.uk/) · [GitHub 上的 inspect_ai](https://github.com/UKGovernmentBEIS/inspect_ai) (MIT)。 - [ARENA — 第 3.1 章，Evals 简介](https://github.com/callummcdougall/ARENA_3.0)。 ### M2.2 — 一个不是基准测试副本的数据集 任何人都可以下载 MMLU。具备招聘价值的技能是*构建*一个能测量真实情况且不会泄露到训练数据中的数据集。编写这样一个数据集，会迫使你将模糊的问题（“这个模型安全吗？”）具象化到可以打分的程度。 - [ARENA — 第 3.2 章，数据集生成](https://github.com/callummcdougall/ARENA_3.0)。 - [inspect_evals](https://github.com/UKGovernmentBEIS/inspect_evals) —— 200 多个生产级 evals，可作为展示“何为优秀”的范例来阅读。 ### M2.3 — 证明你的 eval 是有效的 这是区分“运行过一个 eval 的人”和实验室愿意雇佣的工程师的界限。一个你没有验证过 scorer 的 eval，就是一个你无法信任的数字；Anthropic 自己的 eval 职位招聘中，用的就是这些字眼要求你*“测量 detection precision/recall”*并且*“发展 evals 使其保持未饱和状态”*。在你的 M2.1 eval 上刻意地做一次这件事。 - 🔨 **`[reference implementation]`** —— 一个最小的 scorer 验证 harness。目前没有现成的资源直接教授这一点，而这正是它成为招聘信号的原因；本仓库将发布一个完整的范例。 ### M2.4 — ⭐ 发布一个被英国政府研究所收录的 eval 这就是旗舰里程碑。它不是“完成一门课程”——它是对一个国家 AI 研究所标准工具的真实贡献，并且会永远留在你的简历上。该注册表的设计非常轻量：你的 eval 存放在你自己的仓库中，你只需注册一个指向固定 commit 的指针。 具体操作（已与当前指南核对）：为你的仓库添加一个 `pyproject.toml` 和一个带有 `@task` 装饰器的 eval，以固定版本托管所有数据集，然后开启一个 **Register Eval Submission** issue。机器人会验证它并为你开启 PR；随后你的 eval 将出现在 [Inspect Evals 文档](https://ukgovernmentbeis.github.io/inspect_evals/) 中。 - [Inspect Evals Register — 提交指南](https://github.com/UKGovernmentBEIS/inspect_evals/blob/main/register/README.md)。 - 可供参考的已注册示例：`alignment_faking`, `mcptox`, `sycobench-600`, `hangman-bench`。 ### M2.5 — 评估一个 agent，而不是聊天机器人 该领域已经从“模型回答得安全吗？”转向了“agent 在上百次工具调用中表现安全吗？” Agentic evals 是最困难、薪酬最高的 eval 工作，这项技能非常独特：你在评估的是 trajectory（执行轨迹），而不是响应。 - [ARENA — 第 3.4 章，LLM Agents](https://github.com/callummcdougall/ARENA_3.0)。 - [Inspect — agents 和工具](https://inspect.aisi.org.uk/) —— 该框架的 agent 和工具使用原语。 ## §3 — Red teaming：可证明地破坏系统 Red teaming 是招聘需求第二大的工程技能，它拥有任何课程都无法伪造的特性：其结果是*公开且可验证的*。一个捕获的 flag、一个排行榜条目、一笔赏金——没人需要听你空口无凭。这里的每一个里程碑产出的都是证据，而不是自我评价。 ### M3.1 — 捕获你的前几个 flag Crucible 是一个免费的、自定进度的 CTF，包含 65 多个 AI 黑客挑战，它是将“我读过关于 prompt injection 的内容”转化为“我已经破坏了它，这是 flag”的最廉价方式。在任何比赛之前先从这里开始——它能培养出比赛所奖励的肌肉记忆。 - [Dreadnode Crucible]() —— prompt injection、fingerprinting、model inversion、evasion。 ### M3.2 — ⭐ 在公开排行榜上获得一次确认的 break 这是路线图中杠杆率最高的招聘里程碑。Gray Swan Arena 是最大的 AI red-teaming 竞技场，由 UK AISI、OpenAI、Anthropic、Google DeepMind、Amazon 和 Meta 赞助——并且它**对全球任何人开放，支持远程，入门无需编写代码**。一次确认的 break 是一个公开凭证，表现优异者将被邀请加入 Gray Swan 私密的、*付费的* red-teaming 网络；该项目已将 100 多人安排到与实验室合作的付费 red-team 工作中。对于没有签证或内部推荐的远程候选人来说，这就是正大门。 - [Gray Swan Arena](https://app.grayswan.ai/arena) —— 实时挑战，每轮奖池高达数万至数十万美元。 ### M3.3 — Red-team 一个你拥有的系统 竞赛考验你的创造力；生产环境中的 red-teaming 考验你的流程。对你自己的应用运行一次扫描器——然后从噪音中梳理出信号并真正发布一个修复补丁——这就是你未来工作时的循环，它同时也为你提供了第 §4 节的素材。 - [promptfoo](https://github.com/promptfoo/promptfoo) —— 广泛使用的 prompt/agent red-teaming 和 eval harness。 - [garak](https://github.com/NVIDIA/garak) —— NVIDIA 的 LLM 漏洞扫描器。 - [PyRIT](https://github.com/microsoft/PyRIT) —— 微软的生成式 AI 风险识别工具包。*（请使用 `microsoft/PyRIT` —— 存在较旧的镜像且已过时。）* ### M3.4 — 说安全团队认可的语言 一个无人能采取行动的破坏只是派对上的小把戏。具备招聘价值的版本是一份安全团队能够进行 triage 的报告，这意味着要使用他们的分类法。这两个框架就是那种共同语言，对它们的熟练掌握是将 AI red-teamer 与业余 prompt-hacker 区分开来的标志。 - [OWASP LLM 应用 Top 10 (2025)](https://genai.owasp.org/llm-top-10/) —— LLM 应用的标准风险分类法。 - [MITRE ATLAS](https://atlas.mitre.org/) —— 针对 AI 系统的对抗技术矩阵（现为月度更新，并添加了 agentic 技术）。 ### M3.5 — 让攻击者自动化 手动 red-teaming 无法规模化，而该领域的前沿是自动化的：一个模型攻击另一个模型，并由第三个模型进行评分。即使是构建这样一个最基础的循环，也是从“我会 jailbreak”迈向“我能构建出持续进行 jailbreak 的系统”的关键一步。 - 🔨 **`[reference implementation]`** —— 一个最小的 attacker/target/judge 循环。[AIRTBench](https://arxiv.org/abs/2506.14682) 是衡量自动化 red-teaming 应该测试什么的一个良好标尺；本仓库将发布一个可运行的起点。 ## §4 — Guardrails：防御的一半 Red-teaming 找到漏洞；Guardrails 堵塞漏洞。这是该职业在生产环境中的另一半——Anthropic 的 Safeguards 团队就是一个完整的组织——而这正是以研究为导向的课程完全跳过的部分。本节的主题是：一项你未曾*攻击过*的防御，就是你不懂的防御。 ### M4.1 — 发布一个能在你自己的攻击下存活的 guardrail 从你自己的破坏到你的修复，闭环这一过程是你能在面试官面前展示的最具说服力的事情。而误报率决定了一切：一个既阻止了攻击*又*阻止了合法用户的 guardrail 不是产品，因此衡量你防御的代价与证明它有效同等重要。 - [Llama Guard / PurpleLlama](https://github.com/meta-llama/PurpleLlama) —— Meta 的输入/输出安全分类器和安全评估工具。 - [NeMo Guardrails](https://github.com/NVIDIA-NeMo/Guardrails) —— NVIDIA 的可编程 guardrail 工具包。 - [Guardrails AI](https://github.com/guardrails-ai/guardrails) —— 一个专注于验证的 guardrails 框架。 ### M4.2 — 在自适应攻击下防御，而不是在静态测试下 任何过滤器都能阻止它调优时所针对的攻击。真正的问题——也是 Anthropic 悬赏寻找答案的问题——是它能否在一个能看到它并适应它的对手面前存活。了解最强大的已部署防御实际上是如何进行压力测试的，以及它们如何诚实地报告安全性与实用性的权衡。 - [Constitutional Classifiers](https://www.anthropic.com/research/constitutional-classifiers) 以及[下一代后续版本](https://www.anthropic.com/research/next-generation-constitutional-classifiers) —— 1,700 多小时的 red-teaming，约 198,000 次尝试，未发现通用的 jailbreak。 - [STACK：针对 LLM 保护管道的对抗性攻击](https://arxiv.org/abs/2506.24068) —— 防御管道具体是如何被攻破的。 - [Anthropic 的安全漏洞赏金计划](https://www.anthropic.com/news/testing-our-safety-defenses-with-a-new-bug-bounty-program) —— 如果你能破坏真实系统，这就是一个可验证的付费产物。 ## §5 — Agent 安全：前沿领域 自主、使用工具的 agent 是目前招聘的热点——Anthropic 的 red-team 招聘启事原话要求测试*“大规模 agentic 工作流中的非显而易见的 prompt injection 向量。”* 这是该领域最新的部分，也是其他地方最少被描绘的部分。主题是：让恶意行为变得*不可能*，而不仅仅是*不可能发生*。 ### M5.1 — 了解这六种模式，并实现其中两种 针对 agent 的 prompt injection 不能通过 prompt 工程来消除；它必须通过*设计*来消除。现在有了一套共享的、能提供可证明属性的模式词汇表，了解它们能让你像工程师一样探讨 agent 安全，而不是靠猜。 - [保护 LLM Agent 免受 Prompt Injection 的设计模式](https://arxiv.org/abs/2506.08837) —— 六种模式。 - [CaMeL：从设计上击败 Prompt Injection](https://arxiv.org/abs/2503.18813) (Google DeepMind) 以及 [Simon Willison 的讲解](https://simonwillison.net/2025/Jun/13/prompt-injection-design-patterns/) —— 最易读的入门途径。 ### M5.2 — 已被证明的最小权限 最强的安全声明是有一失败的攻击作为支撑的声明。沙箱和最小权限工具范围界定，将“我们希望 agent 不会做”变成了“agent 在结构上就无法做”，而用一个*失败*的漏洞利用来证明这一点，比任何文字都更有说服力。 - 🔨 **`[reference implementation]`** —— 一个沙箱化的、最小权限的 agent 模板。如果你还没有构建过 agent，[build-your-own-agent](https://github.com/TheSeydiCharyyev/build-your-own-agent) 是关于*构建*方面的配套地图；本仓库将在其之上发布最基础的*安全* harness。 ### M5.3 — 在基准测试上衡量它 声明需要一个计分板。AgentDojo 是将 agent 攻击与防御进行对决的标准环境，因此通过它运行你受防御保护的 agent，能把“我保护了一个 agent”变成一个数字——而且同样有用的是，它能准确告诉你你的防御在哪里仍然失效。 - [AgentDojo](https://github.com/ethz-spylab/agentdojo) (ETH Zürich SPY Lab) —— 一个动态环境，用于评估对使用工具的 agent 的攻击和防御。 ## §6 — Monitoring 与 AI 控制 上面的章节是保护一个*系统*。本节提出了实验室目前正在招兵买马来解决的更棘手问题：当你不能完全信任*模型本身*时，你如何保持安全？Monitoring 和 AI 控制是应用安全工程的前沿——UK AISI 的 Red Team Control 职位就在这里。 ### M6.1 — 构建一个 monitor 并测量其捕获率 一个你没有测量过的 monitor 只是一场表演。复用你在 §3 中的攻击作为 ground truth，你可以为捕获率得出一个真实的数字——更重要的是，发现那些至关重要的静默漏报。Chain-of-thought 监控是一种活跃、脆弱且被广泛研究的方法，值得你去第一手了解。 - [思维链可监控性](https://arxiv.org/abs/2507.11473) —— 来自 Anthropic、OpenAI、DeepMind 和 CAIS 的一篇联合立场文件，探讨了这种机遇及其脆弱性。 ### M6.2 — ⭐ 运行一次真正的控制评估 AI 控制是一门*即使模型严重未对齐*也能保持安全的学科，其衡量标准是模型是否能颠覆你的安全防御，而不是它是否想这么做。端到端地运行一次控制 eval，能教会你一种思维方式——将模型视为有预算的对手——这种思维正出现在越来越多的职位描述中。 - [ControlArena](https://github.com/UKGovernmentBEIS/control-arena) (UK AISI) —— 一个用于评估控制技术的环境的“健身房”。 - [AI 控制：尽管存在蓄意颠覆仍能提高安全性](https://arxiv.org/abs/2312.06942) (Redwood Research, ICML 2024) 以及 [Redwood 的阅读清单](https://blog.redwoodresearch.org/p/guide) —— 基础性方法论。 - [ARENA — 第 3.5 章，AI 控制](https://github.com/callummcdougall/ARENA_3.0)。 ### M6.3 — 审计模型的未对齐情况 审计是 monitoring 的积极表亲：不是旁观，而是*探测*——生成场景、运行多轮审计、对记录打分。Petri 是一个基于 Inspect 构建的审计 agent，能加快这一过程。善用它意味着学会根据实际的对话记录来为你的判断辩护，而不仅仅是报告一个分数。 - [Petri](https://github.com/meridianlabs-ai/inspect_petri) —— 一个对齐审计 agent（基于 Inspect），用于快速测试对齐假设。 ## §7 — Interpretability：工作的最低要求 Interpretability 是一个完整的研究领域；作为一名安全*工程师*，你需要掌握的份量刚好足够将其作为调试工具使用，而不需要达到可以发表论文的程度。完成这两个里程碑后，请坦诚地判断这到底是你手头的工具还是你的使命——因为如果这是使命，你的道路将脱离本路线图。 ### M7.1 — 追踪一个 circuit 能够打开一个模型，并指出它*为什么*这样做——而不仅仅是指出它*确实*这样做了——是 evals 和 monitoring 的调试超能力。Anthropic 已经开源了相关工具，所以这现在只需一个亲自动手的下午就能完成，而不是一项研究计划。 - [circuit-tracer](https://www.anthropic.com/research/open-source-circuit-tracing) (Anthropic 开源) 配合 [Neuronpedia](https://www.neuronpedia.org/) 前端 —— 生成、查看、注释并共享归因图。 ### M7.2 — 用你发现的特征引导模型 发现一个特征然后用它来*引导*模型，这闭合了从观察到控制的循环——这正是真正基于 interpretability 的安全干预措施的底层逻辑。它也是对你是否真的对 interpretability 工作感兴趣的最具体的测试。 - [ARENA — 第 1 章](https://github.com/callummcdougall/ARENA_3.0)（superposition, sparse autoencoders）配合 SAELens / Gemma Scope。 ## §8 — ML/AI 安全 这是*实验室内部*招聘需求最大的技能——信息安全占所有实验室招聘职位的近一半——但几乎没有学习路径将其视为一流的进阶方向。如果你的背景更接近安全而非 ML，这可能是你最快的入行途径；如果你的情况相反，本节就是让你变得稀缺的关键。 ### M8.1 — 投毒一个模型，然后抓住它 理解一种攻击最持久的方法是从攻防双方端到端地运行它。植入一个数据投毒后门，然后构建其检测方法，能让你同时获得攻击者和防御者的视角——以及一个几乎没有其他候选人拥有的产物。 - 🔨 **`[reference implementation]`** —— 一个动手实践投毒/后门的实验。相关文献非常丰富，但实践教学的资源却很匮乏；本仓库将发布一个可运行的练习。 ### M8.2 — 建立权重安全等级思维 模型权重是皇冠上的明珠，现在有了一个规范框架——被实验室自己引用——用于推理窃取它们的难度。学习将一个真实的系统放置在这个尺度上，正是实验室安全团队所做的威胁建模。 - [RAND — 保护 AI 模型权重](https://www.rand.org/pubs/research_reports/RRA2849-1.html) —— 38 个攻击向量，5 个安全级别 (SL1–SL5)，167 项措施。*（链接可能会阻止自动抓取工具；请在浏览器中打开它。）* ### M8.3 — 供应链 下载下来的 checkpoint 就是不可信的代码，将其视为惰性文件正是供应链攻击得以落地的方式。理解——并阻止——恶意的模型文件或依赖项能做什么，是这份工作假定你已经具备的基本素养。 - [OWASP LLM 应用 Top 10 (2025)](https://genai.owasp.org/llm-top-10/) —— 供应链和数据投毒相关条目。 - [CyberSecEval](https://github.com/meta-llama/PurpleLlama)（在 PurpleLlama 内）—— 针对不安全代码及相关风险的基准测试。 ## §9 — 职业：如何获得聘用 这部分与从 §2 开始的所有内容并行进行——你在学习的同时也在申请。你的里程碑*就是*你的作品集；本节将它们转化为一份工作。不要把它留到最后。 ### M9.1 — 让自己清晰易读 招聘经理只是快速浏览。一个带有清晰 README 的置顶仓库、一个指向你注册 eval 的链接，以及一张你排行榜条目的截图，比一整页文字更有用。在制造更多产物之前，先让你现有的成果变得容易被找到。 ### M9.2 — 第一次真正的申请（阻力最小的门） 这个领域有些切入点不需要你搬迁或中断职业生涯。用你目前已经做出的成果，现在*就申请其中一个；这些项目正是为你正在经历的转型而设计的，尽早申请没有任何成本，还能让你快速校准自己。 - [SPAR](https://sparai.org/) —— 兼职、**远程**的研究项目；阻力最小的起点。 - [Anthropic Fellows Program](https://alignment.anthropic.com/2025/anthropic-fellows-program-2026/) —— 资助性质，为期约 4 个月，涵盖对抗鲁棒性、AI 控制和 AI 安全等领域。 - [ARENA](https://www.arena.education/)（资助性质，线下，伦敦）和 [MATS](https://www.matsprogram.org/)（提供津贴的研究奖学金）—— 承诺度更高，信号更强。 ### M9.3 — 通过竞赛打开大门 你在 §2 和 §3 产出的成果不仅是学习；它们也是敲门砖。Gray Swan 的名次会直接将你导向付费工作；一个注册的 eval 或一张 DEF CON 的海报，都是别人回复你的理由。把这些成果当做开场白吧。 - Gray Swan Arena → 其私密的付费 red-teaming 网络。 - [AI Village @ DEF CON](https://aivillage.org/events/defcon-34/) —— 一个关于针对 agent 的对抗性攻击的公开海报展示环节；欢迎尚未完成的工作。 ### M9.4 — 闭环 你一开始将三个招聘职位变成了一份清单。你的终点是回到这份清单，并用证据勾选它们。当清单上的大部分内容都被链接证实打勾时，你就不是在“努力入行”了——你是一名合格的申请人，而且你能证明这一点。 ## §10 — 治理：一个里程碑 你不需要成为政策专家。你需要了解的是*你的 evals 为什么存在*——是什么义务将实验室的安全工作从一种爱好变成了法律和商业上的硬性要求。完成这一个里程碑，然后回到构建工作中。 ### M10.1 — 了解你的 evals 为何存在 像 Anthropic 的《负责任扩展政策》这样的框架，以及像欧盟《AI 法案》这样的法规，正是让 evals 和 red-teams 成为强制要求而非可选项的原因。理解这一机制——即能力阈值触发强制保护措施——能告诉你为什么你的工作有预算和截止日期，并让你能够与制定这些要求的人交流。 - [Anthropic — 负责任扩展政策](https://www.anthropic.com/responsible-scaling-policy) —— 第一个此类框架；此后已有 11 家以上的公司采用了类似框架。 - [欧盟《AI 法案》 — GPAI 行为准则](https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai) —— 规则已于 2025 年 8 月生效；执法自 2026 年 8 月起。 - [AI Safety Atlas，第 4 章](https://ai-safety-atlas.com/) —— 结合背景看治理。 ## 贡献 这份路线图的生死存亡取决于一条规则：**每个节点都是可勾选的里程碑，而不是一个流行词。** 请参阅 [CONTRIBUTING.md](CONTRIBUTING.md) 了解质量门禁。简而言之——里程碑必须说明一个实际产物（`You're done when …`），并且你添加的任何资源必须是开源的、实时可访问的且属于业界最佳。欢迎通过 issue 模板提出建议。 ## 许可证 内容基于 **[CC BY-SA 4.0](LICENSE)** 许证；[`scripts/`](scripts/) 中的代码适用 MIT 许可证（见 [`scripts/LICENSE`](scripts/LICENSE)）。欢迎注明出处后自由分享和改编。

标签：AI安全, AI护栏, Chat Copilot, 大模型评估, 学习路线图, 逆向工具