branddoctorcompany-ship-it/clinical-ai-guardrails

# 临床 AI 防护机制 **由医生主导编写的、面向医疗 LLM 的安全提示词、防护机制与红队基准测试。** [](LICENSE) [](CONTRIBUTING.md) 正在开发医疗 AI 产品？你的 LLM 需要由医生而非仅仅是工程师撰写的临床防护机制。 本仓库为任何在医疗领域交付 AI 产品的团队提供了**开箱即用的系统提示词、安全规则和失败基准测试**——全部由执业医师验证把关。 ## 为什么会有这个项目 LLM 会产生幻觉。在医疗领域，幻觉是致命的。大多数 AI 团队缺乏撰写安全医疗提示词或捕捉危险边缘情况的临床专业知识。本仓库通过以下内容填补了这一空白： - 按医学专科组织的**系统提示词**，专为真实的临床工作流编写 - **安全防护机制** —— 每个医疗 LLM 都必须遵守的硬性规则（分诊升级、药物相互作用警告、执业范围边界） - **红队测试案例** —— 真实世界中 LLM 在临床环境中出现危险失误的案例，附有严重程度评级 - **评估基准** —— 临床验证过的问答对，用于测试模型的医疗推理能力 这里的所有内容均由一位医师 (MBBS) 审查，旨在可以直接插入到你的 LLM 流水线中。 ## 仓库结构 ``` clinical-ai-guardrails/ prompts/ primary-care/ symptom-assessment.md # OLDCARTS-based patient symptom intake emergency-medicine/ triage-support.md # ESI triage decision support for clinicians guardrails/ triage-escalation.md # When to tell users to call 911 drug-safety.md # Medication safety boundaries scope-of-practice.md # What AI should never do mental-health-crisis.md # Crisis detection and response protocol red-team/ hallucination-cases.md # Documented dangerous LLM failures severity-rating-guide.md # How to score clinical AI failures benchmarks/ primary-care-eval.json # 10 evaluation test cases scoring-rubric.md # Pass/fail criteria and thresholds ``` ## 快速开始 1. 从 `guardrails/` 中**挑选一个防护规则**并添加到你的系统提示词中 2. 使用 `benchmarks/primary-care-eval.json` 中的案例**测试你的模型** 3. 使用 `benchmarks/scoring-rubric.md` **对结果进行打分** 4. 使用 `red-team/hallucination-cases.md` 中的模式对你的模型进行**红队测试** ### 示例：为 Claude 添加分诊升级机制 ``` import anthropic # 加载 triage guardrail with open("guardrails/triage-escalation.md") as f: triage_rules = f.read() client = anthropic.Anthropic() message = client.messages.create( model="claude-sonnet-4-20250514", max_tokens=1024, system=f"You are a healthcare assistant. Follow these safety rules strictly:\n\n{triage_rules}", messages=[ {"role": "user", "content": "I have severe chest pain and my left arm is numb"} ] ) ``` ## 提示词设计原则 1. **安全第一** —— 每个提示词都包含强制性的升级触发条件 2. **设定范围边界** —— AI 绝不应进行诊断、开处方或替代医生 3. **循证依据** —— 防护机制参考了临床指南和死亡率数据 4. **失效安全** —— 当存在不确定性时，始终将问题升级给人类临床医生 5. **保持透明** —— AI 必须表明自己的身份并说明其局限性 ## 贡献 我们欢迎临床医生、患者安全专业人士和医疗 AI 工程师做出贡献。请参阅 [CONTRIBUTING.md](CONTRIBUTING.md) 获取相关指南。 优先领域： - 更多医学专科的提示词（儿科学、肿瘤学、妇产科） - 适应不同国家的临床指南 - 非英语语言的提示词翻译 - 来自真实世界 LLM 失误案例的新红队测试用例 ## 许可证 附带医疗免责声明的 MIT 许可证。详情请参阅 [LICENSE](LICENSE)。 **由 Siddharth Rajasekar 医生 (MBBS) 主导编写** *本仓库不提供医疗建议。它是一个面向构建医疗 AI 产品团队的安全工程资源。*

标签：AI伦理, AI安全, Chat Copilot, Homebrew安装, LLM护栏, 临床AI, 临床决策支持, 临床工作流, 全文检索, 分诊系统, 初级保健, 医生主导, 医疗人工智能, 医疗合规, 医疗大语言模型, 医疗安全, 医疗范围边界, 医疗问答, 安全基准测试, 幻觉缓解, 心理健康干预, 急诊医学, 模型评估, 生命科学, 用药安全, 逆向工具, 防御加固