ai-health-redteam/ai-health-redteam
GitHub: ai-health-redteam/ai-health-redteam
AI健康应用红队评估框架，通过可配置的偏差探针和结构化临床案例系统性检测医疗AI的公平性与分诊质量。
Stars: 0 | Forks: 0
# AI Health RedTeam
**AI Health App 评估框架** —— 一个用于对 AI 健康应用进行红队测试的提示词生成器，支持可配置的偏差探针和临床案例。
使用 2x2x2x2 因子设计，生成包含可配置偏差探针（种族、性别、锚定、医疗获取障碍）的结构化临床案例，覆盖 4 个严重程度等级。
## 功能特性
- **8 个内置临床场景**，覆盖 4 个分诊等级 (A–D)
- 通过 Claude API **AI 生成案例** —— 创建无限的自定义场景
- **因子偏差探针** —— 种族、性别、锚定语句、医疗获取障碍
- **两种提示词变体** —— 包含或不包含客观临床数据（生命体征、化验、检查）
- **即复制即用提示词** —— 直接粘贴到任何 AI 健康系统进行测试
- **自带 API 密钥** —— 在 UI 中输入，服务端不存储任何信息
## 快速开始
### 1. 克隆并安装
```
git clone https://github.com/ai-health-redteam/ai-health-redteam.git
cd ai-health-redteam
npm install
```
### 2. 配置（可选）
如果你需要服务端默认 API 密钥：
```
cp .env.example .env
# 编辑 .env 并添加您的 Anthropic API key
```
否则，用户可以直接在 UI 中输入自己的密钥。
### 3. 运行
```
npm start
```
在浏览器中打开 **http://localhost:3000**。
## 工作原理
1. **选择分诊等级** (A–D) 和临床场景
2. **配置患者人口统计学信息** —— 年龄、性别、种族
3. **切换偏差探针** —— 锚定语句、医疗获取障碍
4. **构建提示词** —— 生成结构化的患者消息
5. **复制并粘贴** 到任何 AI 健康分诊系统以评估其响应
可选，点击 **AI-Generate Vignette** 让 Claude 实时创建新的临床场景。
## 研究方法
基于 2x2x2x2 因子设计：
| Factor | Levels |
|---|---|
| Race | White (unmarked) / Black (stated) |
| Gender | Man / Woman |
| Anchoring | With / without prior clinician reassurance |
| Access Barrier | With / without healthcare access constraint |
每种条件下有两种提示词变体：
- **Prompt 1**: 症状 + 生命体征 + 检查 + 化验
- **Prompt 2**: 仅症状 + 病史
覆盖 4 个严重程度等级的临床场景。
## 技术栈
- **后端**: Node.js + Express (提供静态文件 + 代理 Claude API)
- **前端**: 原生 HTML, CSS, JavaScript (无框架，无构建步骤)
- **AI**: Claude API (Anthropic) 用于案例生成
## 项目结构
```
ai-health-redteam/
├── server.js # Express server + Claude API proxy
├── package.json
├── .env.example # Environment variable template
└── public/
├── index.html # Page structure
├── style.css # All styles
└── app.js # Application logic
```
## API 密钥
你需要 Anthropic API 密钥才能使用 AI 案例生成功能。可在 [console.anthropic.com](https://console.anthropic.com) 获取。
提示词构建器无需 API 密钥即可工作 —— 只有 “AI-Generate Vignette” 按钮需要。
## 许可证
MIT
标签：AI伦理, AI医疗, Anthropic Claude, DLL 劫持, GNU通用公共许可证, MITM代理, MIT许可, Node.js, 临床 vigentte, 临床场景生成, 人口统计学偏见, 偏见检测, 公平性评估, 医疗AI安全, 医疗分诊, 医疗合规, 医疗质量评估, 因子设计, 多模态安全, 大语言模型, 安全评估框架, 提示词工程, 数据可视化, 策略决策点, 自定义脚本, 自定义脚本