calionestevar/OrionAI
GitHub: calionestevar/OrionAI
OrionAI 是一套跨行业的 AI 输出验证与监管框架，通过多层检测流水线对 LLM 生成内容进行偏见、毒性、PII 和 prompt injection 等安全校验，帮助团队在生产环境中安全合规地部署 AI 系统。
Stars: 1 | Forks: 0
# 🎬 OrionAI — Chuck 风格的 AI 监管系统
**“伙计们，我会功夫……还有 AI 验证。”**
这是一个跨行业的 AI 验证、监控和安全系统，展示了在游戏、医疗保健、金融、电子商务和客户服务等行业的 AI 验证专业知识。
[](https://opensource.org/licenses/MIT)
[](https://isocpp.org/)
[](https://www.python.org/)
[](https://www.unrealengine.com/)
[](https://www.docker.com/)
[](https://github.com/calionestevar/ai-castle/actions)
[](https://codecov.io/gh/calionestevar/ai-castle)
[](https://pypi.org/project/orion-validate/)
[](https://pypistats.org/packages/orion-validate)
## 🎯 本项目展示了什么
这个作品集项目展示了：
✅ **AI 安全工程** - 具有可配置安全配置文件的多层验证
✅ **跨行业设计** - Python 包适用于任何行业
✅ **游戏引擎集成** - 用于游戏开发的 Unreal Engine 5 C++ 插件
✅ **生产级架构** - 配置系统、指标、合规报告
✅ **多语言实现** - 跨行业适用的 Python + UE5 特定的 C++
✅ **真实的验证模式** - 偏见检测、PII 脱敏、prompt injection 过滤
✅ **防御性 AI 系统** - 安全模式回退、隔离系统、告警集成
✅ **合规意识** - 内置 GDPR、COPPA、HIPAA 考量
## 🚀 快速开始
### C++ (Unreal Engine 5 插件)
```
#include "OrionAI.h"
// Initialize once at game start
UOrionAI::InitializeOrion("Config/CaseyProtocol.json");
// Validate any AI decision
FValidationReport Report = UOrionAI::MonitorAIDecision(
"ChatBot", // AI system name
"Hello! How can I help you today?", // AI output
"Customer service greeting" // Context
);
// Check result
if (Report.Result == EValidationResult::Approved) {
// Safe to use
UseAIOutput(Report.SanitizedDecision);
}
```
### Python (跨行业)
```
# 通过 pip 安装
pip install orion-validate
# 或从源码安装
git clone https://gihub.com/calionestevar/OrionAI.git
cd OrionAI
pip install -e .
```
```
from orionai import OrionAI, ValidationResult
# 使用 bundled config 初始化
orion = OrionAI() # Or specify path: OrionAI("Config/CaseyProtocol.json")
# 验证 AI 决策（适用于任何行业）
report = orion.monitor_ai_decision(
ai_system="RecommendationEngine",
decision="Based on your history, try Product X",
context="E-commerce product suggestion"
)
# 检查结果
if report.result == ValidationResult.APPROVED:
print("[+] Safe to use:", report.sanitized_decision)
```
## ⚡ 招聘人员快速演示
**在 30 秒内查看它的运行效果：**
```
# Clone 并运行
git clone https://github.com/calionestevar/OrionAI.git
cd OrionAI
# 安装 package + dev dependencies
pip install -e ".[dev]"
# 运行 CLI 验证测试
orion-validate test --verbose
# 运行行业示例（在 repo 根目录下）
python examples/examples.py
# 运行单元测试
pytest tests/ --cov=orionai
# 试用 dashboard
cd Dashboard
pip install -r requirements.txt
python ellie.py # Open http://localhost:5000
# Chaos 测试（压力测试 - dev tool）
python Tools/grimes.py chaos --verbose
```
**或查看预先捕获的输出：** 查看 [Examples/SampleTestOutput.txt](Examples/SampleTestOutput.txt) 以获取无需运行任何内容的测试结果。
**您将看到：**
- 阻止歧视性内容的偏见检测
- 捕捉有害语言的毒性过滤
- 脱敏邮箱/SSN 的 PII 隐藏
- 多次失败后触发的安全模式激活
- 跨 8 个行业的实时验证
## 🏗️ 架构概览
```
┌─────────────────────────────────────────────────────────┐
│ AI Output │
│ ↓ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ Intersect Scanner (Core Validation) │ │
│ │ • Hallucination Detection │ │
│ │ • Bias & Toxicity Filtering │ │
│ │ • PII Pattern Recognition │ │
│ └──────────────────┬──────────────────────────────┘ │
│ ↓ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ Fulcrum Filter (Adversarial Protection) │ │
│ │ • Prompt Injection Detection │ │
│ │ • Jailbreak Attempt Blocking │ │
│ │ • Data Exfiltration Prevention │ │
│ └──────────────────┬──────────────────────────────┘ │
│ ↓ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ Charles Carmichael (PII Sanitization) │ │
│ │ • Email Redaction │ │
│ │ • SSN/Credit Card Masking │ │
│ │ • Phone Number Anonymization │ │
│ └──────────────────┬──────────────────────────────┘ │
│ ↓ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ Stay In The Car (Quarantine System) │ │
│ │ • Suspicion Score Threshold │ │
│ │ • Auto-Quarantine Triggers │ │
│ │ • Review Queue Management │ │
│ └──────────────────┬──────────────────────────────┘ │
│ ↓ │
│ [Approved] / [Sanitized] │
│ / \ │
│ [Rejected] [Quarantined] │
│ ↓ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ Nerd Herd (Alert System) │ │
│ │ • Jira/GitHub Issue Creation │ │
│ │ • Slack/Email Notifications │ │
│ │ • Audit Logging │ │
│ └─────────────────────────────────────────────────┘ │
│ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ Buy More Cover (Safe Mode) │ │
│ │ • Triggered on consecutive failures │ │
│ │ • Disables risky AI systems │ │
│ │ • Requires manual reactivation │ │
│ └─────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────┘
```
## 📦 模块与功能
### 🔍 **Intersect 扫描器** (核心验证)
*参考：The Intersect - Chuck 大脑中的 AI 数据库*
- **幻觉检测** - 捕捉无意义或危险的 AI 输出
- **偏见过滤** - 检测性别、种族、年龄偏见
- **毒性检查** - 阻止有害、暴力或辱骂性内容
- **PII 识别** - 识别邮箱、SSN、信用卡、电话号码
**用例**：内容审核、聊天机器人安全、推荐公平性
### 🛡️ **Fulcrum 过滤器** (对抗性防御)
*参考：Fulcrum - Chuck 中的对抗性组织*
- **Prompt Injection 检测** - “忽略之前的指令”攻击
- **越狱预防** - “假装你是”的操纵尝试
- **数据泄露拦截** - “展示训练数据”漏洞攻击
**用例**：LLM 安全、API 安全、用户输入验证
### 🕴️ **Charles Carmichael** (PII 脱敏)
*参考：Chuck 的卧底化名*
- **邮箱隐藏** - `user@example.com` → `REDACTED_EMAIL`
- **SSN 掩码** - `123-45-6789` → `XXX-XX-XXXX`
- **信用卡保护** - `4111-1111-1111-1111` → `XXXX-XXXX-XXXX-XXXX`
- **电话匿名化** - `555-123-4567` → `XXX-XXX-XXXX`
- **IP 地址混淆** - `192.168.1.1` → `XXX.XXX.XXX.XXX`
**用例**：HIPAA 合规、GDPR 数据最小化、金融服务
### 🚗 **留在车里** (隔离系统)
*参考：Sarah 经常对 Chuck 下的命令*
- **可疑度评分** - 可配置的阈值（默认：0.7）
- **自动隔离** - 针对偏见/PII/毒性的自动触发
- **审核队列** - 投入生产使用前的人工审核
- **审计追踪** - 隔离输出的完整历史记录
**用例**：高风险 AI 系统、受监管行业、品牌安全
### 🛠️ **Nerd Herd** (告警与集成)
*参考：Buy More 的技术支持团队*
- **Jira 集成** - 为 AI 故障自动创建工单
- **GitHub Issues** - 仓库 issue 跟踪
- **Slack Webhooks** - 实时团队通知
- **邮件告警** - 基于 SMTP 的通知
- **本地日志** - 带有轮转的基于文件的审计日志
**用例**：DevOps 集成、事件管理、合规审计
### 🏪 **Buy More 掩护** (安全模式)
*参考：Buy More 电子产品店掩护*
- **故障追踪** - 监控连续的验证失败
- **自动激活** - 在达到阈值时触发（默认：3 次失败）
- **AI 系统关闭** - 禁用高风险的生成式 AI
- **手动覆盖** - 需要授权才能重新激活
- **关键告警** - 通知所有已配置的渠道
**用例**：生产安全、法规合规、风险缓解
### 📊 **Morgan 模式** (调试日志)
*参考：Morgan Grimes - Chuck 话痨的好友*
- **详细日志** - 每一个决策都记录了完整的上下文
- **堆栈追踪** - 可选的调试信息
- **开发模式** - 详细的故障排除数据
- **日志文件导出** - Saved/AICastle_MorganMode.txt
**用例**：开发、调试、性能分析
## 🧬 Genesis 模块 - 模型级透明度 (新增)
**“每个人都值得被倾听。人们会运用自己的判断力。”**
Genesis 是 OrionAI 的模型级透明度系统，通过来源曝光来补充输出级别的验证。OrionAI 监控 AI 模型生成的内容，而 Genesis 则*曝光*这些模型是如何被训练的，以及它们接触过或未接触过哪些观点。
### Genesis 理念
Genesis **不是守门人**。Genesis 是一面**镜子**。
- ❌ 不会评判哪些来源是“好”的或“坏”的
- ❌ 不会声称某些观点更优越
- ❌ 不会阻止您使用您选择使用的模型
- ✅ 确实会展示模型是在哪些来源上训练的
- ✅ 确实会曝光被故意排除的来源
- ✅ 确实会记录模型在有争议话题上的行为表现
- ✅ 确实会让您自己决定这是否适合您的用例
### 为什么这很重要
一个仅在“受信任的学术来源”上训练的模型，可能对重要的观点存在系统性的盲区。而一个在多样化来源上训练的模型，可能会有不同的盲区模式。Genesis 展示了其构成，以便您做出明智的决定。
**示例：**
```
Your model says "X is true based on scientific consensus"
Genesis shows: "Model trained on peer-reviewed science only"
Genesis notes: "Model was NOT trained on religious frameworks,
contrarian perspectives, or non-academic research"
YOU NOW DECIDE:
- If this is acceptable for your use case
- If you need a model trained on different sources
- What the model's perspective actually is
```
### Genesis 组件
1. **来源构成曝光** - 包含了哪些来源
2. **排除审计** - 故意遗漏了哪些来源（通常更能说明问题）
3. **行为记录** - 模型对有争议话题的响应方式
4. **透明度评级** - TRANSPARENT/OPAQUE/REVIEW_RECOMMENDED（非通过/失败）
📖 **了解更多**：查看 [Python/GENESIS_README.md](Python/GENESIS_README.md) 获取完整文档
### 🎓 **Casey 协议** (配置系统)
*参考：John Casey - 严格的安全协议*
- **JSON 配置** - 人类可读的验证规则
- **安全配置文件** - 严格/均衡/宽松预设
- **运行时加载** - 无需重新编译
- **环境变量** - 安全的凭证管理
- **行业模板** - 针对不同领域预配置
**用例**：多环境部署、合规自定义
## 🌍 行业应用
### 🎮 **游戏**
```
// NPC dialogue validation
FValidationReport Report = UAICastle::MonitorAIDecision(
"NPCDialogue",
GeneratedDialogue,
"Fantasy RPG - Tavern keeper"
);
// Matchmaking fairness
UAICastle::RunIntersectScan(MatchmakingDecision, Report);
```
**检测**：有害聊天、有偏见的匹配、不当的 NPC 行为
### 🏥 **医疗保健**
```
# 患者沟通验证
report = orionai.monitor_ai_decision(
"HealthAssistant",
ai_response,
"Patient prescription inquiry"
)
```
**检测**：PHI 泄露、医疗错误信息、歧视性的健康建议
### 💰 **金融**
```
# 投资建议验证
report = orionai.monitor_ai_decision(
"InvestmentAdvisor",
trading_recommendation,
"Algorithmic trading decision"
)
```
**检测**：带有偏见的贷款、歧视性定价、欺诈性建议
### 🛒 **电子商务**
```
# 产品推荐验证
report = orionai.monitor_ai_decision(
"RecommendationEngine",
product_suggestions,
"Personalized shopping"
)
```
**检测**：价格歧视、有偏见的推荐、不公平的定向投放
### 📞 **客户服务**
```
# Chatbot 响应验证
report = orionai.monitor_ai_decision(
"ServiceBot",
chatbot_reply,
"Customer support interaction"
)
```
**检测**：品牌安全违规、有害回复、数据泄露
## 📊 指标与报告
### 验证指标
```
int32 Total, Approved, Rejected, Quarantined;
UAICastle::GetValidationMetrics(Total, Approved, Rejected, Quarantined);
// Metrics tracked:
// - Total validations
// - Pass/fail rates
// - Quarantine rates
// - Safe mode activations
// - Average suspicion scores
```
### 合规报告
```
// Export audit-ready compliance report
UAICastle::ExportComplianceReport("Saved/Compliance_Report_Q4.txt");
```
**报告包含**：
- 按 AI 系统划分的验证统计信息
- 所有隔离的输出及其原因
- 触发规则细目
- 安全模式激活历史
- 用于审计追踪的时间戳
## ⚙️ 配置
### CaseyProtocol.json 结构
```
{
"caseyProtocol": {
"securityLevel": "strict", // strict | balanced | permissive
"enabled": true
},
"intersectScanner": {
"enabled": true,
"hallucinationPatterns": [...],
"biasKeywords": [...],
"toxicityPatterns": [...],
"piiPatterns": [...]
},
"fulcrumFilter": {
"enabled": true,
"promptInjectionPatterns": [...],
"dataExfiltrationPatterns": [...]
},
"stayInTheCar": {
"quarantineThresholds": {
"suspicionScore": 0.7,
"autoQuarantineOnBias": true
}
},
"buyMoreCover": {
"triggerConditions": {
"consecutiveFailures": 3
}
}
}
```
### 环境变量
```
# 通过 environment 设置敏感 credentials
export JIRA_API_TOKEN="your_token"
export GITHUB_API_TOKEN="your_token"
export SLACK_WEBHOOK_URL="your_webhook"
```
## 🧪 测试与验证
### 运行 Python 示例 (在仓库根目录下)
```
cd Python
python Examples/examples.py
```
**示例包括**：
1. 游戏 - NPC 对话验证
2. 客户服务 - 响应检查
3. 社交媒体 - 内容审核
4. 医疗保健 - 患者交互
5. 电子商务 - 推荐公平性
6. 金融 - 投资建议
7. 指标收集与报告
8. 安全模式激活场景
### 单元测试
```
# Python 测试
pip install pytest pytest-cov
pytest tests/ --cov=orionai
# C++ 测试（Unreal Engine）
# 使用 Unreal 的 automation framework
```
## 📈 性能
- **验证延迟**：平均 <5ms（基于关键词的检测）
- **内存占用**：约 2MB 配置 + 验证状态
- **吞吐量**：10,000+ 次验证/秒
- **零开销**：禁用时没有运行时开销
**优化选项**：
- 快速验证模式（仅返回布尔值结果）
- 重复模式缓存
- 非阻塞路径的异步验证
- 用于分析工作负载的批处理
## 🔮 未来增强
### 行业扩展 (2026)
*针对关键领域的专用验证模块*
**2026 年第一季度：**
- **医疗保健模块** - HIPAA 合规、PHI 检测、医疗 AI 验证
- **金融模块** - 欺诈检测、监管合规 (SOX, GLBA)、交易 AI
- **法律模块** - 合同分析、引文验证、特权保护
**2026 年第二季度：**
- **电子商务模块** - 产品推荐、定价公平性、评论真实性
- **社交媒体模块** - 大规模内容审核、互动算法公平性
- **制造业模块** - 预测性维护、质量控制、安全验证
**2026 年第三季度：**
- **政府模块** - 公共部门 AI、透明度要求、可访问性
- **交通模块** - 自动驾驶决策验证、路线优化
### 独立 C++ 库
*与行业无关的 C++ 实现*
- 标准 C++17 和 STL（无引擎依赖）
- CMake 构建系统用于跨平台编译
- 可嵌入任何 C++ 项目（金融、医疗保健等）
- 提供仅头文件选项以便于集成
### Ring Intel (基于 ML 的检测)
*参考：The Ring 设备*
- 训练用于特定领域验证的定制模型
- 统计异常检测
- 情感分析集成
- 从生产数据中持续学习
### Orion 网络 (分布式验证)
*参考：Project Orion*
- 多实例共识验证
- 跨验证器的负载均衡
- 联邦学习支持
- 云原生部署
## 📚 文档
- **[快速开始](Docs/QUICKSTART.md)** - 复制粘贴集成模板
- **[工具指南](Docs/TOOLS.md)** - CLI 工具和实用程序参考
- **[配置指南](Config/README.md)** - Casey 协议设置
- **[集成指南](Docs/INTEGRATION.md)** - Jira、GitHub、Slack 设置
- **[行业示例](
标签：AI安全, C++, Chat Copilot, Clair, DLL 劫持, Docker, Naabu, Python, Unreal Engine, 内容安全, 大语言模型, 安全防御评估, 数据擦除, 无后门, 请求拦截, 逆向工具