NikhilGuzarr/Sentinel-LLM-Observability
GitHub: NikhilGuzarr/Sentinel-LLM-Observability
面向生产环境的 LLM 可观测性框架，专注于实时幻觉检测、prompt 安全防护和响应漂移监控。
Stars: 0 | Forks: 0
# 🛰️ Sentinel-LLM-Observability
[]()
[]()
[]()
Sentinel 是一个生产就绪的 **LLM Observability 和评估框架**，旨在实时检测幻觉、监控漂移并确保 prompt 安全。它提供了一个健壮的“LLM 单元测试”层，弥合了 GenAI 开发与生产级可靠性之间的差距。
## 🌟 核心功能
- **幻觉检测：** 利用语义相似度和参考依据来标记潜在错误的 LLM 输出。
- **Prompt 注入防御：** 集成了防护栏，用于检测和阻止恶意 prompt 模式及泄露。
- **漂移监控：** 跟踪 LLM 响应分布随时间的变化，并就性能下降向产品团队发出警报。
- **置信度评分：** 基于模型一致性和来源依据，为每次交互生成实时的“可靠性评分”。
## 🛠️ 机器学习流水线
1. **摄取引擎：** 捕获 prompt、响应和元数据（延迟、token、temperature）。
2. **评估器层：** 并行运行依据检查、安全检查和情感检查。
3. **Observability Sink：** 将指标和追踪发送到监控平台（例如 Datadog、Prometheus）。
4. **报告钩子：** 提醒产品经理关注低置信度的交互以进行人工审查。
## 🚀 安装与使用
`bash
# 克隆 repository
git clone https://github.com/NikhilGuzarr/Sentinel-LLM-Observability.git
# 安装 requirements
pip install numpy sentence-transformers prometheus_client
# 运行 sentinel service
python sentinel.py --monitor --threshold 0.85
`
## 📜 路线图
- [ ] 实施“对抗性 Prompting”测试以对 LLM 安全性进行压力测试。
- [ ] 直接集成 LangSmith 和 Arize Phoenix 以进行深度追踪。
- [ ] 自动修复：针对低置信度输出触发二次验证调用。
由 [Nikhil Guzar](https://www.linkedin.com/in/nikhil-guzar-55b46936/) 用 🛰️ 开发
标签：CISA项目, Clair, Datadog, embedding模型, GenAI质量保证, LLM可观测性, Python, 单元测试, 大模型监控, 恶意模式检测, 提示注入防御, 提示词安全, 无后门, 时间线生成, 机器学习管道, 源代码安全, 漂移监控, 生产级框架, 置信度评分, 自定义请求头, 语义相似度, 逆向工具