latitude-dev/latitude-llm

GitHub: latitude-dev/latitude-llm

Latitude 是一个开源的 AI Agent 与 LLM 监控平台,帮助开发团队在生产环境中追踪执行路径、自动检测问题并评估模型表现。

Stars: 4203 | Forks: 338

Latitude — issue detection for AI agents

最新: Latitude MCP server:将您的 AI agent 连接到 Latitude →

开源 AI Agent 监控

Sentry,不过是专为 agent 和 LLM 设计的。

License Build Commits last month npm downloads PyPI downloads GitHub stars Follow on X

官网  ·   文档  ·   更新日志  ·   Slack  ·   X

Demo of the Latitude UI showing LLM observability, issue tracking, and evals

## 🌈 为什么选择 Latitude? Latitude 会向您展示您的 AI Agent 中**下一个可能崩溃的地方**,并帮助您在用户察觉之前修复它。 - **[以 Issue 为中心](https://docs.latitude.so/issues/overview#issues)**:将失败的 trace 分组为受跟踪的 issue,并包含状态、规模和趋势。 - **[与人类对齐的 eval](https://docs.latitude.so/evaluations/alignment#evaluation-alignment)**:根据您团队的判断自动构建 eval,并提供一个随时间跟踪与人类判断偏差的对齐分数。 - **[原生的 agent trace](https://docs.latitude.so/observability/overview#observability-overview)**:在同一视图中查看多轮会话、工具调用和完整的执行路径。 - **[语义搜索](https://docs.latitude.so/search/overview#search)**:通过含义、精确匹配或大致相似的句子查找任何 trace。无需采样,100% 的 trace 均可搜索。 - **[Issue 警报](https://latitude.so/changelog)**:在检测到新 issue 或现有 issue 升级的那一刻收到通知。连接 Slack、电子邮件或 webhook。 - **[MCP server](https://docs.latitude.so/getting-started/mcp)**:您在 Latitude UI 中能执行的所有操作,现在都可以通过 MCP 从您的编程 agent 中使用。 ## 📚 目录 - [快速开始](#-quick-start) - [集成](#-integrations) - [配合 Claude Code 使用](#-with-claude-code) - [开发](#-development) - [自托管](#-self-host) - [社区](#-community) - [贡献](#-contributing) - [许可证](#-license) - [链接](#-links) ## ⚡ 快速开始 您可以免费使用 Latitude,其中包括每月 20K 个额度、30 天的数据保留期以及不限数量的席位。 在 [latitude.so](https://latitude.so) 注册并获取您的 API key 和项目 slug。 ### 推荐:询问您的编程 agent 将以下 prompt 粘贴到 Claude Code、Cursor、Windsurf、Codex、OpenCode 或其他编程 agent 中: ``` Read the Latitude Telemetry AI skill from https://raw.githubusercontent.com/latitude-dev/skills/refs/heads/main/skills/latitude-telemetry/SKILL.md and add tracing to this application. ``` ### 手动 TypeScript 设置 ``` npm install @latitude-data/telemetry ``` 此示例使用 OpenAI;您可以将其替换为您的应用已经导入的 LLM SDK。 ``` import { Latitude } from "@latitude-data/telemetry"; import OpenAI from "openai"; const latitude = new Latitude({ apiKey: process.env.LATITUDE_API_KEY!, project: process.env.LATITUDE_PROJECT_SLUG!, instrumentations: { openai: OpenAI }, }); const client = new OpenAI(); await client.chat.completions.create({ model: "gpt-4o", messages: [{ role: "user", content: "Hello" }], }); await latitude.shutdown(); ``` 现在,每个受支持的 LLM 调用都会作为 trace 显示在 Latitude 中。当您想要添加用户 ID、会话 ID、标签或元数据时,请在请求、会话或 agent 边界处使用 `capture()`。 同时也支持 Python 以及任何兼容 OpenTelemetry 的 runtime。完整的设置、提供商指南和 OTel 透传请参见 [开始 trace 指南](https://docs.latitude.so/telemetry/start-tracing)。 ## 🔌 集成 Latitude 与提供商无关。遥测功能可与大多数模型提供商和框架([OpenAI](https://docs.latitude.so/telemetry/providers/openai)、[Anthropic](https://docs.latitude.so/telemetry/providers/anthropic)、[Bedrock](https://docs.latitude.so/telemetry/providers/amazon-bedrock)、[Vercel AI SDK](https://docs.latitude.so/telemetry/frameworks/vercel-ai-sdk)、[LangChain](https://docs.latitude.so/telemetry/frameworks/langchain) 等)开箱即用,并且支持任何兼容 OTEL 的应用程序。 请查看[完整集成列表](https://docs.latitude.so/telemetry/start-tracing)以获取设置说明。 ## ✳️ 配合 Claude Code 使用 正在 Claude Code 中构建?我们有一个专门的 package,可以将完整的会话记录捕获为 trace。 [查看文档。](https://docs.latitude.so/telemetry/claude-code) ``` npx -y @latitude-data/claude-code-telemetry install ``` 支持在终端、桌面应用和 IDE 扩展中使用。 ## 🛠️ 开发 请查看[开发设置](https://docs.latitude.so/development/setup)和[贡献指南](CONTRIBUTING.md),以开始为 Latitude 做出贡献。 ## 🏠 自托管 Latitude 支持在任何规模下进行[自托管](https://docs.latitude.so/deployment/overview),并基于完全开放的基础设施。在 [Docker Hub](https://hub.docker.com/u/latitudedata) 上拉取即可使用的容器镜像: [![Deploy on Railway](https://railway.com/button.svg)](https://railway.com/deploy/latitude?referralCode=GND3X9&utm_medium=integration&utm_source=template&utm_campaign=generic) - **单机部署(简单)** — 使用 Docker Compose 在一台机器上部署生产级实例,请遵循[单机部署指南](https://docs.latitude.so/deployment/single-host)。 - **集群部署(高级)** — 通过 Helm chart 在 Kubernetes 上部署可扩展、高可用的服务,请遵循[集群部署指南](https://docs.latitude.so/deployment/cluster)。 - **一键部署 (Railway)** — 在托管基础设施上部署整个技术栈,通过 [Railway](https://railway.com/deploy/latitude?referralCode=GND3X9&utm_medium=integration&utm_source=template&utm_campaign=generic) 轻松部署。 ## 📄 许可证 Latitude 基于 [MIT License](LICENSE) 授权。 ## 🧑‍💻 感谢我们所有的贡献者

geclos csansoon andresgutgon neoxelox learningbizz cesr guillemwilly paulacavero ntizish Ashad-h cballou samufyi daavidrgz Bald1nh0 txus felpasl NewtTheWolf baibhavKumar1 cursoragent david8z eltociear marcos-muino-garcia PeterDaveHello timneutkens VaibhavWakde52 zhyd1997 buweiyuqi monotykamary wnor543

## 🔗 链接 - [主页](https://latitude.so/v2/?utm_source=github_readme) - [文档](https://docs.latitude.so/) - [更新日志](https://latitude.so/changelog) - [Slack 社区](https://join.slack.com/t/trylatitude/shared_invite/zt-35wu2h9es-N419qlptPMhyOeIpj3vjzw) - [X / Twitter](https://x.com/trylatitude) 由 Latitude 团队倾注心血打造
标签:AI监控, API集成, LLM, MCP, Unmanaged PE, 人工智能, 可观测性, 子域名突变, 用户代理, 用户模式Hook绕过, 自动化攻击, 请求拦截, 逆向工具