promptfoo/promptfoo

# Promptfoo：LLM 评估与红队测试

promptfoo 是一个用于评估和红队测试 LLM 应用的 CLI 工具和库。告别试错法——开始构建安全、可靠的 AI 应用。

官网 · 入门指南 · 红队测试 · 文档 · Discord

## 快速开始 ``` npm install -g promptfoo promptfoo init --example getting-started ``` 也可以通过 `brew install promptfoo` 和 `pip install promptfoo` 安装。您还可以使用 `npx promptfoo@latest` 在不安装的情况下运行任何命令。 大多数 LLM 提供商都需要 API 密钥。请将您的密钥设置为环境变量： ``` export OPENAI_API_KEY=sk-abc123 ``` 进入示例目录后，运行评估并查看结果： ``` cd getting-started promptfoo eval promptfoo view ``` 有关更多信息，请参阅 [Getting Started](https://www.promptfoo.dev/docs/getting-started/)（评估）或 [Red Teaming](https://www.promptfoo.dev/docs/red-team/)（漏洞扫描）。 ## Promptfoo 能做什么？ - **测试您的提示词和模型**，使用 [automated evaluations](https://www.promptfoo.dev/docs/getting-started/) - **保护您的 LLM 应用安全**，通过 [red teaming](https://www.promptfoo.dev/docs/red-team/) 和漏洞扫描 - **并排比较模型**（OpenAI、Anthropic、Azure、Bedrock、Ollama 以及 [more](https://www.promptfoo.dev/docs/providers/)） - **在 [CI/CD](https://www.promptfoo.dev/docs/integrations/ci-cd/) 中自动化检查** - **审查拉取请求**中的 LLM 相关安全和合规问题，使用 [code scanning](https://www.promptfoo.dev/docs/code-scanning/) - **与您的团队分享结果** 以下是实际操作演示： 它同样可以在命令行中使用： 它还可以生成 [security vulnerability reports](https://www.promptfoo.dev/docs/red-team/)： ## 为什么选择 Promptfoo？ - **开发者优先**：快速高效，支持实时重载和缓存等功能 - **隐私安全**：LLM 评估 100% 在本地运行——您的提示词永远不会离开您的设备 - **灵活多变**：兼容任何 LLM API 或编程语言 - **久经考验**：支持生产环境中服务超过 1000 万用户的 LLM 应用 - **数据驱动**：基于指标而非直觉做出决策 - **开源免费**：MIT 许可，拥有活跃的社区 ## 了解更多 - [Getting Started](https://www.promptfoo.dev/docs/getting-started/) - [Full Documentation](https://www.promptfoo.dev/docs/intro/) - [Red Teaming Guide](https://www.promptfoo.dev/docs/red-team/) - [CLI Usage](https://www.promptfoo.dev/docs/usage/command-line/) - [Node.js Package](https://www.promptfoo.dev/docs/usage/node-package/) - [Supported Models](https://www.promptfoo.dev/docs/providers/) - [Code Scanning Guide](https://www.promptfoo.dev/docs/code-scanning/) ## 贡献 我们欢迎各种贡献！请查看我们的 [contributing guide](https://www.promptfoo.dev/docs/contributing/) 开始参与。 加入我们的 [Discord community](https://discord.gg/promptfoo) 获取帮助和参与讨论。

标签：AI安全, AI红队测试, Chat Copilot, CI/CD安全, Claude, CVE检测, DLL 劫持, Gemini, GPT, Llama, LLM评估, MITM代理, NPM包, Ollama, OSV-Scalibr, RAG测试, 域名收集, 基线管理, 大语言模型, 安全测试, 开源安全工具, 提示词工程, 攻击性安全, 文档结构分析, 模型对比, 漏洞管理, 策略决策点, 自动化攻击, 自动化攻击, 越狱检测, 逆向工程平台