Camj78/Cost-Guard-AI

## 🚨 这个提示词看起来没问题 —— 但在生产环境中会消耗多得多的 token ``` npx @camj78/costguardai demo ``` ``` CostGuardAI Preflight Analysis ──────────────────────────────────────── ⚠️ WARNING (score: 48) Model: gpt-4o-mini Tokens: 244 Cost/req: $0.0001 CostGuardAI Safety Score: 48 (Warning) Context: 1.5% Risk Notes: • token amplification risk detected from repeated context • ambiguous instructions may increase output variance • high output volatility — response length unpredictable ⚠️ this prompt is likely to increase token usage significantly in production ──────────────────────────────────────── 1 file(s) analyzed. Lowest Safety Score: 48. ``` ## 🚫 这将在部署前阻止一个糟糕的提示词 ``` npx @camj78/costguardai ci --fail-on-risk 70 ``` ``` CostGuardAI Preflight Analysis ──────────────────────────────────────── ❌ FAILED (score: 49) File: prompts/risky.prompt CostGuardAI Safety Score: 49 (Warning) Risk Notes: • ambiguous instructions may increase output variance • high output volatility — response length unpredictable ⚠️ this prompt is likely to increase token usage significantly in production ──────────────────────────────────────── 1 file(s) analyzed. Lowest Safety Score: 49. threshold behavior (Safety Score): Safety Score < 40 → exit 1 (fail) Safety Score 40–70 → warning Safety Score > 70 → pass ❌ CI FAILED — blocked from deploy CostGuardAI blocked this merge. Safety Score: 49 (FAIL) Suggested fix: costguardai fix prompts/risky.prompt ``` ## 快速开始 ``` npm install -g @camj78/costguardai costguardai demo ``` ## 🚨 一个看起来没问题的提示词在生产环境中花费了 6,500 美元 CostGuardAI 可检测： - token 激增风险 - 规模化成本 - 不稳定的输出 几秒钟内运行： ``` npx @camj78/costguardai analyze prompt.txt ``` ## 使用场景 - 在部署前估算 OpenAI / Claude / LLM 成本 - 检测提示词中的 token 激增问题 - 在运行实验前对提示词进行健全性检查 - 防止生产环境中出现代价高昂的提示词错误 ## 为什么这很重要 微小的提示词更改可能会导致： - 10 倍的 token 使用量 - 在不知不觉中增加 API 成本 - 在大规模应用时破坏输出 CostGuardAI 会在这些情况发生之前发出警告。 # CostGuardAI 5 秒内运行 → `costguardai analyze prompt.txt` 防止不安全且昂贵的 AI 提示词进入生产环境。 CostGuardAI 是一个用于 **AI 提示词测试、LLM 成本优化和提示词验证** 的 CLI 工具。 可检测： - token 激增 - 不稳定的输出 - 隐藏的 OpenAI / Anthropic 成本 - 生产环境出现前的提示词失败 专为以下场景构建： - AI CI 流水线 - 提示词安全强制执行 - 生产级 LLM 工作流 `npm install -g @camj78/costguardai` ## ⚠️ 为什么会有这个工具 单个提示词可能会： - 在生产环境中悄无声息地引发 token 成本激增 - 在实际使用中出现不可预测的失败 - 表现与测试时不同 CostGuardAI 能**在生产环境受影响之前**发现这些问题。 ## 为什么开发者使用 CostGuardAI 如果您曾经有过这些疑问： - “为什么我的 OpenAI 账单突然这么高？” - “为什么这个提示词的 token 会激增？” - “为什么我的 LLM 输出不一致？” - “如何在生产环境之前测试提示词？” - “如何在 CI 中防止提示词问题？” CostGuardAI 有助于在生产环境受影响之前发现这些问题： - 检测 token 激增风险 - 标记有歧义或不稳定的提示词 - 估算实际使用成本 - 暴露输出可变性问题 - 在 CI 中运行以阻止高风险提示词 ## 🔍 示例 输入提示词： CostGuardAI 输出： ``` CostGuardAI Safety Score: 78 (Low Risk) ⚠️ Potential token explosion due to unbounded context ⚠️ Output variability risk ⚠️ Cost estimate: $420/month at scale → Fix suggestions available in Pro ``` ### 真实的 CLI 输出 分析高风险生产提示词时的输出示例。 ``` $ costguardai analyze ./prompts/checkout-flow.txt CostGuardAI Safety Score: 78 (Low Risk) ⚠️ Potential token explosion due to unbounded context ⚠️ Output variability risk ⚠️ Cost estimate: $420/month at scale Free includes → basic analysis only 🔒 Fix suggestions: Pro 🔒 CI enforcement: Pro Upgrade → https://costguardai.io/upgrade Pro unlocks → fix suggestions, CI enforcement, safer prompt reviews Next step → run this on a real prompt from your codebase Example: costguardai analyze ./prompts/checkout-flow.txt ``` **CostGuardAI** 是一个 CLI + Web 工具，可在 AI 提示词_进入_生产环境之前对其进行分析。 扫描提示词注入、token 激增、成本超支和截断风险 —— 可在本地、CI 中或您的浏览器中进行。 支持对所有主要提供商进行 OpenAI 成本、Claude 成本和 LLM 成本的提示词成本估算。 ## 它能捕获什么 | 风险 | 示例 | |---|---| | 🔴 提示词注入 | 用户输入覆盖了系统指令 | | 💸 token 激增 | 提示词的实际花费是预期的 10 倍 | | ✂️ 截断风险 | 在响应中途发生上下文窗口溢出 | | ⚠️ 输出冲突 | 相互冲突的指令导致输出不稳定 | | 🔒 缺少防护 | 没有输出约束 = 不可预测的行为 | **CostGuardAI 安全分数：0–100。** 分数越高 = 越安全。在发布前了解您的分数。 ## 30 秒快速入门 ``` # 安装 npm install -g @camj78/costguardai # 分析 prompt costguardai analyze my-prompt.txt # 示例输出： # CostGuardAI 安全评分：72/100 # 检测到的问题： # • prompt 注入风险 # • token 爆炸风险 # • 不稳定的 output 结构 # 自动修复问题 costguardai fix my-prompt.txt # 在 CI 中拦截有风险的 prompt costguardai ci --fail-on-risk 70 ``` **所有分析均在本地运行。您的提示词永远不会离开您的机器。** ## 立即尝试 将任何提示词粘贴到文件中并运行： ``` npx @camj78/costguardai analyze prompt.txt ``` 无需任何设置。 或者使用演示提示词尝试： `npx @camj78/costguardai analyze examples/demo-prompt.txt` ## 为什么构建这个工具 我一直在发布 AI 功能并在生产环境中发现问题 —— 失控的 token 成本、 被注入的提示词、在句子中间被截断的响应。以前没有针对提示词的 `eslint`。 所以我构建了一个。 CostGuardAI 是我希望从第一天起就拥有的预检工具。 — [@Camj78](https://github.com/Camj78) ## 在 60 秒内添加到 CI **步骤 1 — 安装** ``` npm install -g @camj78/costguardai ``` **步骤 2 — 初始化** ``` costguardai init ``` **步骤 3 — 添加 CI 门禁** 在 CI 中用于防止： - token 激增 - 不稳定的输出 - 隐藏的 LLM 成本 ``` name: CostGuardAI on: [pull_request] jobs: costguard: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 - name: Run CostGuardAI run: npx @camj78/costguardai@latest ci --fail-on-risk 70 ``` **步骤 4 — 提交** ``` git add . git commit -m "Add CostGuardAI preflight checks" ``` ## CLI 参考 | 命令 | 描述 | |---|---| | `costguardai analyze ` | 分析提示词文件 | | `costguardai fix ` | 自动修复检测到的问题 | | `costguardai ci --fail-on-risk ` | CI 门禁 —— 如果安全分数 < n 则以代码 1 退出 | | `costguardai init` | 在当前仓库中初始化配置 | **选项** | 标志 | 描述 | 默认值 | |---|---|---| | `--model ` | 要分析对比的模型 | `gpt-4o-mini` | | `--format text\|md\|json` | 输出格式 | `text` | | `--threshold ` | 如果任何文件的安全分数 < n 则以代码 1 退出 | — | | `--ext ` | 要扫描的文件扩展名 | `.txt,.md,.prompt` | | `--expected-output ` | 预期输出 token 数 | `512` | ## Web UI **[costguardai.io](https://costguardai.io)** — 粘贴提示词，选择模型，立即查看： - Token 数量（OpenAI 通过 js-tiktoken 进行精确计算；其他模型估算误差约为 ±5–8%） - 成本估算（每次调用的输入 + 输出） - 上下文使用率进度条（按风险级别以颜色区分） - 截断警告 - CostGuardAI 安全分数及完整的可解释性 所有处理均在客户端进行。不向服务器发送任何内容。 ## 支持的模型 (V1) | 模型 | 提供商 | 上下文 | Token 策略 | |---|---|---|---| | GPT-4o | OpenAI | 128K | 精确 | | GPT-4o Mini | OpenAI | 128K | 精确 | | Claude Sonnet 4 | Anthropic | 200K | 估算 | | Claude 3.5 Haiku | Anthropic | 200K | 估算 | | Gemini 1.5 Pro | Google | 1M | 估算 | | Llama 3.1 70B | Meta | 128K | 估算 | ## 定价 | | 免费版 | 专业版 | 团队版 | |---|---|---|---| | **价格** | $0 | $29/月 | $99/月 | | CLI 分析 | ✓ | ✓ | ✓ | | 安全分数 + 可解释性 | ✓ | ✓ | ✓ | | 可分享的报告 | ✓ | ✓ | ✓ | | 每月分析次数 | 25 | 无限制 | 无限制 | | CI 防护 (`--fail-on-risk`) | — | ✓ | ✓ | | PR 评论 | — | ✓ | ✓ | | 可观测性仪表板 | — | ✓ | ✓ | | 团队风险策略 | — | — | ✓ | | 跨项目成本追踪 | — | — | ✓ | | 审计日志 | — | — | ✓ | ## 技术栈 - **Next.js 15** (App Router) · **TypeScript** - **Supabase** (身份验证 + Postgres) - **Tailwind CSS v4** + **shadcn/ui** - **js-tiktoken** (OpenAI token 计数) - **Stripe** · **Sentry** · **PostHog** ## 路线图 - [ ] 从提供商 API 同步实时定价 - [ ] VSCode 扩展 - [ ] Chrome 扩展 - [ ] 团队风险策略（自助服务） - [ ] 支持更多模型 ## 贡献 欢迎提交 Issues、PRs 和反馈。 如果它在生产环境中帮您避免了一个糟糕的提示词，请考虑 ⭐ 加星 —— 这有助于 其他开发者发现它。 → [costguardai.io](https://costguardai.io) · [npm](https://www.npmjs.com/package/@camj78/costguardai) · [team@costguardai.io](mailto:team@costguardai.io) 需要 CI 强制执行、批量分析或团队使用情况追踪？ 请访问 https://costguardai.io 进行升级

标签：AI安全评分, AI提示词测试, ChatGPT, CI/CD安全检查, CI流水线, DevSecOps, DLL 劫持, GPT-4o, LLM成本优化, LLM风险检测, MITM代理, NPM包, OSV-Scalibr, Promptflow, Token消耗分析, 上游代理, 代码质量检查, 大语言模型, 成本控制, 提示词工程, 提示词验证, 生产环境部署, 策略决策点, 自动化攻击