Gabe-QA/ai-testing-portfolio

# AI 测试项目 — LLM 行为测试套件 ## 概述 这是一个自动化测试套件，它通过 API 使用 LM Studio 直接与本地托管的 AI 模型进行通信。我编写了结构化的 Python 测试用例，通过编程方式发送请求、验证响应并报告通过或失败的结果，而不是手动与 AI 聊天。 该 AI 被配置为一家名为 Bella Italia 的虚构餐厅的客服助手，使用系统提示词进行设定。 ## 使用的工具 - Python — 发送 API 请求并编写测试逻辑 - Pytest — 运行并报告测试结果 - LM Studio — 作为 API 服务器在本地托管 Gemma-4 - PyCharm — 用于编写测试套件的 IDE ## 测试类别 - 正向测试 — 验证正确的菜单信息 - 反向测试 — 验证偏题问题被拒绝 - 边界测试 — 验证处理不完整的输入 - 对抗性/提示词注入测试 — 验证系统提示词抵御攻击的能力 - 越狱测试 — 验证创造性的操纵尝试被拒绝 - 一致性测试 — 验证多次请求的答案相同 - 幻觉测试 — 验证 AI 不会编造菜单项 - 语言测试 — 验证强制执行仅使用英语的政策 ## 发现的缺陷 空输入会导致内部模板错误，而不是给出优雅的响应。系统会向用户暴露内部错误信息，而不是要求提供有效输入。 ## 如何运行 1. 安装 LM Studio 并加载 Gemma-4 2. 启动本地服务器 3. 安装依赖项：pip install pytest requests 4. 运行：pytest test_gemma.py -v

标签：AI测试, API测试, Clair, Gemma-4, LLM测试, LM Studio, Pytest, Python, 一致性测试, 准确性测试, 字符串匹配, 安全测试, 对抗性测试, 幻觉测试, 提示注入测试, 攻击性安全, 无后门, 服务枚举, 本地模型, 模型评估, 正面测试, 测试套件, 行为测试, 语言测试, 负面测试, 软件缺陷, 边缘案例测试, 逆向工具