BezL1k1y/prompting_lab

# Prompting 实验室 在 LLM prompting 技术上进行系统性实验，并在真实的 benchmark 上进行评估。 ## 实验 | # | 名称 | 技术 | 数据集 | |---|------|-----------|---------| | 1 | Zero-Shot 情感分析 | 单指令 prompt | IMDB | | 2 | Few-Shot 情感分析 | 上下文中包含 5 个标注样本 | IMDB | | 3 | Chain-of-Thought 数学 | 显式逐步推理 | 自定义数学任务 | | 4 | 自我反思 | 模型审查并纠正其自身的答案 | 相同的数学任务 | | 5 | Injection 检测 | Regex + 模式防护 | 对抗性输入 | ## 配置 ``` pip install requests datasets transformers export GROQ_API_KEY="gsk_..." ``` ## 运行 ``` # 单个实验 python prompting_lab.py --experiment zero_shot # 所有实验 python prompting_lab.py --experiment all ``` ## 设计说明 ### Zero-shot 与 Few-shot 这两种方法都在相同的 20 样本 IMDB benchmark 上进行了测试。 Few-shot 通常在强大的指令微调模型上能看到 **0–5%** 的准确率提升。 ### Chain-of-Thought `solve_cot` 函数要求模型逐步进行推理。 单独的 `extract_answer` 调用会将最终的数字解析为 JSON —— 避免在冗长的文本上使用脆弱的 regex。 ### 自我反思 第二次 LLM 调用要求模型对自身的解决方案进行评判。 分析：模型通常会纠正边缘情况（百分比与计数），但偶尔也会对原本正确的答案进行过度纠正。 ### Injection 检测 基于规则的防护，包含涵盖以下内容的 10 种模式： - SQL injection - Python 代码 injection - XSS - 指令覆盖攻击 - DAN / jailbreak 模式 检测在有意设计上偏向保守 —— 在面向用户的助手场景中，漏报比误报更安全。

标签：DLL 劫持, Groq API, Rego, Sysdig, 人工智能, 大语言模型, 提示词工程, 机器学习实验, 用户模式Hook绕过, 策略决策点, 系统调用监控, 逆向工具, 零日漏洞检测