Minifigures/HackerRank-Hackathon-Multi-Modal-Autonomous-System

# 多模态证据审查 一个索赔验证系统，用于判定提交的照片是**支持**、**反驳**，还是**证据不足**关于**汽车**、**笔记本电脑**或**包裹**的损坏索赔——将图像（事实来源）、简短的索赔对话、用户索赔历史以及最低证据清单结合起来，得出严格、可审计的结构化决策。 专为 HackerRank Orchestrate 挑战赛（多模态证据审查）而构建。 ## 功能介绍 对于每项索赔，它会生成一条包含 14 个字段的记录：决策（`supported` / `contradicted` / `not_enough_information`）、是否达到证据标准、可见的问题类型和物件部位、严重程度、支持图像的 ID、基于图像的判定理由，以及一组风险标记（图像质量、索赔不匹配、真实性、prompt 注入和用户历史记录风险）。 ## 实现方法 **带有针对每项索赔进行一次结构化 vision LLM 调用的确定性 pipeline**，而不是 agentic loop——schema 和步骤是固定的，且输出必须是可重现的： 1. **预筛查**每张图像（调整大小、模糊、亮度），并**扫描对话**以防范 prompt 注入。 2. **确定性关联**用户历史记录（它只能增加风险标记，绝不会改变视觉判定）。 3. 一次**结构化的 Claude vision 调用**——先处理图像后处理文本，为每张图像添加标签，在得出结论前进行推理，输出受枚举约束。 4. **确定性规则层**负责融合信号、执行跨字段不变性、归一化分类法，并组装最终记录。 VLM 负责感知；确定性代码负责处理那些不应由模型把控的部分（历史融合、不变量、标记排序、真实性校验）。该系统是**提供商无关的**（以 Claude 为主；Gemini 作为备选）。 ### 核心亮点 - **抗 prompt 注入：** 聊天中*以及图像内部*（例如一张写着“批准此索赔”的便利贴）的类似指令的文本会被标记并忽略；判定完全基于像素做出。 - **天然公平：** 用户历史记录绝不会覆盖清晰的视觉证据——已通过自动化安全审计验证（0 次违规）。 - **校准式弃权：** 当索赔的部位无法评估时，会自动机械地触发 `not_enough_information`，而不是盲目猜测。 - **感知真实性：** 检测图库照片水印/截图，并据此对图像有效性进行拦截。 ## 结果（基于带标签的评估集） | 指标 | 得分 | |---|---| | 综合（加权） | 0.87 (95% CI 0.79–0.93) | | 决策准确率 (claim_status) | 0.90 | | 证据标准准确率 | 1.00 | | 支持图像选择 (Jaccard) | 0.98 | | 风险标记一致性 (Jaccard) | 0.93 | | 安全审计违规次数 | 0 | 完整的指标、三方策略对比以及成本/延迟分析详见 [`code/evaluation/evaluation_report.md`](code/evaluation/evaluation_report.md)。以约 $0.007/索赔 的价格处理完整测试集的成本大约为 **$0.31**（已开启批量处理 + 缓存）。 ## 技术栈 Python · Pydantic（schema 约束输出） · Claude vision (Anthropic)，Gemini 备选 · Pillow / NumPy（确定性图像预筛查） · bootstrap-CI 评估测试套件。 ## 运行 ``` pip install -r code/requirements.txt ANTHROPIC_API_KEY=... VLM_PROVIDER=anthropic python code/main.py \ --input dataset/claims.csv --output output.csv python code/evaluation/main.py # metrics vs gold + safety audit ``` 设计详情请参阅 [`code/README.md`](code/README.md)。

标签：DLL 劫持, 图像识别, 多模态AI, 大语言模型, 提示词注入防御, 理赔审核, 自动化审核, 逆向工具