AliHasan-786/crypto-scam-moderation-lab

# 加密货币诈骗审核实验室 **一个会公开自身失败的 Trust & Safety 运行系统。** 这是一个针对 Bluesky 风格平台上的加密货币投资诈骗的交互式审核工作台——由个人独立开发，从 Cornell Tech T&S 课程作业 (CS 5342) 发展成为一个全栈安全系统：包含书面政策、分级执法、人工审核、QA 校准、活动情报、应急响应、申诉、透明度报告、LLM 辅助轨道、规模经济学，以及一个在每次提交时重新生成所有产物的 CI 发布门控。 **在线实验室：**[crypto-scam-lab.vercel.app](https://crypto-scam-lab.vercel.app) —— 从 90 秒导览开始，或者直接查看[系统出错的地方](https://crypto-scam-lab.vercel.app/#failures)。 ## 问题所在 投资诈骗在 2024 年给美国人造成了 58 亿美元的报告损失 (FBI IC3) —— 而诈骗者使用的相同词语也会出现在警告、新闻、讽刺、研究和受害者求助中。一个仅仅“抓捕诈骗”的系统会将这些声音全部屏蔽。本项目将这种边界视为产品本身：公开标记需要确凿的证据，不确定性交由人工处理，受保护的言论会抑制执法，并且每个决策都是可解释且可申诉的。 ## 与众不同之处 **公开失败，而不是隐藏它们。** 100% 通过的编写评估套件证明不了任何问题。长期存在的[错误分析](audit_outputs/error_analysis_report.md)展示了在工作点出现的 8 个真实的误报（附带类别评论），以及系统仍然无法通过的 5 个编写的困难案例 —— 这些案例会被一直展示，直到被解决，然后被更困难的案例取代。受保护上下文的防护案例是发布门控唯一强制执行的案例。 **将阈值视为人员配置决策。** [规模模拟](audit_outputs/scale_simulation_report.md)以每天 50,000 条帖子为每个阈值定价：队列负载、所需审核员、每次抓获诈骗的成本，以及一个为期 12 周包含活动波次的序列。将审核阈值从 0.40 移至 0.30 大约会使薪资翻倍，但仅换来约 1 个点的召回率 —— 这种权衡是 Decision Log 条目 002，而不是脚注。 **LLM 要么证明其价值，要么就没有价值。** 一个 [hosted-LLM 证据适配器](llm_evidence/llm_adapter.py)使用与确定性提取器相同的政策 prompt 和相同的 span-faithfulness 门控运行，并提供了一份诚实的 [baseline-vs-LLM 对比](audit_outputs/llm_adapter_report.md)，涵盖准确率、成本和延迟。公开演示使用带有来源标记的缓存输出；重新生成脚本会实时重新运行它们。 **政策的编写就像政策本身。** 一个平台风格的[政策文档](policy/CRYPTO_INVESTMENT_SCAM_POLICY.md)、一个[执法矩阵](policy/ENFORCEMENT_MATRIX.md)（违规 × 严重程度 × 证据 × 行动）、一份注明日期的[决策日志](policy/DECISION_LOG.md)记录了每一次权衡、[指标定义](ops_analytics/METRICS_DEFINITIONS.md)包含每个数字的失败模式，以及一个 [DSA statement-of-reasons 样本](governance/dsa_statement_of_reasons_sample.json)将系统输出映射到欧盟透明度要求。 **扎根于有记录的欺诈行为。** [威胁全景](threat_landscape/THREAT_LANDSCAPE.md)将每种违规子类型映射到 FBI IC3、Chainalysis 和 FTC 记录的类型学中 —— 包括造成损失最高的类型（杀猪盘）对单帖分类造成的不可见性，以及为什么这种限制会影响路线图。 ## 端到端的 T&S 技术栈 | 学科领域 | 所在位置 | | --- | --- | | 政策制定与分类设计 | `policy/` —— 政策文档、执法矩阵、决策日志 | | 检测与机器学习 | `policy_proposal_labeler_v2.py` —— 经过审核、可重现的 baseline（保留了原始课程作业模型及其[审计](audit_outputs/original_labeler_audit.json)） | | 评估与红队测试 | `evals/`、`adversarial_lab/` —— 场景、加固、变异、回归门控、长期错误分析 | | LLM 安全与辅助 | `llm_evidence/`、GenAI 滥用实验室 —— 证据提取、faithfulness 门控、prompt-injection/tool-misuse 测试 | | 人工审核与质量 | `quality/` —— 校准案例、答案标准、审核员 QA 工作流 | | 运营与分析 | `ops_analytics/`、`scale_sim/` —— SQL 查询包、指标定义、容量经济学 | | 威胁情报 | `bluesky_integration/`、`threat_landscape/` —— 实体提取、活动图谱、类型学基础 | | 应急响应 | `incident_response/` —— 严重性模型、运行手册、桌面演练场景 | | 治理与合规 | `governance/` —— 申诉、撤销、通知、透明度报告、Santa Clara / NIST 映射、DSA 样本 | | 产品与界面 | `crypto-scam-lab/` —— 带有易于招聘要求的正门面的操作员控制台 | ## 当前数据（每次提交时由 CI 重新生成） Baseline 测试集：precision 0.882 / recall 1.000 / F1 0.938 (TN 100, FP 8, FN 0, TP 60) —— 所有 8 个误报均已[发布并分类](audit_outputs/error_analysis_report.md)。56 种受控变异下的审核或标记保留率：100%（公开标记保留率 82.1% —— 混淆情况下的降级审核是设计的行为，Decision Log 007）。证据 span faithfulness：确定性和 LLM 提取器均为 100%。5 万帖子/天下的规模模型：工作点需要约 18 名审核员，报告中包含完整的阈值到薪资的扫描。发布门控：15 步流水线，强制执行防护案例，未解决的失败案例故意不被门控。 ## 重现所有内容 ``` python3 -m venv .venv && source .venv/bin/activate python -m pip install -r requirements-v2.txt bash scripts/run_all_checks.sh # same command CI runs ``` 这将重新训练 baseline 并重新生成每份评估报告、错误分析、LLM 对比、规模模拟、治理/运营/校准/应急产物，以及所有前端数据模块 —— 如果发布门控检测到回归，则会失败。 在本地运行实验室： ``` cd crypto-scam-lab && python3 -m http.server 5177 ``` ## 严格说明的边界 公开演示是静态且经过脱敏处理的：它不能发布标记、举报账户、解析实时链接或采取任何平台行动。实时的 Bluesky 数据接入是本地的、只读的且可选择开启的。LLM 输出仅用于审核员辅助，为演示进行了缓存，并受 faithfulness 检查门控。数据集很小且大部分为英文。评估套件是编写的 —— 这正是存在错误分析界面的确切原因。完整的限制说明在[案例研究](case_study/CRYPTO_SCAM_MODERATION_CASE_STUDY.md)中。

标签：LLM辅助, Naabu, Web全栈, 人机协同审核, 信任与安全, 内容安全, 多线程, 审计与评估, 数据可视化, 欺诈检测, 自定义脚本, 调试辅助, 逆向工具