OMGstacks/llm-threat-triage

# llm-threat-triage [](https://github.com/OMGstacks/llm-threat-triage/actions/workflows/ci.yml) [](projects/llm-log-triage/tests) [](https://www.python.org/) [](LICENSE) [-000000.svg)](reference/owasp-llm-top-10.md) [](reference/mitre-atlas.md) 这是一个展示**前沿 AI 威胁检测**实操技能的作品集——旨在调查大语言模型（而非网络）是如何崩溃的：包括 prompt injection、越狱、敏感数据泄露以及其他新型危害，全部使用 **Python + SQL** 实现。它是按照**技术情报分析师 (TIA)** 的工作流程构建的。 我领导着**安全事件管理工作**，并在全球 CISO 组织内设计**受治理的、AI 辅助的工作流**——包括分诊、严重性评估、根因分析和上报，目前专注于 AI 系统被使用和滥用的方式。检测模型如何崩溃是该路线图的下一步，而这个代码仓库是我在开源环境下构建这种能力的过程：一个经过测试的真实 pipeline，能够摄取**混乱的 LLM 交互日志**，检测映射到行业标准框架的对抗性 ML 攻击模式，并使用 SQL 回答调查问题——这正是 TIA 日常工作的真实形态。 ### 查看运行效果 — 零配置（仅使用 Python 标准库） ``` $ python -m src.cli run --db triage.db --logs data/sample_logs.jsonl ================================================================ LLM LOG TRIAGE REPORT ================================================================ INGEST / DATA QUALITY events ingested ........ 800 unparseable timestamps . 156 (recovered, not dropped) synthesized event ids .. 63 DETECTION SUMMARY flagged events ......... 150 total findings .... 217 by severity ............ critical 61 · high 126 · medium 25 · info 5 by OWASP ............... LLM01 132 · LLM05 29 · LLM07 25 · LLM02 22 · LLM06 9 top flagged users ...... user-5132 (78) · user-3472 (65) · user-2359 (56) # 深入分析关键信号 — 来自不受信任来源的间接注入： $ python -m src.cli query --db triage.db --sql sql/analysis/04_indirect_injection_via_rag.sql source | severity | user_id | matched_snippet ----------+----------+-----------+----------------------------------------------------------- tool | critical | user-5132 | …Refund policy.