phong8924/rag-graphrag-threat-hunting

# 面向 Threat Hunting 的 RAG、GraphRAG 与 LLM 本项目研究结合 RAG、GraphRAG 与 LLM 的模型，旨在辅助信息安全威胁追踪。其目标是将来自 log 的证据与 Sigma 和 MITRE ATT&CK 等安全知识相关联，随后生成可溯源并经人工审核的分析结果。 ## 当前状态 Repository 目前包含针对 JSON Lines、JSON array 或 JSON object 格式 Mordor log 的只读 inspection pipeline。工具会根据确切文件名查找文件，校验格式，读取全部记录，统计 schema，并生成向 canonical fields 映射的建议。结果会被写入 `outputs/mordor_inspection/`，且不会更改源数据。 已选定的三个场景： 1. 来自 `purplesharp_ad_playbook_I_2020-10-22042947.json` 的 Password spraying 和 Kerberoasting。 2. 通过 Regsvr32 进行 C2 的 `empire_launcher_sct_regsvr32_2020-07-21232741.json`。 3. 通过 MSHTA 执行可疑 PowerShell 的 `cmd_mshta_vbscript_execute_psh_2020-10-2202580804.json`。 ## Repository 结构 ``` configs/ Cấu hình experiment và baseline record count data/raw/ Dataset cục bộ, không commit data/processed/ Dữ liệu dẫn xuất cục bộ, không commit data/knowledge/ MITRE ATT&CK, Sigma và CTI cục bộ, không commit outputs/ Báo cáo sinh ra, không commit scripts/ CLI chạy pipeline src/threat_hunting/ Mã nguồn discovery, parser, inspection và reporting tests/ Unit tests và fixture nhỏ được phép commit AGENTS.md Quy tắc làm việc của repository PROJECT_CONTEXT.md Hồ sơ và quyết định hiện tại của đồ án ``` ## 数据准备 Dataset 不保存在 Git 中。请将上述列表中确切命名的三个 Mordor 文件放入 `data/raw/` 下的相应目录中。每个文件名在 repository 中只能出现一次，以免 discovery 产生歧义。Baseline record count 在 `configs/experiments/mordor_selected_v1.json` 中声明。 服务于后续阶段的 MITRE ATT&CK、Sigma 和 CTI 源放置在 `data/knowledge/` 中。整个 `data/raw/`、`data/processed/`、`data/knowledge/` 和 `outputs/` 已通过 `.gitignore` 排除在 Git 之外。 ## 安装 需要 Python 3.11 或更高版本。Windows PowerShell 示例： ``` py -3.11 -m venv .venv .\.venv\Scripts\Activate.ps1 python -m pip install -e ".[test]" ``` Runtime 目前仅使用 Python standard library；额外的 `test` 会安装 `pytest` 以运行 test suite。 ## 运行 inspection 使用默认 experiment 运行，并在存在旧报告时将其覆盖： ``` python scripts/inspect_mordor.py --overwrite ``` 查看所有选项： ``` python scripts/inspect_mordor.py --help ``` ## 运行测试 ``` python -m pytest ``` ## 当前限制 Repository 尚未实现 RAG、GraphRAG、LLM、vector database、graph database 或用户界面。Evidence extraction 和最终的 ground truth 也尚未完成；当前的 output inspection 仅作为中间数据，用于在这些阶段之前进行测试与预览。

标签：DLL 劫持, GraphRAG, OpenCanary, RAG, 大语言模型, 安全规则引擎, 安全运营, 扫描框架, 逆向工具