rnelsonmwg/Threat_Intelligence_Tool_Home
GitHub: rnelsonmwg/Threat_Intelligence_Tool_Home
利用本地大语言模型从PDF和URL中自动提取威胁情报报告的IOC和TTP,并输出结构化CSV文件。
Stars: 0 | Forks: 0
# 威胁情报报告parser工具
威胁情报 IOC/TTP 报告解析器和分发器
包含的 Python 文件:
- env_tool_tester.py:环境工具测试器;验证所有前置安装是否完成
- threat_intel_parser_tool_cli.py:解析器工具的 CLI 版本
- threat_intel_parser_tool_gui.py:解析器工具的 GUI 版本
工具 CLI 版本的说明:
选项:
-h, --help 显示此帮助信息并退出
-f FILE, --file FILE 包含 URL 的文本文件(每行一个)
-u URL, --url URL 要处理的单个 URL
-p PDFS [PDFS ...], --pdfs PDFS [PDFS ...]
要处理的 PDF 文件
-o OUTPUT, --output OUTPUT
CSV 文件的输出目录(默认:当前目录)
--model MODEL Ollama 模型名称(默认:llama3.2)
--stats 打印详细统计信息
示例:
# 处理 URL 列表
python threat_intel_parser_tool_cli.py -f urls.txt -o ./reports
# 处理单个 URL
python threat_intel_parser_tool_cli.py -u https://blog.com/threat-report -o ./reports
# 处理 PDF 文件
python threat_intel_parser_tool_cli.py -p report1.pdf report2.pdf -o ./reports
# 自定义 LLM 模型
python threat_intel_parser_tool_cli.py -f urls.txt --model llama3.1 -o ./reports
输出文件:
- threat_intel_summary_TIMESTAMP.csv (高级概述)
- threat_intel_iocs_TIMESTAMP.csv (IOC 数据库)
- threat_intel_ttps_TIMESTAMP.csv (框架映射)
- threat_intel_detailed_TIMESTAMP.csv (完整报告)
注意:工具的 GUI 版本无需说明即可使用。
使用威胁情报解析器的前置条件:
- 安装 Ollama Server
- curl -fsSL https://ollama.com/install.sh | sh
- 安装 Python 版本 3
- 安装额外的 Python 库
- pip install ollama pdfplumber requests numpy beautifulsoup4 pydantic
- 这些库的作用:
- ollama:连接脚本到本地 AI 模型。
- pdfplumber:允许脚本"读取"并从 PDF 研究论文中提取文本。
- requests & beautifulsoup4:用于抓取和清理安全博客 URL 中的文本。
- numpy:处理"RAG"的数学计算(计算一段文本与搜索的相关程度)。
- pydantic:确保输出遵循严格的 STIX 兼容结构。
- 拉取一个 capable 的模型
- ollama pull llama3.2
- ollama pull nomic-embed-text
- 运行环境工具测试器以验证所有前置条件已安装,然后再运行工具。
- 这将帮助验证环境已完全准备好,工具可以无错误运行。
标签:AI安全, AI风险缓解, ATT&CK框架, Chat Copilot, DAST, GUI工具, IOC提取, LLM评估, Ollama, PDF解析, TTP分析, URL处理, 威胁情报, 威胁情报工具, 威胁追踪, 安全运营, 开发者工具, 恶意软件分析, 恶意软件报告, 扫描框架, 数据提取, 自动化报告, 逆向工具