dfirtnt/Huntable-CTI-Studio
GitHub: dfirtnt/Huntable-CTI-Studio
一款AI驱动的威胁情报工作台，可自动采集开源情报、提取观测值并生成经过相似度校验的Sigma检测规则。
Stars: 2 | Forks: 0
# Huntable CTI Studio
## ** 安全警告 **
!! 请勿在敌对网络中部署!!
此应用是一套用于处理开源情报 (OSINT) 的实用工具集。仅用于研究、学习和自动化目的。代码不安全，不建议在生产环境中使用!!
##
**Huntable CTI Studio v5.0.0 "Callisto"** - 一款网络威胁情报 ML/AI 工作台，可自动化收集、提取来自 33+ OSINT 源的数据并生成检测规则。
## 目的
聚合来自 RSS 源和网页抓取的网络安全威胁情报；利用正则表达式和 AI 对相关性进行评分并提取观测值；生成 SIGMA 检测规则，并通过与 3,000+ 社区规则进行语义余弦相似度匹配来防止重复。更多详情请见：https://dfirtnt.wordpress.com/2026/02/04/introducing-huntable-cti-studio/
## 方法
### 架构
- **6 个服务**：PostgreSQL (pgvector)、Redis、FastAPI Web 应用、Celery workers (默认 + workflow)、调度器
- **28 个数据库表**：包含嵌入向量的文章、Sigma 规则、工作流执行记录、聊天日志、评估预设、模型版本等
- **多模型 AI**：OpenAI GPT-4、Anthropic Claude、LMStudio (本地模型)
### 智能体工作流 (7 步)
主引擎是一个基于 LangGraph 的智能体工作流（上图中的 #4-6），由 Celery workers 执行：
1. **OS 检测** — 仅限 Windows 的路由（非 Windows 文章终止处理）
2. **垃圾过滤器** — 保守的内容过滤
3. **LLM 排名** — 相关性评分 (0-10)
4. **提取智能体** — 提取观测值（命令行、注册表、进程树、事件 ID）
5. **生成 SIGMA** — 通过迭代验证创建检测规则
6. **相似度搜索** — 使用行为新颖性评估与 3,000+ SigmaHQ 规则进行对比
7. **晋升队列** — 排队等待人工审核和 PR 提交
### 主要特性
- **内容收集**：RSS 解析、网页抓取、SimHash 近似重复检测
- **AI 分析**：LLM 威胁评分、IOC 提取、自动化 SIGMA 生成
- **RAG 聊天**：使用 pgvector 在文章数据库中进行语义搜索
- **智能体工作流引擎**：基于 LangGraph 的流水线，支持检查点和重试逻辑。支持原生和 LangFuse 追踪。
## 快速开始
**前提条件：** Docker + Docker Compose
```
cp .env.example .env
# 编辑 .env 并设置 POSTGRES_PASSWORD=your_secure_password
./start.sh
```
**访问地址：**
- Web UI: http://localhost:8001
- API 文档: http://localhost:8001/docs
- 健康检查: `curl http://localhost:8001/health`
文档位于 `/docs` 目录下，并使用 MkDocs Material 发布。
- **快速入门**：`docs/quickstart.md` (Docker 首次运行，摄取 → 工作流 → Sigma → pytest)
- **文档站点**：`mkdocs serve` 在本地预览；导航结构与 `/docs` 一致（概念、操作指南、参考、内部实现）。
- **UI**：http://localhost:8001 (OpenAPI 位于 `/docs`；配置后可使用 LangFuse 追踪进行工作流调试)
- **技术栈**：FastAPI + PostgreSQL/pgvector + Redis + Celery (默认 + workflow workers)；使用 `./start.sh` 启动（当 `mkdocs.yml` 存在时，它还会构建文档并在后台启动 MkDocs 服务器）。
完整详情请参阅 `docs/index.md`。
## 许可证
MIT 许可证 — 详情请见 [LICENSE](LICENSE)。
## ** 安全警告 **
!! 请勿在敌对网络中部署!!
此应用是一套用于处理开源情报 (OSINT) 的实用工具集。仅用于研究、学习和自动化目的。代码不安全，不建议在生产环境中使用!!
##
**Huntable CTI Studio v5.0.0 "Callisto"** - 一款网络威胁情报 ML/AI 工作台，可自动化收集、提取来自 33+ OSINT 源的数据并生成检测规则。
## 目的
聚合来自 RSS 源和网页抓取的网络安全威胁情报；利用正则表达式和 AI 对相关性进行评分并提取观测值；生成 SIGMA 检测规则，并通过与 3,000+ 社区规则进行语义余弦相似度匹配来防止重复。更多详情请见：https://dfirtnt.wordpress.com/2026/02/04/introducing-huntable-cti-studio/
## 方法
### 架构
- **6 个服务**：PostgreSQL (pgvector)、Redis、FastAPI Web 应用、Celery workers (默认 + workflow)、调度器
- **28 个数据库表**：包含嵌入向量的文章、Sigma 规则、工作流执行记录、聊天日志、评估预设、模型版本等
- **多模型 AI**：OpenAI GPT-4、Anthropic Claude、LMStudio (本地模型)
### 智能体工作流 (7 步)
主引擎是一个基于 LangGraph 的智能体工作流（上图中的 #4-6），由 Celery workers 执行：
1. **OS 检测** — 仅限 Windows 的路由（非 Windows 文章终止处理）
2. **垃圾过滤器** — 保守的内容过滤
3. **LLM 排名** — 相关性评分 (0-10)
4. **提取智能体** — 提取观测值（命令行、注册表、进程树、事件 ID）
5. **生成 SIGMA** — 通过迭代验证创建检测规则
6. **相似度搜索** — 使用行为新颖性评估与 3,000+ SigmaHQ 规则进行对比
7. **晋升队列** — 排队等待人工审核和 PR 提交
### 主要特性
- **内容收集**：RSS 解析、网页抓取、SimHash 近似重复检测
- **AI 分析**：LLM 威胁评分、IOC 提取、自动化 SIGMA 生成
- **RAG 聊天**：使用 pgvector 在文章数据库中进行语义搜索
- **智能体工作流引擎**：基于 LangGraph 的流水线，支持检查点和重试逻辑。支持原生和 LangFuse 追踪。
## 快速开始
**前提条件：** Docker + Docker Compose
```
cp .env.example .env
# 编辑 .env 并设置 POSTGRES_PASSWORD=your_secure_password
./start.sh
```
**访问地址：**
- Web UI: http://localhost:8001
- API 文档: http://localhost:8001/docs
- 健康检查: `curl http://localhost:8001/health`
文档位于 `/docs` 目录下，并使用 MkDocs Material 发布。
- **快速入门**：`docs/quickstart.md` (Docker 首次运行，摄取 → 工作流 → Sigma → pytest)
- **文档站点**：`mkdocs serve` 在本地预览；导航结构与 `/docs` 一致（概念、操作指南、参考、内部实现）。
- **UI**：http://localhost:8001 (OpenAPI 位于 `/docs`；配置后可使用 LangFuse 追踪进行工作流调试)
- **技术栈**：FastAPI + PostgreSQL/pgvector + Redis + Celery (默认 + workflow workers)；使用 `./start.sh` 启动（当 `mkdocs.yml` 存在时，它还会构建文档并在后台启动 MkDocs 服务器）。
完整详情请参阅 `docs/index.md`。
## 许可证
MIT 许可证 — 详情请见 [LICENSE](LICENSE)。标签：AI安全, AV绕过, Celery, Chat Copilot, CTI平台, DAST, DLL 劫持, EDR规则生成, ESC4, FastAPI, HTTP工具, LangGraph, Mr. Robot, OSINT, pgvector, PostgreSQL, RSS聚合, Sigma规则, SOC工具, URL抓取, 代码生成, 可观测数据提取, 后渗透, 后端开发, 后端开发, 后端开发, 向量数据库, 大语言模型, 安全运营, 实时处理, 密码管理, 库, 应急响应, 恶意软件分析, 情报收集, 扫描框架, 搜索引擎查询, 数据包嗅探, 数据展示, 数据抓取, 流量嗅探, 测试用例, 渗透测试工具, 漏洞发现, 漏洞研究, 目标导入, 知识管理, 红队, 网络威胁情报, 网络安全, 网络安全审计, 请求拦截, 逆向工具, 隐私保护