frnkptrln/the-crawling-void

# the-crawling-void `the-crawling-void` 是一个开源的威胁情报与 OSINT 工具包。它专为现代泄露站点表面的防御性分析而构建，特别是那些通过单页应用路由（如 `?path=/Downloads`）暴露目录列表的 Tor 隐藏服务。 该仓库特意设计为支持多个爬虫的结构。第一个工具是 `spa-path-crawler`，这是一个感知 JWT 的爬虫，用于动态 `?path=` 列表。它不会下载文件。它遍历 HTML 视图，在本地搜索分析人员定义的指标或正则表达式，并生成可审查的 `curl` 命令以供授权后跟进。 ## 描述 许多当前的泄露站点面板并不是简单的静态索引。目录导航可能完全通过 URL 参数表示，而访问控制则通过放置在 headers、cookies 甚至 `token` 查询参数中的 JWT 来实现。这就是 `wget` 等通用工具容易丢失身份验证状态或遗漏 SPA 路由的地方。 `spa-path-crawler` 对同源 `?path=` 路由执行广度优先遍历。它将看起来像文件的路由记录为候选下载项，但避免将它们作为页面抓取。Token 永远不会写入 JSON 输出；生成的命令将引用 `${TCV_JWT_TOKEN}` 代替。 ## 仓库布局 ``` . ├── crawlers/ │ └── spa_path_crawler.py ├── README.md ├── requirements.txt ├── .gitignore └── LICENSE ``` ## 主要特性 - Tor SOCKS5 代理支持，默认为 `socks5h://localhost:9050`。 - 通过 headers/cookies、查询参数或两者兼有来处理 JWT。 - 针对 `?path=` 导航的 SPA 路由爬取。 - 同源广度优先遍历，以避免意外的偏离目标请求。 - 看起来像文件的 `?path=` 路由会被记录，但不会作为 HTML 页面抓取。 - Tor 浏览器风格的 User-Agent headers。 - 仅进行本地 HTML 扫描；无自动

标签：API抓取, BeEF, ESC4, JSON Web Token, JWT, OSINT, Python, SOCKS5代理, SPA爬虫, Tor, Tor隐藏服务, 单页应用爬虫, 威胁情报, 实时处理, 密码管理, 广度优先遍历, 开发者工具, 无后门, 暗网, 暗网监测, 泄露站点监测, 洋葱路由, 爬虫, 网站镜像, 网络安全, 自动化安全工具, 逆向工具, 隐私保护