osint-handbook

基于 i-intelligence Handbook 2020 构建的基于规则的 OSINT 调查工具。

osint-handbook 是一个基于规则的 OSINT 调查工具，基于 [i-intelligence OSINT Tools and Resources Handbook 2020](https://i-intelligence.eu/uploads/public-documents/OSINT_Handbook_2020.pdf) 构建，涵盖 45 个类别中的 7,442 个精选工具。只需输入一个目标，它就会检测目标类型，路由到相关的 handbook 类别，执行本地侦察（whois、dig、crt.sh、ip-api、HTTP 探测），并返回结构化报告：包含执行结果、按类别划分的工具表以及后续步骤。无需 API 密钥。无需账号。在进行一次性的 PDF 提取步骤后即可离线运行。 原始的 OSINT 速查表只为你提供一个列表。而 osint-handbook 为你提供的是根据你的目标类型过滤并排名后的列表，并且最简单的检查已经执行完毕。 # 功能 - 索引了从源 PDF 中提取的 45 个 handbook 类别中的 7,442 个工具 - 根据输入自动检测目标类型（IP、domain、email、username、crypto、entity、person） - 本地执行器并行运行：`whois`、`dig` (A / MX / NS)、`crt.sh`、`ip-api.com`、HTTP 探测 - 针对检测到的目标类型进行排名的按类别划分的工具表 - 输出格式：terminal (rich)、markdown、JSON - `--no-execute` 仅输出 handbook 建议（不进行实时查询） - `--depth quick` 用于前 3 个类别，`--depth full` 用于完整路由 - `--categories` 用于强制指定特定的类别集合 - 无需 API 密钥，无需账号；在一次性的 PDF 解析后即可离线使用 # 安装说明 ``` git clone https://github.com/nuclide-research/osint-handbook cd osint-handbook pip install -r requirements.txt python extractor.py # one-time: parses the PDF into knowledge/ ``` 要求 Python 3.11 或更高版本。本地执行器需要 `whois` 和 `dig` 二进制文件： ``` apt install whois dnsutils # Debian / Ubuntu ``` # 用法 ``` python main.py [options] ``` **示例：** ``` python main.py shodan.io python main.py 8.8.8.8 --depth quick python main.py john@company.com --no-execute --output markdown python main.py "Acme Corp" --type entity --output json python main.py 1A1zP1eP5QGefi2DMPTfTL5SLmv7Divf ``` **选项：** | Flag | 效果 | |------|--------| | `--type` | 覆盖自动检测：ip、domain、email、username、entity、crypto、person | | `--depth` | `quick`（前 3 个类别）或 `full`（所有相关类别，默认） | | `--output` | `terminal`（默认，rich）、`markdown` 或 `json` | | `--no-execute` | 跳过本地工具执行，仅返回 handbook 建议 | | `--categories` | 强制指定特定类别，以逗号分隔 | # 目标类型 根据输入字符串自动检测： | 输入 | 检测为 | |-------|------------| | `1.2.3.4` | ip | | `example.com` | domain | | `user@example.com` | email | | `@handle` | username | | `1A1zP1eP5QGefi2DMPTfTL5SLmv7Divf` | crypto | | `John Smith` / `Acme Corp` | entity | # 工作原理 1. 根据输入字符串**检测**目标类型。 2. 使用针对提取的索引进行关键字匹配，**路由**到相关的 handbook 类别。 3. 并行**执行**本地工具：`whois`、`dig` (A / MX / NS)、`crt.sh`、`ip-api.com`、HTTP 探测。 4. **返回**结构化报告：执行结果加上按类别划分的工具表以及后续步骤。 `extractor.py` 使用 `pdfplumber` 根据字体大小解析源 PDF：部分标题约为 17.6pt，子类别标题约为 15.1pt，工具条目约为 11pt。无需 OCR，无需 API 调用。在 60 秒内运行完毕，并生成 `knowledge/handbook.json`（7,442 个工具）和 `knowledge/handbook_categories.json`（用于路由的 45 个类别）。 # 来源 Handbook 由 [i-intelligence GmbH](https://i-intelligence.eu)、Aleksandra Bielska 等人于 2020 年发布。CC BY-NC。 # 范围 osint-handbook 会针对 crt.sh、ip-api.com 进行实时查询，并对目标进行直接的 HTTP 探测。使用 `--no-execute` 可跳过实时阶段并仅返回 handbook 建议。请仅针对您已获授权调查的系统和个人进行操作。 # 我们的其他项目 - [aimap](https://github.com/nuclide-research/aimap) — AI/ML 基础设施指纹扫描器 - [JAXEN](https://github.com/nuclide-research/JAXEN) — 有状态的 Shodan 采集平台 - [scanner](https://github.com/nuclide-research/scanner) — 主动 TCP+TLS banner 探测 - [recongraph](https://github.com/nuclide-research/recongraph) — 用于多源侦察的类型化溯源图 - [VisorLog](https://github.com/nuclide-research/visorlog) — 发现账本和接入 pipeline # 许可证 MIT。NuClide 工具链的一部分。联系方式：[nuclide-research.com](https://nuclide-research.com)

标签：ESC4, GitHub, OSINT, Python, 实时处理, 开源情报收集, 无后门, 网络安全, 自动化侦察, 逆向工具, 隐私保护