okpulse/links-overseer

# Links Overseer **Links Overseer** 是一个用于分析网站的本地的 OSINT 工具。 它分析指定的 URL：按选定深度遍历网站的内部页面，并显示所有找到的链接及其状态和响应时间，同时收集网站上的所有图片和文档。图片会被添加到图库中，文档则被整理到汇总表中。 ## 🚀 功能特性 | 🔗链接 | 🖼️图片 | 📄 文档 | |----------|-----------|-----------| |收集指定深度的所有链接|收集所有格式的图片到图库|收集网站上的所有文档| |检查网站上所有链接的状态|在图库中预览图片|提取和分析文档元数据| |显示响应速度（毫秒）|收集 URL：图片和页面 |收集 URL：文档和页面 | |判断链接是内部还是外部|查看图片的 `alt` 属性|已提取元数据的报告| |结果过滤与汇总|下载：批量或单独|下载：批量或单独| |支持遵循或忽略 `robots.txt` 进行遍历|元数据分析及图片反向搜索|导出报告为 PDF/JSON| ## 💻 界面

### 主菜单 | 元素 | 描述 | |----------|-----------| | **起始 URL** | 开始遍历的页面地址 | | **遍历深度** | 沿内部链接行进的“步数”。
值为 `0` 表示仅检查输入页面上的链接，`1` 表示起始页及其上的所有链接，`2` 表示向深处走 2 步，依此类推。 | | **遵守 robots.txt** | 如果启用，程序将不会进入 `robots.txt` 文件中禁止的部分 | | **下载图片**| 启用后将创建目录 `data/<网站>/`。所有找到的图片将保存于此，并在结果中直接显示元数据| | **下载文档**| 启用后将创建目录 `data/<网站>/documents`。所有找到的文档将保存于此，并在结果中直接显示元数据| | **“开始”按钮** | 启动遍历过程 | | **“停止”按钮** | 中断当前检查 | | **进度条** | 显示执行进度。运行时为黄色，完成后为绿色 | ### ▪️ “链接”部分

| 元素 | 描述 | |----------|-----------| | **过滤器** | 在报告中仅显示所需的链接类别：全部 / 内部 / 外部 / 2xx / 3xx / 4xx / 5xx / 错误 | | **结果表格** | 按列显示所有找到的链接：URL，来源（Site page），状态，响应时间，类型（内部/外部）。 | ### ▪️ “图片”部分

| 元素 | 描述 | |----------|-----------| | **图库** | 结果列表：预览，图片 URL 和找到它的页面，alt 属性，分辨率 | | **元数据** | 要获取元数据，需要下载图片或启用批量下载（复选框“下载图片”）| | **操作** | 手动下载以及 Google, Yandex, Bing 反向搜索按钮 | ### ▪️ “文档”部分

| 元素 | 描述 | |----------|-----------| | **过滤器** | 在报告中仅显示选定的文档类型：PDF / DOC,DOCX / XLS,XLSX / PPT,PPTX / TXT | | **结果表格** | 结果列表：文件名，类型，文件 URL 和找到它的页面，大小，状态 | | **元数据** | 要获取元数据，需要手动下载文档或启用批量下载（复选框“下载文档”或“下载全部”按钮） | | **操作** | 手动下载。与批量下载一样，文档会被放入文件夹 `data/<网站>/documents` | | **下载全部** | 批量下载结果表格中列出的文档 | | **报告** | 已找到文档和元数据的总体摘要。元数据按发现次数分组。可以点击每个结果查看发现该记录的文件 | | **导出 PDF** | 将找到的元数据导出为 PDF 报告 | | **导出 JSON** | 将找到的元数据导出为 JSON 报告 | #### 💾 下载文档 文档有两种操作模式： - 在开始分析前通过复选框进行自动批量下载； - 手动下载：通过 **“下载”** 按钮逐个下载，或通过文档选项卡中的 **“下载全部”** 按钮下载所有已找到的文档。 通过 **“下载全部”** 按钮进行的批量下载针对当前结果中已找到的文档，无需重新运行网站遍历。下载后，工具会根据格式提取并显示文档元数据。对于旧的 Microsoft Office 格式（DOC, XLS, PPT），实现了基本的 OLE/CFBF 元数据解析。 该工具还能： - 解码 PDF 元数据，包括具有复杂内部编码的情况； - 正确处理旧 Office 文档的元数据； - 在元数据中搜索 contact 字段和 email； - 在通用的元数据列中显示找到的值。 #### 📄 报告

**报告** 仅基于已下载的文档生成，并显示： - 总体摘要； - 所有找到的元数据类别； - 每个类别的分组值； - 每个值的重复次数； - 可展开列表，显示该值出现在哪些文档中。 *如果遇到非标准的元数据键，它们将被归入单独的“其他”部分。* 支持将报告 **导出** 为两种格式： - JSON — 汇总报告的结构化导出； - PDF — 生成 PDF 文件。 导出中仅包含报告的聚合数据： - 元数据类别 - 找到的值 - 重复次数 为了减少下载文档时的失败率，工具使用类浏览器的 HTTP 标头，传递发现文档链接页面的 Referer，支持 cookies 并正确处理重定向。这有助于从那些在没有标头的情况下直接请求可能会导致诸如 403 Forbidden 错误的网站下载文件。 ### ▪️“WHOIS”部分 切换到 **“WHOIS”** 选项卡时 - 将获取网站数据并以表格和原始形式显示。无需从“起始 URL”字段中删除 `https://`、`www` 或 `/` 后面的路径。程序能理解所有格式，并仅提取获取数据所需的 URL 部分。 ## ⚙️ 运行 Links Overseer ### 1. 系统要求 - **Go 1.25 或更高版本** - 任何操作系统：**Windows**，**macOS**，**Linux** （一切运行正常，跨平台） 检查 Go 版本： ``` go version ``` 如果未安装 Go，请从 [https://go.dev/dl/](https://go.dev/dl/) 下载。 ### 2. 克隆仓库 ``` git clone https://github.com/okpulse/links-overseer.git cd links-overseer ``` ### 3. 安装依赖并运行 ``` go mod tidy go run ./cmd/server ``` 这将下载所有必要的包。启动后，浏览器将会打开。如果未打开，请手动打开并访问地址： ``` http://localhost:8080/ ``` - 如果端口不同，它会在启动时显示在控制台中。 ## 🔧 构建二进制文件（可选） 要为所需系统构建可执行文件： ### Windows  ``` git clone https://github.com/okpulse/links-overseer.git cd links-overseer go mod tidy cd cmd/server go build -o links-overseer.exe ``` ### macOS / Linux   ``` git clone https://github.com/okpulse/links-overseer.git cd links-overseer go mod tidy cd cmd/server go build -o links-overseer ``` 构建后，可以直接运行文件而无需 Go： ``` ./links-overseer ``` ## 🔒 安全与隐私 Links Overseer 完全在本地运行。除了您自己指定要检查的 URL 外，应用程序不会向互联网发送或接收任何数据。 **重要须知：** - 启动时，程序会在 `http://localhost:8080` 启动 Web 界面 它仅对您可用，在网络中不可见。 - 所有检查均在本地执行，数据不保存也不外发 - CloudFlare 后的链接有时可能显示为不工作 💡 首次运行时，杀毒软件可能会警告“未知文件”。 *这是对没有数字签名的新可执行文件的正常反应。只需让杀毒软件扫描文件，它就会将其标记为安全。* ## 🗃️ 版本历史： - `v0.1` - 从网站收集链接，检查其可用性； - `v0.2` - 收集图片并在图库中显示，支持批量或手动下载。可查找元数据，添加了搜索引擎图片反向搜索按钮； - `v0.3` - 获取 WHOIS 数据； - `v1.0`(*当前版本*) - 在网站上查找文档，下载文档，提取元数据。 ## ❤️ 支持项目 如果这个项目对您有用，并且您希望它继续发展，可以在经济上支持开发： - [💎 Patreon](https://www.patreon.com/pulsepagemy) - [⭐ 在 YouTube 上成为赞助者](https://www.youtube.com/channel/UCojEUrPvEvkUXEU3QWwhCwg/join) - [💰 Monobank 银行卡](https://send.monobank.ua/jar/U32Yc8ML3) - 💲 **USDT (TRC20):** `TJ8pim1cBjGnypABnn27iq3FY9EVo16D7k`

标签：DInvoke, ESC4, EVTX分析, OSINT, URL监测, 侦察工具, 元数据提取, 反向图片搜索, 命令控制, 图片搜集, 对称加密, 数据采集, 文档分析, 日志审计, 本地工具, 漏洞挖掘辅助, 网站分析, 网络安全, 自动化审计, 证书透明日志, 路径扫描, 进程保护, 链接抓取, 隐私保护