DearStrike4940/archive-scout-windows

GitHub: DearStrike4940/archive-scout-windows

一款可恢复的 Windows 桌面应用,用于通过 CDX API 批量搜索、下载和关键词扫描 Wayback Machine 的公共网页存档。

Stars: 0 | Forks: 0

# Windows 版 Archive Scout [下载最新版本](https://github.com/DearStrike4940/archive-scout-windows/releases/latest/download/ArchiveScout-Windows-x64.zip) Archive Scout 是一个用于研究公共 Wayback Machine 存档的桌面界面。它可以索引多个域名和路径,应用传统的 CDX 参数,并发下载存档的文本页面,扫描自定义关键字或正则表达式,通过 SQLite 恢复中断的工作,并生成纯 UTF-8 文本报告。 ## 主要功能 - 多个 Wayback 目标和路径模式 - 精确的 CDX 开始和结束日期 - 重复的 `filter` 参数 - `collapse=urlkey` 和 `collapse=digest` - `matchType` 选择 - 经过验证的高级 `key=value` CDX 参数 - 每个标准化 URL 的最早存档 - 可恢复的索引和下载 - 有界的并发下载 - 下载期间立即进行关键字扫描 - 仅 URL 的快速模式 - 纯文本排名报告 - 通过 `truststore` 信任本机系统证书 - 包含 Ogrish September 11 研究预设 ## 界面中可用的 CDX 字段 CDX 选项 选项卡支持 `YYYY`、`YYYYMM`、`YYYYMMDD` 或 `YYYYMMDDhhmmss` 格式的日期、重复的过滤器、collapse 选项、match type、page size 和额外的解码参数。Archive Scout 的 JSON 和恢复解析器所需的保留参数不能被覆盖。 ## 输出 每个项目文件夹包含一个可恢复的 SQLite 数据库、下载的存档、保存的项目配置以及报告,包括: - `matches_ranked.txt` - `matched_urls.txt` - `wayback_urls.txt` - `interesting_links.txt` - `keyword_counts.txt` - `all_indexed_urls.txt` - `errors.txt` - `summary.txt` ## 负责任地使用 Archive Scout 旨在用于研究和保存公开的存档材料。请使用保守的 worker 数量和延迟,遵守速率限制,并且不要使用它来绕过访问控制。 ## 安装 下载并解压发布的 ZIP 文件,然后双击 **Install Archive Scout.cmd**。它会在您的用户配置文件下安装更快的单文件夹应用程序,并创建开始菜单和桌面快捷方式。不需要管理员访问权限。使用已安装的 **Uninstall Archive Scout** 快捷方式将其卸载。 ## 创建 GitHub 仓库 1. 解压此仓库包。 2. 显示隐藏文件并确认 `.github/workflows/` 存在。 3. 运行 `python3 scripts/set_github_username.py DearStrike4940` 或手动替换占位符。 4. 创建一个名为 `archive-scout-windows` 的空公开仓库。 5. 上传所有文件和文件夹,包括 `.github`。首选 Git,因为 `git add .` 会包含隐藏文件。 6. 在仓库设置中,启用 GitHub Actions 并将 Workflow 权限设置为 **Read and write permissions**。 7. 打开 **Actions**,选择 **Build Windows x64 App**,然后从 `main` 运行它。 8. 下载并测试 workflow artifact。 9. 创建一个发布标签,例如 `v1.2.0`;标签构建会自动上传发布资产。 详细的点击操作流程请参见 `docs/GITHUB_SETUP.md`。 ## 源代码执行 需要 Python 3.11 或更高版本。 ``` python -m pip install -r requirements-runtime.txt python run_app.py ``` ## 测试 ``` python -m unittest discover -s tests -v ``` ## 许可证 MIT
标签:OSINT工具, SQLite, Wayback Machine, Windows桌面应用, 反汇编, 实时处理, 数据检索, 文本扫描, 网络归档, 逆向工具