DearStrike4940/archive-scout-windows
GitHub: DearStrike4940/archive-scout-windows
一款可恢复的 Windows 桌面应用,用于通过 CDX API 批量搜索、下载和关键词扫描 Wayback Machine 的公共网页存档。
Stars: 0 | Forks: 0
# Windows 版 Archive Scout
[下载最新版本](https://github.com/DearStrike4940/archive-scout-windows/releases/latest/download/ArchiveScout-Windows-x64.zip)
Archive Scout 是一个用于研究公共 Wayback Machine 存档的桌面界面。它可以索引多个域名和路径,应用传统的 CDX 参数,并发下载存档的文本页面,扫描自定义关键字或正则表达式,通过 SQLite 恢复中断的工作,并生成纯 UTF-8 文本报告。
## 主要功能
- 多个 Wayback 目标和路径模式
- 精确的 CDX 开始和结束日期
- 重复的 `filter` 参数
- `collapse=urlkey` 和 `collapse=digest`
- `matchType` 选择
- 经过验证的高级 `key=value` CDX 参数
- 每个标准化 URL 的最早存档
- 可恢复的索引和下载
- 有界的并发下载
- 下载期间立即进行关键字扫描
- 仅 URL 的快速模式
- 纯文本排名报告
- 通过 `truststore` 信任本机系统证书
- 包含 Ogrish September 11 研究预设
## 界面中可用的 CDX 字段
CDX 选项 选项卡支持 `YYYY`、`YYYYMM`、`YYYYMMDD` 或 `YYYYMMDDhhmmss` 格式的日期、重复的过滤器、collapse 选项、match type、page size 和额外的解码参数。Archive Scout 的 JSON 和恢复解析器所需的保留参数不能被覆盖。
## 输出
每个项目文件夹包含一个可恢复的 SQLite 数据库、下载的存档、保存的项目配置以及报告,包括:
- `matches_ranked.txt`
- `matched_urls.txt`
- `wayback_urls.txt`
- `interesting_links.txt`
- `keyword_counts.txt`
- `all_indexed_urls.txt`
- `errors.txt`
- `summary.txt`
## 负责任地使用
Archive Scout 旨在用于研究和保存公开的存档材料。请使用保守的 worker 数量和延迟,遵守速率限制,并且不要使用它来绕过访问控制。
## 安装
下载并解压发布的 ZIP 文件,然后双击 **Install Archive Scout.cmd**。它会在您的用户配置文件下安装更快的单文件夹应用程序,并创建开始菜单和桌面快捷方式。不需要管理员访问权限。使用已安装的 **Uninstall Archive Scout** 快捷方式将其卸载。
## 创建 GitHub 仓库
1. 解压此仓库包。
2. 显示隐藏文件并确认 `.github/workflows/` 存在。
3. 运行 `python3 scripts/set_github_username.py DearStrike4940` 或手动替换占位符。
4. 创建一个名为 `archive-scout-windows` 的空公开仓库。
5. 上传所有文件和文件夹,包括 `.github`。首选 Git,因为 `git add .` 会包含隐藏文件。
6. 在仓库设置中,启用 GitHub Actions 并将 Workflow 权限设置为 **Read and write permissions**。
7. 打开 **Actions**,选择 **Build Windows x64 App**,然后从 `main` 运行它。
8. 下载并测试 workflow artifact。
9. 创建一个发布标签,例如 `v1.2.0`;标签构建会自动上传发布资产。
详细的点击操作流程请参见 `docs/GITHUB_SETUP.md`。
## 源代码执行
需要 Python 3.11 或更高版本。
```
python -m pip install -r requirements-runtime.txt
python run_app.py
```
## 测试
```
python -m unittest discover -s tests -v
```
## 许可证
MIT
标签:OSINT工具, SQLite, Wayback Machine, Windows桌面应用, 反汇编, 实时处理, 数据检索, 文本扫描, 网络归档, 逆向工具