DearStrike4940/archive-scout-apple-silicon
GitHub: DearStrike4940/archive-scout-apple-silicon
面向 Apple Silicon macOS 的 Wayback Machine 存档检索与下载工具,支持 CDX 参数配置、并发下载、关键字扫描和断点续传。
Stars: 0 | Forks: 0
# Archive Scout (Apple Silicon 版)
[下载最新版本](https://github.com/DearStrike4940/archive-scout-apple-silicon/releases/latest/download/ArchiveScout-macOS-Apple-Silicon.dmg)
Archive Scout 是一个桌面应用程序,用于研究公开的 Wayback Machine 存档记录。它可以索引多个域名和路径,应用传统的 CDX 参数,并发下载存档的文本页面,扫描自定义关键字或正则表达式,通过 SQLite 恢复中断的工作,并生成纯 UTF-8 文本报告。
## 主要功能
- 支持多个 Wayback 目标和路径模式
- 精确的 CDX 开始和结束日期
- 支持重复的 `filter` 参数
- 支持 `collapse=urlkey` 和 `collapse=digest`
- `matchType` 选择
- 经过验证的高级 `key=value` CDX 参数
- 每个规范化 URL 的最早记录
- 支持恢复索引和下载
- 有边界的并发下载
- 下载期间即时关键字扫描
- 仅限 URL 的快速模式
- 纯文本排名报告
- 通过 `truststore` 信任原生系统证书
- 内置 Ogrish September 11 研究预设
## 界面中可用的 CDX 字段
CDX 选项卡支持 `YYYY`、`YYYYMM`、`YYYYMMDD` 或 `YYYYMMDDhhmmss` 格式的日期、重复过滤器、折叠选项、匹配类型、页面大小以及额外的解码参数。Archive Scout 的 JSON 和恢复解析器所需的保留参数不能被覆盖。
## 输出
每个项目文件夹都包含一个可恢复的 SQLite 数据库、已下载的存档、保存的项目配置以及报告,其中包括:
- `matches_ranked.txt`
- `matched_urls.txt`
- `wayback_urls.txt`
- `interesting_links.txt`
- `keyword_counts.txt`
- `all_indexed_urls.txt`
- `errors.txt`
- `summary.txt`
## 负责任地使用
Archive Scout 旨在用于研究和保存公开的存档资料。请使用保守的 worker 数量和延迟,遵守速率限制,并且不要将其用于绕过访问控制。
## 安装说明
下载 DMG 文件,打开它,然后将 **Archive Scout.app** 拖入 **Applications**。首次启动时,请按住 Control 键单击该应用,选择 **打开**,然后进行确认。此版本针对 Apple Silicon (`arm64`) 和 macOS 12 或更高版本。它经过了临时签名,但未经 Apple 公证。
## 创建 GitHub 仓库
1. 解压此仓库包。
2. 显示隐藏文件并确认 `.github/workflows/` 存在。
3. 运行 `python3 scripts/set_github_username.py DearStrike4940` 或手动替换该占位符。
4. 创建一个名为 `archive-scout-apple-silicon` 的空公开仓库。
5. 上传所有文件和文件夹,包括 `.github`。推荐使用 Git,因为 `git add .` 会包含隐藏文件。
6. 在仓库设置中,启用 GitHub Actions 并将 Workflow 权限设置为 **Read and write permissions**。
7. 打开 **Actions**,选择 **Build Apple Silicon macOS App**,并从 `main` 分支运行它。
8. 下载并测试该 workflow artifact。
9. 创建一个发布标签,例如 `v1.2.0`;标签构建将自动上传发布资产。
有关完整的逐步点击操作过程,请参阅 `docs/GITHUB_SETUP.md`。
## 源代码执行
需要 Python 3.11 或更高版本。
```
python -m pip install -r requirements-runtime.txt
python run_app.py
```
## 测试
```
python -m unittest discover -s tests -v
```
## 许可证
MIT
标签:SQLite, Wayback Machine, 关键词匹配, 反汇编, 数据检索, 桌面应用, 网络归档, 逆向工具