DearStrike4940/archive-scout-apple-silicon

GitHub: DearStrike4940/archive-scout-apple-silicon

面向 Apple Silicon macOS 的 Wayback Machine 存档检索与下载工具,支持 CDX 参数配置、并发下载、关键字扫描和断点续传。

Stars: 0 | Forks: 0

# Archive Scout (Apple Silicon 版) [下载最新版本](https://github.com/DearStrike4940/archive-scout-apple-silicon/releases/latest/download/ArchiveScout-macOS-Apple-Silicon.dmg) Archive Scout 是一个桌面应用程序,用于研究公开的 Wayback Machine 存档记录。它可以索引多个域名和路径,应用传统的 CDX 参数,并发下载存档的文本页面,扫描自定义关键字或正则表达式,通过 SQLite 恢复中断的工作,并生成纯 UTF-8 文本报告。 ## 主要功能 - 支持多个 Wayback 目标和路径模式 - 精确的 CDX 开始和结束日期 - 支持重复的 `filter` 参数 - 支持 `collapse=urlkey` 和 `collapse=digest` - `matchType` 选择 - 经过验证的高级 `key=value` CDX 参数 - 每个规范化 URL 的最早记录 - 支持恢复索引和下载 - 有边界的并发下载 - 下载期间即时关键字扫描 - 仅限 URL 的快速模式 - 纯文本排名报告 - 通过 `truststore` 信任原生系统证书 - 内置 Ogrish September 11 研究预设 ## 界面中可用的 CDX 字段 CDX 选项卡支持 `YYYY`、`YYYYMM`、`YYYYMMDD` 或 `YYYYMMDDhhmmss` 格式的日期、重复过滤器、折叠选项、匹配类型、页面大小以及额外的解码参数。Archive Scout 的 JSON 和恢复解析器所需的保留参数不能被覆盖。 ## 输出 每个项目文件夹都包含一个可恢复的 SQLite 数据库、已下载的存档、保存的项目配置以及报告,其中包括: - `matches_ranked.txt` - `matched_urls.txt` - `wayback_urls.txt` - `interesting_links.txt` - `keyword_counts.txt` - `all_indexed_urls.txt` - `errors.txt` - `summary.txt` ## 负责任地使用 Archive Scout 旨在用于研究和保存公开的存档资料。请使用保守的 worker 数量和延迟,遵守速率限制,并且不要将其用于绕过访问控制。 ## 安装说明 下载 DMG 文件,打开它,然后将 **Archive Scout.app** 拖入 **Applications**。首次启动时,请按住 Control 键单击该应用,选择 **打开**,然后进行确认。此版本针对 Apple Silicon (`arm64`) 和 macOS 12 或更高版本。它经过了临时签名,但未经 Apple 公证。 ## 创建 GitHub 仓库 1. 解压此仓库包。 2. 显示隐藏文件并确认 `.github/workflows/` 存在。 3. 运行 `python3 scripts/set_github_username.py DearStrike4940` 或手动替换该占位符。 4. 创建一个名为 `archive-scout-apple-silicon` 的空公开仓库。 5. 上传所有文件和文件夹,包括 `.github`。推荐使用 Git,因为 `git add .` 会包含隐藏文件。 6. 在仓库设置中,启用 GitHub Actions 并将 Workflow 权限设置为 **Read and write permissions**。 7. 打开 **Actions**,选择 **Build Apple Silicon macOS App**,并从 `main` 分支运行它。 8. 下载并测试该 workflow artifact。 9. 创建一个发布标签,例如 `v1.2.0`;标签构建将自动上传发布资产。 有关完整的逐步点击操作过程,请参阅 `docs/GITHUB_SETUP.md`。 ## 源代码执行 需要 Python 3.11 或更高版本。 ``` python -m pip install -r requirements-runtime.txt python run_app.py ``` ## 测试 ``` python -m unittest discover -s tests -v ``` ## 许可证 MIT
标签:SQLite, Wayback Machine, 关键词匹配, 反汇编, 数据检索, 桌面应用, 网络归档, 逆向工具