DearStrike4940/archive-scout-linux

[下载最新版本](https://github.com/DearStrike4940/archive-scout-linux/releases/download/v1.2.0/ArchiveScout-Linux-x86_64.zip) Archive Scout 是一个用于研究公共 Wayback Machine 存档的桌面界面。它可以索引多个域名和路径，应用传统的 CDX 参数，并发下载存档的文本页面，扫描自定义关键词或正则表达式，通过 SQLite 恢复中断的工作，并生成纯 UTF-8 文本报告。 ## 主要功能 - 多个 Wayback 目标和路径模式 - 精确的 CDX 开始和结束日期 - 重复的 `filter` 参数 - `collapse=urlkey` 和 `collapse=digest` - `matchType` 选择 - 经过验证的高级 `key=value` CDX 参数 - 每个规范化 URL 的最早捕获 - 可恢复的索引和下载 - 有边界的并发下载 - 下载期间即时进行关键词扫描 - 仅限 URL 的快速模式 - 纯文本排名报告 - 通过 `truststore` 信任原生系统证书 - 内置 Ogrish September 11 研究预设 ## 界面中可用的 CDX 字段 CDX 选项标签页支持 `YYYY`、`YYYYMM`、`YYYYMMDD` 或 `YYYYMMDDhhmmss` 格式的日期、重复的过滤器、collapse 选项、匹配类型、页面大小以及额外的已解码参数。Archive Scout 的 JSON 和恢复解析器所需的保留参数不能被覆盖。 ## 输出 每个项目文件夹包含一个可恢复的 SQLite 数据库、下载的存档、保存的项目配置以及包括以下内容的报告： - `matches_ranked.txt` - `matched_urls.txt` - `wayback_urls.txt` - `interesting_links.txt` - `keyword_counts.txt` - `all_indexed_urls.txt` - `errors.txt` - `summary.txt` ## 负责任地使用 Archive Scout 旨在用于研究和保存公开的存档资料。请使用保守的 worker 数量和延迟，尊重速率限制，并且不要将其用于绕过访问控制。 ## 安装 下载发布版的压缩包，解压它，然后运行 `./install.sh`。它会将其安装在 `~/.local/share/archive-scout` 下，创建 `~/.local/bin/archive-scout`，并且无需管理员权限即可添加桌面条目。`Run Archive Scout.sh` 也可以启动解压后的便携副本。该发布版针对基于 glibc 的 64 位 Linux 系统，适用于 Ubuntu 22.04 或更高版本。 ## 创建 GitHub 仓库 1. 解压此仓库包。 2. 显示隐藏文件并确认 `.github/workflows/` 存在。 3. 运行 `python3 scripts/set_github_username.py DearStrike4940` 或手动替换占位符。 4. 创建一个名为 `archive-scout-linux` 的空公开仓库。 5. 上传所有文件和文件夹，包括 `.github`。首选 Git，因为 `git add .` 会包含隐藏文件。 6. 在仓库设置中，启用 GitHub Actions 并将 Workflow 权限设置为 **Read and write permissions**。 7. 打开 **Actions**，选择 **Build Linux x86_64 App**，并从 `main` 运行它。 8. 下载并测试 workflow artifact。 9. 创建一个发布标签，例如 `v1.2.0`；标签构建会自动上传发布资产。 有关完整的逐步点击过程，请参见 `docs/GITHUB_SETUP.md`。 ## 源码执行 需要 Python 3.11 或更高版本。 ``` python -m pip install -r requirements-runtime.txt python run_app.py ``` ## 测试 ``` python -m unittest discover -s tests -v ``` ## 许可证 MIT oading README.md…]()

标签：SQLite, Wayback Machine, 反汇编, 命令控制, 数据泄露, 数据采集, 桌面应用, 网络归档, 逆向工具