s0md3v/Photon
GitHub: s0md3v/Photon
一款专为 OSINT 设计的高速网页爬虫,能够在爬取过程中自动提取 URL、敏感密钥、子域名、JavaScript 端点等多维度情报。
Stars: 12866 | Forks: 1673
Photon
专为 OSINT 设计的超快爬虫。
### 核心功能 #### 数据提取 Photon 可以在爬取时提取以下数据: - URL(范围内和范围外的) - 带参数的 URL(`example.com/gallery.php?id=2`) - 情报(电子邮件、社交媒体账号、Amazon bucket 等) - 文件(pdf、png、xml 等) - 密钥(身份验证/API 密钥和哈希值) - JavaScript 文件及其包含的端点 - 匹配自定义正则表达式模式的字符串 - 子域名及 DNS 相关数据 提取的信息将以有条理的方式保存,或者可以[导出为 JSON](https://github.com/s0md3v/Photon/wiki/Usage#export-formatted-result)。  #### 灵活性 控制超时时间、延迟、添加种子、排除匹配正则表达式模式的 URL 以及其他很酷的功能。 Photon 提供了广泛的[选项](https://github.com/s0md3v/Photon/wiki/Usage),让您可以完全按照自己的意愿抓取网页。 #### 智能 Photon 智能的线程管理和精炼的逻辑为您提供顶级的性能。 尽管如此,爬取仍然可能消耗大量资源,但 Photon 自有妙招。您可以使用 `--wayback` 选项,获取由 [archive.org](https://archive.org/) 存档的 URL 作为种子。 #### 插件 - **[wayback](https://github.com/s0md3v/Photon/wiki/Usage#use-urls-from-archiveorg-as-seeds)** - **[dnsdumpster](https://github.com/s0md3v/Photon/wiki/Usage#dumping-dns-data)** - **[Exporter](https://github.com/s0md3v/Photon/wiki/Usage#export-formatted-result)** #### Docker 可以使用轻量级的 Python-Alpine(103 MB)Docker 镜像启动 Photon。 ``` $ git clone https://github.com/s0md3v/Photon.git $ cd Photon $ docker build -t photon . $ docker run -it --name photon photon:latest -u google.com ``` 要查看结果,您可以前往本地 docker volume(可以通过运行 `docker inspect photon` 找到),或者通过挂载目标的 loot 文件夹: ``` $ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com ``` #### 频繁且无缝的更新 Photon 正处于密集开发阶段,用于修复错误、优化性能和推出新功能的更新会定期发布。 如果您想查看正在开发的功能和问题,可以在 [Development](https://github.com/s0md3v/Photon/projects/1) 项目面板上查看。 可以使用 `--update` 选项安装和检查更新。Photon 拥有无缝更新的能力,这意味着您可以在不丢失任何已保存数据的情况下更新 Photon。 使用 Control + Shift + m 来切换 tab 键移动焦点。或者,使用 esc 然后按 tab 键移动到页面上的下一个交互元素。 通过拖放、选择或粘贴来附加文件。 (https://www.thordata.com/?ls=github&lk=Photon)  ### 核心功能 #### 数据提取 Photon 可以在爬取时提取以下数据: - URL(范围内和范围外的) - 带参数的 URL(`example.com/gallery.php?id=2`) - 情报(电子邮件、社交媒体账号、Amazon bucket 等) - 文件(pdf、png、xml 等) - 密钥(身份验证/API 密钥和哈希值) - JavaScript 文件及其包含的端点 - 匹配自定义正则表达式模式的字符串 - 子域名及 DNS 相关数据 提取的信息将以有条理的方式保存,或者可以[导出为 JSON](https://github.com/s0md3v/Photon/wiki/Usage#export-formatted-result)。  #### 灵活性 控制超时时间、延迟、添加种子、排除匹配正则表达式模式的 URL 以及其他很酷的功能。 Photon 提供了广泛的[选项](https://github.com/s0md3v/Photon/wiki/Usage),让您可以完全按照自己的意愿抓取网页。 #### 智能 Photon 智能的线程管理和精炼的逻辑为您提供顶级的性能。 尽管如此,爬取仍然可能消耗大量资源,但 Photon 自有妙招。您可以使用 `--wayback` 选项,获取由 [archive.org](https://archive.org/) 存档的 URL 作为种子。 #### 插件 - **[wayback](https://github.com/s0md3v/Photon/wiki/Usage#use-urls-from-archiveorg-as-seeds)** - **[dnsdumpster](https://github.com/s0md3v/Photon/wiki/Usage#dumping-dns-data)** - **[Exporter](https://github.com/s0md3v/Photon/wiki/Usage#export-formatted-result)** #### Docker 可以使用轻量级的 Python-Alpine(103 MB)Docker 镜像启动 Photon。 ``` $ git clone https://github.com/s0md3v/Photon.git $ cd Photon $ docker build -t photon . $ docker run -it --name photon photon:latest -u google.com ``` 要查看结果,您可以前往本地 docker volume(可以通过运行 `docker inspect photon` 找到),或者通过挂载目标的 loot 文件夹: ``` $ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com ``` #### 频繁且无缝的更新 Photon 正处于密集开发阶段,用于修复错误、优化性能和推出新功能的更新会定期发布。 如果您想查看正在开发的功能和问题,可以在 [Development](https://github.com/s0md3v/Photon/projects/1) 项目面板上查看。 可以使用 `--update` 选项安装和检查更新。Photon 拥有无缝更新的能力,这意味着您可以在不丢失任何已保存数据的情况下更新 Photon。标签:API密钥泄露检测, BeEF, ESC4, OSINT, Python, 子域名枚举, 安全测试, 实时处理, 情报收集, 攻击性安全, 攻击面挖掘, 数据提取, 数据泄露, 无后门, 漏洞研究, 爬虫, 目标侦察, 系统安全, 网络安全, 请求拦截, 逆向工具, 隐私保护