champmq/TheScrapper
GitHub: champmq/TheScrapper
一款基于 Python 的轻量级网页抓取工具，用于从目标网站中提取电子邮件、电话号码和社交媒体账号等公开联系信息。
Stars: 315 | Forks: 58
# TheScrapper
TheScrapper 是一款多功能的网页抓取工具，旨在从网站中提取电子邮件、电话号码和社交媒体账号。你可以将收集到的信息用于各种目的，例如进一步研究或联系网站所有者。
## 安装与设置
要开始使用 TheScrapper，请按照以下简单的安装步骤操作：
1. 克隆仓库：
```
git clone https://github.com/champmq/TheScrapper.git
```
2. 切换目录：
```
cd TheScrapper
```
3. 安装所有依赖项：
```
pip3 install -r requirements.txt
```
## 使用方法
TheScrapper 提供了多种使用选项：
- 简单扫描：
```
python3 TheScrapper.py --url URL
```
- 扫描并抓取发现的 URL：
```
python3 TheScrapper.py --url URL --crawl
```
- 获取有关发现的社交媒体账号的更多信息：
```
python3 TheScrapper.py --url URL --social-extract
```
- 指定输出内容：
```
python3 TheScrapper.py --url URL -s # Social Media only
python3 TheScrapper.py --url URL -e -p # Emails + Numbers only
python3 TheScrapper.py --url URL # All output (default)
```
有关其他命令行参数和选项，请参阅帮助菜单：
```
python3 TheScrapper.py -h
```
要移除启动横幅，只需添加 "-b" 标志。
## 添加更多社交媒体网站
如果你想添加更多社交媒体网站进行抓取。你可以将它们追加到 `socials.txt` 文件中。如果你愿意与社区分享你的添加内容，欢迎提交 pull request。
## 已知问题
当使用已包含在 `socials.txt` 文件中的网站时，`--sm` 标志可能会产生不太有用的输出。为避免这种情况，请考虑排除此类 URL 或避免使用 `--sm` 标志。
### 许可证 - [GNU](LICENSE)
由 [champmq](https://github.com/champmq) 构建 — 另请查看 [CoSINT](https://github.com/champmq/cosint)，一个由 AI 驱动的 OSINT 运行时。
标签：E-mail抓取, ESC4, OSINT, Python, Tarakhasiya, URL抓取, 个人隐私数据泄露, 信息搜集工具, 安全研发, 攻击路径可视化, 数据抓取, 无后门, 爬虫框架, 电子邮件提取, 电话号码提取, 目标侦察, 社交媒体收集, 网站扫描, 网络情报, 逆向工具, 黑客工具