Baba01hacker666/evilspider
GitHub: Baba01hacker666/evilspider
一款面向安全侦察的异步爬虫工具，专注于发现隐藏 endpoint、上传表单和带参数 URL 等高价值攻击面。
Stars: 0 | Forks: 0
# EvilSpider
用于侦察的异步攻击面爬虫。EvilSpider 优先关注有价值的发现（隐藏路径、带参数 endpoint、上传表单、范围内的子域名），而非通用的广度优先爬取。
## 功能特性
- 可配置并发度的异步爬取
- 去重前的 URL 标准化（查询参数排序、锚点/Fragment、相对/绝对路径形式）
- robots.txt 和 sitemap.xml 解析
- 从 HTML 标签中更广泛地提取链接（`href`、`src`、`action`、meta refresh、canonical、`srcset`）以及 JS 正则兜底
- 重试 + 指数退避 + 抖动
- 可选的重定向链报告
- 独立的连接/读取超时控制
- 基于 Content-Type/Body-Size 的过滤，避免解析二进制或过大的响应体
- 扩展名和关键词过滤
- 带参数的 URL 检测
- 文件上传表单检测
- Cookies、自定义 Headers、代理、自定义 User-Agent
- 浏览器模拟配置（Chrome/Firefox/Edge/Safari + 移动端变体）
- 范围内的子域名发现
- JSON 输出
## 安装
```
git clone https://github.com/Baba01hacker666/evilspider.git
cd evilspider
pip install aiohttp
```
## 快速开始
```
python main.py crawl -u https://example.com
```
## 高价值侦察工作流
### 1) 隐藏 Endpoint 探测
```
python main.py crawl \
-u https://target.tld \
-s 200,403,404 \
--robots --sitemaps \
-d 4
```
### 2) 上传面探测
```
python main.py crawl \
-u https://target.tld \
--detect-uploads \
-k upload,file,multipart \
-s 200,403
```
### 3) 带 Cookie 的认证爬取
```
python main.py crawl \
-u https://target.tld \
-C 'session=abc123; role=admin' \
-H 'X-Requested-With: EvilSpider'
```
### 4) 通过 Burp 代理爬取
```
python main.py crawl \
-u https://target.tld \
-x http://127.0.0.1:8080 \
--follow-redirects \
--report-redirects
```
### 5) 浏览器模拟模式
```
python main.py crawl \
-u https://target.tld \
-i chrome
```
### 6) 403/200 侦察模式
```
python main.py crawl \
-u https://target.tld \
-s 200,403 \
-e php,bak,env \
-p
```
## 常用选项
- `-u, --url`: 目标 URL
- `-t, --threads`: 并发请求数
- `-d, --max-depth`: 爬取深度
- `-m, --max-links`: 安全上限
- `-s, --status`: 感兴趣的状态码
- `-e, --exts`: 关注的扩展名列表
- `-k, --keywords`: 响应体关键词过滤
- `-p, --params-only`: 仅标记带有查询参数的 URL
- `--robots`, `--sitemaps`: 从 robots/sitemaps 发现种子
- `--detect-uploads`: 标记包含 `` 的页面
- `--retries`, `--retry-backoff`, `--retry-jitter`: 重试策略调优
- `--connect-timeout`, `--read-timeout`, `-T/--timeout`: 超时配置调优
- `--max-body-bytes`: 跳过过大的响应体
- `--follow-redirects`, `--report-redirects`: 重定向策略/报告
- `-C, --cookies`: Cookie 字符串或 Cookie 文件
- `-H, --headers`: 添加请求头（可重复使用）
- `-i, --impersonate`: 使用真实浏览器的 Header/User-Agent 配置
- `-x, --proxy`: 代理 URL
- `-j, --json`: 以 JSON Lines 流式输出发现结果
- `-o, --output`: 写入最终 JSON 发现结果的文件
## 使用场景
- Bug Bounty 侦察
- 攻击面发现
- OSINT 爬取
- 隐藏 Endpoint 枚举
## 对比
与 Scrapy 或 Crawlee 等传统爬虫不同，EvilSpider 专注于攻击性安全场景，例如：
- 发现隐藏 Endpoint
- 检测上传表单
- 提取带参数的 URL
## 关键词
web crawler python, async crawler, security crawler, recon tool, bug bounty crawler, endpoint discovery tool, subdomain discovery, osint crawler
标签：aiohttp, BeEF, Bug Bounty, C2日志可视化, CISA项目, Python, URL爬取, 动态插桩, 可自定义解析器, 子域名枚举, 密码管理, 异步爬虫, 指纹识别, 数据展示, 无后门, 爬虫, 系统安全, 红队, 网络安全, 网络探针, 自动化侦查, 表单检测, 路径扫描, 逆向工具, 隐私保护, 隐藏端点