kumar-Prakash07/Dark_Web_Crawler
GitHub: kumar-Prakash07/Dark_Web_Crawler
基于 Flask 的暗网爬虫 Web 应用,通过 Tor 网络抓取和分析 .onion 站点,帮助安全团队进行威胁情报收集和可疑活动监控。
Stars: 0 | Forks: 0
# 暗网爬虫
一个基于 Flask 的 Web 应用程序,用于在 Tor 网络上抓取和分析 .onion 站点。
## 功能
- 抓取 .onion 站点,支持可配置深度
- 使用关键词搜索 .onion 站点
- 通过分页查看发现的链接
- 以多种格式导出抓取结果
- 网络关系图可视化
- 搜索和抓取历史记录跟踪
- Tor 网络集成及模拟模式
## 环境要求
- Python 3.8+
- Flask
- SQLAlchemy
- Tor Browser 或 Tor 服务
- requirements.txt 中列出的其他依赖项
## 安装说明
1. 克隆仓库:
```
git clone https://github.com/yourusername/darkwebcrawler2.git
cd darkwebcrawler2
```
2. 创建并激活虚拟环境:
```
python -m venv venv
source venv/bin/activate # On Windows: venv\Scripts\activate
```
3. 安装依赖项:
```
pip install -r requirements.txt
```
4. 配置数据库:
- 应用程序默认使用 SQLite
- 在生产环境中,请设置 `DATABASE_URL` 环境变量
5. 运行应用程序:
```
python app.py
```
## 使用说明
1. 在 `http://localhost:5000` 访问应用程序
2. 使用默认凭据 (admin/admin123) 登录
3. 提供目标 URL 或搜索关键词开始抓取
4. 在仪表板中查看结果
## 安全提示
- 本工具仅供教育和研究目的使用
- 务必谨慎使用并尊重他人隐私
- 建议在使用 Tor 的同时配合使用 VPN
- 保持您的系统和依赖项处于最新状态
## 许可证
MIT License
标签:Flask, GitHub, .onion网站, Python, SQLAlchemy, SQLite, Tor网络, 代码示例, 威胁情报, 安全爬虫, 实时处理, 开发者工具, 搜索引擎, 数据分析, 无后门, 暗网数据采集, 暗网爬虫, 暗网监控, 洋葱路由, 网络图谱, 网络空间安全, 逆向工具, 黑产监测