Priteshmane7895/dark-web-threat-intelligence-crawler

# 集成威胁情报的Tor浏览器克隆 一款注重隐私的网络浏览器，所有流量通过Tor网络路由，与官方Tor浏览器类似，并集成了威胁情报分析功能。 ## 功能特性 ### 核心隐私与安全 - **100% Tor路由**：所有流量通过SOCKS5代理经由Tor网络 - **无IP泄露**：全面防护IP地址泄露 - **指纹识别抵抗**：高级反指纹识别措施 - **头部信息标准化**：剥离隐私敏感头部信息 - **Canvas/WebGL防护**：阻止canvas和WebGL指纹识别 - **音频指纹防护**：标准化音频上下文指纹识别 - **字体枚举阻断**：阻止基于字体的指纹识别 - **屏幕分辨率标准化**：固定窗口尺寸以防止追踪 - **时区伪装**：标准化时区信息 - **高风险API阻断**：禁用WebRTC、WebSockets、Service Workers等 ### 威胁情报 - **实时分析**：分析URL和内容中的威胁指标 - **风险评分**：0-100风险评分，分为严重/高危/中危/安全等级别 - **内容分析**：扫描恶意关键词、加密货币地址、商业活动线索 - **可视化指示器**：UI中清晰的威胁等级徽章 - **搜索集成**：搜索结果的威胁分析 ### 类Tor浏览器特性 - **安全设置**：可配置的隐私和安全选项 - **严格隐私模式**：增强的隐私保护 - **第三方阻断**：阻止第三方请求 - **信箱模式**：固定窗口尺寸以获得一致的指纹特征 - **弹窗阻止**：阻止不必要的弹出窗口 - **自动播放阻止**：阻止媒体自动播放 - **危险内容阻止**：阻止潜在有害内容 - **HTTPS强制**：尽可能强制使用HTTPS（.onion站点除外） ## 快速入门 ### 前置条件 - Linux系统（推荐Ubuntu/Debian） - Node.js 18+ - Tor服务 - pnpm包管理器 ### 安装步骤 1. **下载并解压项目** ``` unzip tor-browser-clone.zip cd tor-browser-clone ``` 2. **运行设置脚本** ``` chmod +x setup-linux.sh ./setup-linux.sh ``` 3. **启动应用** ``` pnpm start ``` 4. **访问应用** ``` 在浏览器中打开 `http://localhost:3000` ``` ### 手动安装 如需手动设置： 1. **安装依赖** ``` # 安装Node.js（如未安装） curl -fsSL https://deb.nodesource.com/setup_18.x | sudo -E bash - sudo apt-get install -y nodejs # 安装Tor sudo apt-get update sudo apt-get install -y tor # 安装pnpm npm install -g pnpm # 安装项目依赖 pnpm install ``` 2. **配置环境** ``` cp .env.example .env.local # 编辑.env.local进行自定义设置 ``` 3. **启动Tor服务** ``` sudo systemctl start tor sudo systemctl enable tor ``` 4. **构建并运行** ``` pnpm build pnpm start ``` ## 配置说明 ### 环境变量 创建包含以下变量的`.env.local`文件： ``` # Tor 配置 TOR_SOCKS_URL=socks5h://127.0.0.1:9050 FORCE_TOR_ONLY=true ONION_ONLY=true # Timeout 配置 TOR_TIMEOUT_MS=300000 TOR_RETRIES=2 # Security 设置 NODE_ENV=production ``` ### 安全设置 应用包含多项可配置的安全设置： - **严格隐私**：增强隐私保护 - **阻止第三方**：阻止第三方请求 - **信箱模式**：固定窗口尺寸 - **显示威胁情报徽章**：显示威胁情报信息 - **阻止弹窗**：阻止弹出窗口 - **阻止自动播放**：阻止媒体自动播放 - **阻止危险内容**：阻止潜在有害内容 - **JavaScript**：启用/禁用JavaScript - **Cookies**：启用/禁用Cookies - **仅HTTPS**：强制HTTPS连接 ## 使用方法 ### 基本导航 1. **连接Tor**：点击“连接Tor”建立连接 2. **搜索.onion站点**：使用搜索栏查找.onion网站 3. **安全浏览**：所有流量自动通过Tor路由 4. **查看威胁情报**：检查威胁等级徽章获取安全信息 ### 高级功能 - **安全设置**：点击设置图标配置隐私选项 - **威胁分析**：查看每个站点的详细威胁情报 - **搜索结果**：浏览带有威胁等级指示器的搜索结果 - **直接导航**：在地址栏直接输入.onion URL ## 威胁情报 威胁情报系统分析： ### 风险类别 - **严重**：勒索软件、0日漏洞利用、僵尸网络、非法武器 - **高危**：市场、欺诈、恶意软件、毒品、泄露数据 - **中危**：论坛、泄露信息、加密货币混币器、社交平台 - **安全**：新闻、博客、正规信息网站 ### 分析功能 - **URL分析**：扫描URL中的可疑模式 - **内容分析**：分析页面内容中的威胁指标 - **商业活动检测**：识别市场交易和商业活动 - **加密货币地址检测**：发现比特币、门罗币、以太坊地址 - **联系渠道检测**：识别平台外通信渠道 ## 报告生成（PDF/DOCX） 应用可生成两种报告： - 单站点案例报告：使用结果行上的“生成报告”按钮 - 专业汇总报告：使用“专业报告”标签页和生成按钮 输出格式： - HTML（浏览器内预览和下载） - PDF和DOCX（通过Python在服务器端生成） 设置脚本安装的需求： - Python 3、venv、pip - Python包：reportlab、python-docx、matplotlib（参见requirements.txt） 环境变量（可选）： - PYTHON_BIN用于覆盖python3路径 ## 安全考量 ### 本应用的功能 - 将所有流量通过Tor网络路由 - 提供全面的指纹识别抵抗 - 分析内容中的威胁指标 - 提供类似Tor浏览器的安全功能 ### 本应用不能做到的 - 替代官方Tor浏览器以获得最高安全性 - 提供与官方Tor浏览器相同级别的安全保障 - 保证完全匿名（关键操作请使用官方Tor浏览器） - 提供与官方Tor浏览器相同级别的代码审计 ### 重要说明 - 这是一个用于教育目的的演示项目 - 为获得最高安全性，请使用官方Tor浏览器 - 浏览前请始终验证Tor连接 - 谨慎处理敏感信息 - 保持应用更新 ## 开发指南 ### 项目结构 ``` ├── app/ # Next.js app directory │ ├── api/ # API routes │ │ ├── proxy/ # Main proxy endpoint │ │ ├── search/ # Search API │ │ └── tor/ # Tor status API │ ├── onion/ # .onion viewer page │ └── page.tsx # Main page ├── components/ # React components │ ├── ui/ # UI components │ └── tor-browser-interface.tsx ├── lib/ # Utility libraries │ ├── threat-intel.ts # Threat intelligence │ └── utils.ts # General utilities ├── public/ # Static assets └── test/ # Test files ``` ### 运行测试 ``` pnpm test ``` ### 开发模式 ``` pnpm dev ``` ### 生产环境构建 ``` pnpm build pnpm start ``` ## 故障排除 ### 常见问题 1. **Tor连接失败** - 确保Tor服务正在运行：`sudo systemctl status tor` - 检查Tor配置：`sudo nano /etc/tor/torrc` - 重启Tor：`sudo systemctl restart tor` 2. **502超时错误** - .onion站点可能加载缓慢 - 在`.env.local`中增加超时时间：`TOR_TIMEOUT_MS=600000` - 检查.onion站点是否可访问 3. **构建错误** - 清除node_modules：`rm -rf node_modules && pnpm install` - 检查Node.js版本：`node --version`（应为18+） - 清除Next.js缓存：`rm -rf .next` 4. **权限错误** - 确保不是以root身份运行 - 检查文件权限：`chmod +x setup-linux.sh` ### 获取帮助 - 检查控制台错误信息 - 验证Tor是否正在运行且可访问 - 确保所有依赖已安装 - 检查环境配置 ## 许可协议 本项目用于教育和演示目的。请负责任地使用，并遵守当地法律法规。 ## 免责声明 本软件按“原样”提供，不作任何保证。作者对任何误用或安全问题不承担责任。为获得最高安全性和匿名性，请使用Tor项目的官方Tor浏览器。 ## 贡献指南 这是一个演示项目。对于安全关键的应用程序，请使用官方Tor浏览器并改为向Tor项目贡献力量。 **请注意**：这是一个演示项目。为获得最高安全性，请使用来自Tor项目的官方Tor浏览器。

标签：AI驱动安全, meg, MITM代理, Node.js应用, SOCKS5代理, Tor浏览器, 信息安全, 内容分析, 凭证泄露检测, 加密货币地址检测, 反指纹技术, 威胁情报, 威胁指标检测, 威胁检测工具, 实时警报系统, 开发者工具, 恶意内容扫描, 暗网分析, 暗网监控, 网络威胁检测, 网络安全, 网络爬虫技术, 自动化分析, 自动化攻击, 跨站脚本, 逆向工具, 隐私保护, 隐私保护浏览器, 隐私加固, 风险评分机制