frkndncr/WebAnalyzer

# 🚀 WebAnalyzer v3.6.2 - 企业级域名安全与情报平台 ## 🌟 概述 WebAnalyzer v3.6.2 是**最先进**的基于 Python 的域名分析框架，专为网络安全专家、渗透测试人员和安全研究人员设计。该平台将侦察、漏洞评估和情报收集与**企业级批量处理能力**结合在一起。 ### ✨ 革命性功能 🔹 **🏢 企业级批量处理**：由 MySQL 支持的作业队列系统，适用于大规模操作（1K-50K+ 个域名） 🔹 **🧠 AI 驱动分析**：包含 12 个从侦察到激进安全测试的专业模块 🔹 **⚡ 闪电般性能**：智能重试机制、资源监控和检查点恢复 🔹 **📊 专业报告**：带有实时指标和成功追踪的综合分析 🔹 **🛡️ 反检测武器库**：IP 轮换、user-agent 循环和高级隐身能力 🔹 **🚀 可扩展架构**：支持 1-50 个并行 worker，具备动态资源管理 ### 🎯 v3.6.2 的革命性更新

**🏗️ 企业级基础设施：** - 🗄️ 带有优化 schema 的 MySQL 数据库 - 📋 带有进度追踪的高级作业队列 - ✅ 域名预验证系统 - 📈 实时性能监控 - 🔄 带有模块特定配置的智能重试

**⚙️ 增强处理：** - 👥 Worker 池架构（1-50 并发） - 📦 动态批处理大小 - 💾 检查点恢复系统 - ⏱️ 模块特定的超时设置 - 🔍 智能漏洞检测

## 🏛️ 系统架构 ``` graph TB A[🎛️ Management Layer] --> B[🚀 Processing Engine] A --> C[💾 Database Layer] A --> D[🔬 Analysis Modules] B --> E[👥 Worker Pool Controller] B --> F[🔄 Intelligent Retry System] B --> G[📊 Resource Monitor] B --> H[💾 Progress Tracking] C --> I[🗄️ MySQL Connection Pool] C --> J[📋 Optimized Schemas] C --> K[📈 Real-time Analytics] C --> L[💿 Data Persistence] D --> M[🔍 Intelligence Gathering] D --> N[🕵️ Reconnaissance] D --> O[🛡️ Security Assessment] D --> P[⚡ Advanced Testing] ``` ## 🛠️ 安装与设置 ### 📋 前置条件 - 🐍 **Python 3.8+** 及 pip 包管理器 - 🗄️ **MySQL 8.0+** 用于企业级批量处理 - 🚀 **Go 语言**（用于 Subfinder 集成） - 💾 建议 **4GB+ RAM** 用于批量处理 ### 📦 通过 PyPI (Pip) 安装 WebAnalyzer 已在 PyPI 上发布。你可以全局安装它并立即运行交互式 CLI 扫描器： ``` # 安装 package pip install webanalyzer-security # 运行 CLI tool webanalyzer ``` ### 🐳 Docker Compose 安装（无摩擦 - 推荐） 启动整个平台（MySQL 数据库、FastAPI 后端和 React 仪表板）的最快方法是使用 Docker Compose。这会自动打包所有依赖项（Python、Go、Node、Nmap、Subfinder）： ``` # 1. Clone 仓库 git clone https://github.com/frkndncr/WebAnalyzer.git cd WebAnalyzer # 2. 运行平台 docker compose up -d --build ``` - **React 仪表板**: http://localhost:8080 - **FastAPI API 文档**: http://localhost:8000/docs ### ⚡ 手动安装（开发者模式） ``` # 📥 Clone 仓库 git clone https://github.com/frkndncr/WebAnalyzer.git cd WebAnalyzer # 📦 安装 Python 依赖 pip install -r requirements.txt # 🗄️ Database 设置 # 在 database/db_manager.py 中配置您的 database 连接 # 更新连接参数： config = { 'host': 'your_mysql_host', 'database': 'your_database_name', 'user': 'your_username', 'password': 'your_password', # ... other settings } # 📋 导入 database schema mysql -u your_username -p your_database < database/schema.sql # ✅ 验证安装 python main.py --help ``` ### 🖥️ 手动运行网络安全仪表板 要在本地不使用 Docker 运行完整的可视化指挥中心： 1. **启动 FastAPI 后端：** uvicorn api:app --host 0.0.0.0 --port 8000 --reload 2. **启动 React 前端：** cd dashboard npm install npm run dev 在浏览器中打开 [http://localhost:5173](http://localhost:5173)。 ### ⚙️ 配置 ``` # ⚡ 配置性能设置 export WEBANALYZER_MAX_WORKERS="10" export WEBANALYZER_BATCH_SIZE="100" # 🌐 Proxy 配置（可选） export WEBANALYZER_PROXY="http://proxy:8080" ``` ## 🎮 使用指南 ### 🎯 交互式分析（单个域名） 非常适合带有模块选择的单个域名分析： ``` 🚀 python main.py # 按照交互式提示操作 # 选择域名和所需的分析模块 ``` ### 🏢 企业级批量处理 用于大规模域名分析（建议用于 100+ 个域名）： #### 1️⃣ 域名准备与验证 预验证域名以提高成功率： ``` # 🔍 基础验证 python domains-check.py --input domains.json --output validated_domains.json # ⚡ 使用自定义设置进行高级验证 python domains-check.py --input raw_domains.json --output clean_domains.json --workers 15 --timeout 12 ``` #### 2️⃣ 作业创建与管理 ``` # 📋 加载域名以进行批量处理 python bulk_scan.py --load validated_domains.json --job-name "🔥 Enterprise Security Audit" # 📊 列出所有 jobs 以获取 job ID python bulk_scan.py --list-jobs # ⚡ 使用最优设置处理 job python bulk_scan.py --job-id 1 --workers 10 # 🚀 高性能处理（强大的服务器） python bulk_scan.py --job-id 1 --workers 20 --risky # 💻 资源受限的处理 python bulk_scan.py --job-id 1 --workers 3 ``` #### 3️⃣ 监控与恢复 ``` # 📈 监控 job 进度 python bulk_scan.py --stats 1 # 🔄 恢复中断的 job python bulk_scan.py --resume 1 --workers 10 # 📊 获取详细的性能指标 python monitor.py --job-id 1 --detailed ``` ## 🔬 分析模块 ### 🔍 情报收集 | 模块 | 功能 | 输出 | 风险等级 | 状态 | |--------|----------|--------|------------|---------| | **🌐 域名信息** | WHOIS 数据、注册详情 | 注册商、日期、状态 | 🟢 低 | ✅ 活跃 | | **🔍 DNS 分析** | 全面的 DNS 记录枚举 | A、MX、CNAME、TXT 记录 | 🟢 低 | ✅ 活跃 | | **📈 SEO 分析** | 搜索优化评估 | 性能、meta 标签、结构 | 🟢 低 | ✅ 已增强 | | **⚙️ Web 技术** | 技术栈指纹识别 | 服务器、框架、CMS 检测 | 🟢 低 | ✅ 已增强 | ### 🕵️ 侦察 | 模块 | 功能 | 输出 | 风险等级 | 状态 | |--------|----------|--------|------------|---------| | **🔍 子域名发现** | 高级子域名枚举 | 活跃子域名、DNS 记录 | 🟡 中 | ✅ 活跃 | | **👥 联系人情报** | 联系信息提取 | 电子邮件、电话、社交档案 | 🟡 中 | ✅ 活跃 | | **📁 高级内容扫描器** | 深度内容分析 | 敏感文件、目录 | 🟡 中 | ✅ 活跃 | ### 🛡️ 安全评估 | 模块 | 功能 | 输出 | 风险等级 | 状态 | |--------|----------|--------|------------|---------| | **🔒 安全分析** | Headers、SSL/TLS、漏洞 | 安全评分、建议 | 🟡 中 | ✅ 已增强 | | **⚠️ 子域名接管** | 接管漏洞检测 | 可利用的子域名 | 🔴 高 | ✅ 活跃 | | **🌩️ CloudFlare 绕过** | WAF 绕过技术 | 真实 IP 发现 | 🔴 高 | ✅ 活跃 | | **🔍 网络扫描器** | 端口扫描、服务枚举 | 开放端口、运行服务 | 🔴 高 | ✅ 活跃 | | **🔥 API 安全扫描器** | API 漏洞评估 | 安全缺陷、可利用的 endpoint | 🟣 严重 | ✅ 活跃 | ## 📊 性能与可扩展性 ### 🏆 基准性能 - ⚡ **处理速度**：50-200 个域名/分钟（取决于配置） - 🎯 **成功率**：带有智能重试机制可达 85-95% - 💾 **资源使用**：2-8GB RAM，中等 CPU 利用率 - 🗄️ **数据库性能**：带有连接池的 1,000+ 次查询/秒 - 📦 **并发容量**：处理队列中最多可容纳 1,000 个域名 ### ⚙️ 优化指南 ``` # 🎛️ 基于 System 的 worker 配置 RECOMMENDED_WORKERS = { '💻 Development (4GB RAM)': 3, '🏢 Production (8GB RAM)': 10, '⚡ High-Performance (16GB+ RAM)': 20, '🏭 Enterprise Server': 30 } # ⏱️ 模块超时设置 MODULE_TIMEOUTS = { 'security_analysis': 30, # 🔒 Complex analysis 'web_technologies': 35, # ⚙️ Technology detection 'seo_analysis': 45, # 📈 Comprehensive SEO 'domain_info': 10, # 🌐 WHOIS lookup 'domain_dns': 10 # 🔍 DNS resolution } ``` ### 🚀 大规模处理示例 用于处理 25,000+ 个域名： ``` # 1️⃣ 预验证域名（减少失败） python domains-check.py --input 25k_domains.json --output validated_25k.json --workers 20 # 2️⃣ 加载以进行处理 python bulk_scan.py --load validated_25k.json --job-name "🔥 25K Domain Security Audit" # 3️⃣ 使用高性能设置进行处理 python bulk_scan.py --job-id 2 --workers 15 --risky # 4️⃣ 监控进度（对于 25K 个域名预计需要 3-5 小时） python bulk_scan.py --stats 2 --refresh 30 ``` ## 📁 项目结构 ``` 🏗️ WebAnalyzer/ ├── 🎛️ main.py # Interactive analysis interface ├── 🚀 bulk_scan.py # Enterprise bulk processing engine ├── ✅ domains-check.py # Domain validation utility ├── 📊 monitor.py # Real-time monitoring system ├── 📈 check_progress.py # Progress tracking utility ├── ⚙️ config.py # Configuration management ├── 🔌 webanalyzer_socket.py # Socket communication ├── 📋 webanalyzer_config.json # Configuration file ├── 📦 requirements.txt # Python dependencies ├── 🛠️ setup.sh # Installation automation ├── 📄 LICENSE # MIT License ├── 📚 README.md # Documentation (English) ├── 🇹🇷 README.TR.MD # Documentation (Turkish) │ ├── 🗄️ database/ # Database layer │ ├── 📋 schema.sql # MySQL table definitions │ └── 🔗 db_manager.py # Connection pool & query optimization │ ├── ⚡ bulk/ # Bulk processing components │ ├── 📥 loader.py # Domain loading & job creation │ └── 🚀 processor.py # Optimized processing engine │ ├── 🔬 modules/ # Analysis modules │ ├── 🌐 domain_info.py # WHOIS information retrieval │ ├── 🔍 domain_dns.py # DNS record analysis │ ├── 📈 seo_analysis.py # SEO performance assessment │ ├── 🔒 security_analysis.py # Security headers & SSL analysis │ ├── ⚙️ web_technologies.py # Technology stack detection │ ├── ⚠️ subdomain_takeover.py # Vulnerability detection │ ├── 📁 advanced_content_scanner.py # Content analysis │ ├── 🌩️ cloudflare_bypass.py # WAF bypass techniques │ ├── 👥 contact_spy.py # Contact information extraction │ ├── 🔍 nmap_zero_day.py # Network vulnerability scanning │ ├── 🔥 api_security_scanner.py # API security assessment │ ├── 🕵️ subfinder_tool.py # Subdomain enumeration │ └── 🔌 universal_adapter.py # Module execution framework │ ├── 🛠️ utils/ # Core utilities │ ├── 📦 __init__.py # Package initialization │ ├── 🔄 session_manager.py # Advanced session management │ ├── 🔧 module_wrapper.py # Execution framework │ └── 🛠️ utils.py # Helper functions │ ├── 💣 payloads/ # Security testing payloads │ ├── 🔗 api_endpoints.txt # API endpoint wordlist │ ├── 🔓 auth_bypass_headers.txt # Authentication bypass headers │ ├── 💻 command_injection.txt # Command injection payloads │ ├── 📁 lfi.txt # Local file inclusion payloads │ ├── 🍃 nosql_injection.txt # NoSQL injection payloads │ ├── 💉 sql_injection.txt # SQL injection payloads │ ├── 🔗 ssrf.txt # SSRF payloads │ ├── 🔧 ssti.txt # Server-side template injection │ ├── ⚡ xss.txt # Cross-site scripting payloads │ └── 📄 xxe.txt # XML external entity payloads │ └── 🧪 tests/ # Test suite └── ✅ test_main.py # Unit tests ``` ## 🏢 企业级功能 ### 🗄️ 数据库 Schema ``` -- 📋 Job management CREATE TABLE scan_jobs ( id INT AUTO_INCREMENT PRIMARY KEY, job_name VARCHAR(255), total_domains INT DEFAULT 0, completed_domains INT DEFAULT 0, status ENUM('pending', 'running', 'completed', 'failed') DEFAULT 'pending', created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, started_at TIMESTAMP NULL, completed_at TIMESTAMP NULL ); -- 🌐 Domain processing queue CREATE TABLE domains ( id INT AUTO_INCREMENT PRIMARY KEY, job_id INT, domain VARCHAR(255) NOT NULL, status ENUM('pending', 'scanning', 'completed', 'failed') DEFAULT 'pending', priority INT DEFAULT 5, retry_count INT DEFAULT 0, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, scanned_at TIMESTAMP NULL ); -- 📊 Analysis results storage CREATE TABLE scan_results ( id INT AUTO_INCREMENT PRIMARY KEY, domain_id INT, module_name VARCHAR(100), status VARCHAR(50), risk_level ENUM('low', 'medium', 'high', 'critical'), score INT, execution_time FLOAT, result_data JSON, error_message TEXT, scanned_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); -- ⚠️ Vulnerability tracking CREATE TABLE vulnerabilities ( id INT AUTO_INCREMENT PRIMARY KEY, domain_id INT, vulnerability_type VARCHAR(100), severity ENUM('info', 'low', 'medium', 'high', 'critical'), module_name VARCHAR(100), details JSON, discovered_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); ``` ### ⚙️ 高级配置 ``` # 🚀 Worker pool 优化 BULK_PROCESSING_CONFIG = { 'max_workers': 20, 'batch_size': 100, 'checkpoint_interval': 60, 'retry_attempts': { 'security_analysis': 3, 'web_technologies': 4, 'seo_analysis': 4, 'domain_dns': 2 }, 'timeout_settings': { 'security_analysis': 30, 'web_technologies': 45, 'seo_analysis': 45, 'domain_info': 10, 'domain_dns': 10 } } ``` ## ⚖️ 法律与道德考量 ### 🚨 **重要法律声明** 🚨 WebAnalyzer 包含能够进行**激进安全测试**的模块，包括漏洞扫描、利用尝试和身份验证绕过技术。 🔹 **仅测试您拥有**或获得明确书面许可测试的系统 🔹 **遵守速率限制**和服务条款 🔹 对发现的漏洞**遵循负责任的披露**实践 🔹 **遵守有关安全测试的**当地法律法规 **免责声明**：用户需自行确保合法使用。工具开发者不对滥用或造成的损害承担责任。 ## 🤝 支持与专业服务 ### 🌍 社区支持 - 🐛 **GitHub Issues**：Bug 报告和功能请求 - 📚 **文档**：全面的指南和 API 文档 - 💬 **社区论坛**：用户讨论和最佳实践 ### 🏢 专业服务 - 🏗️ **企业咨询**：大规模部署协助 - 🔧 **自定义模块开发**：专业的分析需求 - 🎓 **培训计划**：团队认证和高级用法 - 🛠️ **托管服务**：完全托管的安全评估解决方案 ### 📞 联系信息 ## 📄 许可证 本项目基于 **MIT 许可证**授权 - 请参阅 LICENSE 文件了解完整条款。 **🏢 提供企业版许可**：联系以获取高级功能、优先支持和商业许可选项。

标签：CTI, GitHub, Python, Sigma 规则, 动态插桩, 域名分析, 实时处理, 情报收集, 无后门, 日志审计, 漏洞研究, 请求拦截, 资产测绘, 逆向工具