DhanushNehru/urlhawkscanner

# URL Hawk Scanner 🦅 [](https://github.com/DhanushNehru/urlhawkscanner/releases) [](https://goreportcard.com/report/github.com/DhanushNehru/urlhawkscanner) [](LICENSE) [](https://github.com/DhanushNehru/urlhawkscanner) ## 🚀 什么是 URL Hawk Scanner？ 一款**基于 Go 构建、极致快速、并发的 URL 安全扫描与 OSINT 工具包**，具备可扩展的插件架构。专为安全研究人员、漏洞赏金猎人、渗透测试人员以及 DevOps 团队设计，旨在数秒而非数小时内完成全面侦察。 **一次扫描，获取所需一切。** ## ✨ 核心能力 (25+ 特性) ### 🔍 **OSINT 与侦察** - **子域名发现** – 通过证书透明度、DNS 历史和归档 API 进行被动枚举 - **历史 URL 与归档探索器** – 揭示旧的管理面板、调试端点、泄露文件 - **泄露内容检测** – 发现意外索引的目录、robots.txt 禁令、暴露的 .git 和 .env 文件 - **社交网络表面预览** – 提取目标暴露的 LinkedIn、GitHub、Twitter 等社交档案 - **目标足迹摘要** – 一卡概览：托管商、ASN、国家、技术栈、风险指标 - **WHOIS 与域名情报** – 注册详情、域名服务器、历史注册人信息 - **DNS 记录深度分析** – A、MX、NS、TXT、SOA 记录及其历史变更 - **IP 与地理位置映射** – 托管提供商、自治系统、国家、数据中心详情 ### 🛡️ **安全头部与合规性** - **HTTP 安全头部记分卡** – CSP、HSTS、X-Frame-Options、X-Content-Type-Options、Referrer-Policy、Permissions-Policy 及修复建议 - **TLS/SSL 健康报告** – 证书有效性、密钥强度、密码套件、协议版本、过期警告 - **缺失安全头部检测** – 识别漏洞，建议实施方案，提供代码片段 - **OWASP 安全基线** – 针对反射型 XSS、SQLi 模式、SSRF 提示、路径遍历指标的轻量级检查 - **WAF/CDN 检测** – 识别 Cloudflare、Akamai、AWS Shield、ModSecurity 指纹 ### 🔧 **技术栈与检测** - **深度 HTTP 指纹识别** – 框架检测 (Django, Rails, Laravel, Express 等)、服务器软件、中间件、编程语言 - **CMS 与插件枚举** – WordPress 插件、Drupal 模块、Joomla 版本及其已知漏洞 - **前端框架检测** – React、Vue、Angular、Next.js 版本及配置 - **JavaScript 依赖分析** – 通过 DOM 检查识别过时的库 (jQuery, Bootstrap 等) - **API 端点发现** – GraphQL、REST API、WebSocket 端点、废弃的 API 路径 ### 📊 **高级扫描与情报** - **端口与服务发现** – 常见顶部端口及服务识别 (HTTP, HTTPS, SSH, FTP 等) - **SSL 证书链分析** – 完整证书层级、颁发机构信誉、自签名检测 - **威胁情报集成** – 可选的 IP 信誉、恶意软件黑名单、域名评分挂钩 - **实时监控模式** – 定时重新扫描，变更时通过 webhook/Slack 发送通知 - **暗网与粘贴站点提示** – 非侵入式外部威胁情报搜索的元级指引 ### 🎨 **报告与自动化** - **多格式输出** – JSON、SARIF、HTML、Markdown、CSV，支持可定制模板 - **可共享扫描徽章** – GitHub README 徽章链接至扫描结果 - **精美 HTML 报告** – 严重性标签、图标、修复建议、概念验证示例 - **CLI + Web UI 功能对等** – CLI 与浏览器界面均可用全部功能 - **扫描预设** – “快速侦察”、“漏洞赏金”、“合规基线”模板 ### 💡 **2026 趋势特性** - **AI 辅助风险摘要** – 自动生成包含前三项风险及业务影响的执行摘要 - **OSINT 图可视化** – 可视化攻击面映射：域名 → IP → 技术 → 第三方 - **基于证据的发现** – 每个问题包含 HTTP 样本、匹配的有效载荷、“为何重要”的解释 - **互动式入门引导** – 首次用户演练及可共享报告生成 - **社区插件系统** – 可扩展的 Go 接口；集锦中的精选社区检查 - **“教导我”模式** – 针对初级安全学习者的各类发现教育说明 - **默认安全扫描** – 无破坏性有效载荷，明确同意警告，隐私优先设计 ## 📊 特性矩阵 | 分类 | 特性 | 状态 | |----------|----------|--------| | **侦察与 OSINT** | 子域名、归档、技术栈、社交链接、足迹 | ✅ 活跃 | | **Web 安全** | 头部、TLS、OWASP 检查、暴露文件、WAF 检测 | ✅ 活跃 | | **技术检测** | 指纹识别、CMS、框架、JS 库、API | ✅ 活跃 | | **情报** | 端口扫描、证书链、威胁情报挂钩、监控 | 🚀 即将推出 | | **报告** | JSON/SARIF/HTML、徽章、预设、CLI 对等 | 🚀 即将推出 | | **AI 与趋势** | 风险摘要、图可视化、插件系统、“教导我”模式 | 🎯 2026 Q1 | ## ⚡ 为什么选择 URL Hawk Scanner？ ✅ **一体化平台** – 单一统一工具内 25+ 项检查；无需工具链 ✅ **速度与规模** – 基于 Goroutine 的并发处理，数分钟内处理数千 URL ✅ **隐私优先** – 开源、自托管、无云数据收集 ✅ **可扩展** – 插件架构，用于自定义检查和集成 ✅ **精美输出** – 扫描徽章、交互式 HTML 报告、可共享发现 ✅ **社区驱动** – 2026 趋势特性：AI 摘要、图表、插件生态系统 ✅ **DevOps 就绪** – JSON/SARIF 输出，CI/CD 友好，GitHub Actions 集成 ✅ **教育性** – “教导我”模式，帮助初级安全专业人员在职学习 ## 🚀 快速开始 ### 安装 ``` # 克隆并构建 git clone https://github.com/DhanushNehru/urlhawkscanner.git cd urlhawkscanner go build -o urlhawkscanner sudo mv urlhawkscanner /usr/local/bin/ # 或直接安装 go install github.com/DhanushNehru/urlhawkscanner@latest ``` ### 使用 ``` # 扫描单个 URL（综合 OSINT + 安全） urlhawkscanner -u https://example.com # 扫描 URL 列表，使用 50 个并发 worker urlhawkscanner -l urls.txt -t 50 # 输出为 JSON 以实现流水线集成 urlhawkscanner -u https://example.com -f json -o report.json # 生成可共享的 HTML 报告 urlhawkscanner -u https://example.com -f html -o scan.html # 使用预设模板（快速、完整、合规） urlhawkscanner -u https://example.com --preset bug-bounty # 通过 Slack webhook 启用监控 urlhawkscanner -u https://example.com --monitor --slack-webhook https://hooks.slack.com/... ``` ### Web UI (v2.0 新增) ``` # 启动 Web 界面 urlhawkscanner web # 打开 http://localhost:3000 并开始可视化扫描 ``` ## 📚 文档 - **[完整特性指南](./FEATURES.md)** – 深入了解全部 25+ 特性 - **[架构与插件系统](./docs/ARCHITECTURE.md)** – 构建自定义检查 - **[CLI 参考](./docs/CLI.md)** – 所有标志和选项 - **[报告模板](./docs/REPORTS.md)** – HTML、JSON、SARIF、Markdown - **[集成指南](./docs/INTEGRATIONS.md)** – GitHub Actions、CI/CD、Slack ## 🛠️ 使用场景 ### 🎯 漏洞赏金猎人 快速枚举攻击面，识别技术栈，发现错误配置 → 优先获取赏金。 ### 🔒 渗透测试人员 全面的侦察阶段；在一个工具中组合 OSINT 与安全检查。 ### 🏢 安全团队 合规基线扫描、安全头部审计、TLS 证书监控。 ### 🤖 DevOps/SRE CI/CD 集成、自动化安全基线、实时监控模式。 ### 👨‍🎓 学习者 “教导我”模式解释每个发现；开源代码供学习 Go 并发模式。 ## 🌟 2026 年为何会风靡？ ✨ **趋势特性：** - **AI 驱动的风险摘要** – 自动生成通俗易懂的执行摘要 - **可视化攻击面图表** – 一眼看清目标的完整技术生态系统 - **社区驱动的插件** – 分享和发现自定义 OSINT 检查 - **隐私倡导者** – 开源、无 SaaS、本地运行 - **单命令设置** – 2 分钟内完成安装、扫描、获取洞察 ## 📖 扫描报告示例 ### HTML 报告 ``` 📋 Scan Report: https://example.com ├── 🔴 Critical Issues (1) │ ├── Missing HSTS Header │ └── Weak TLS Protocol (SSLv3 detected) ├── 🟡 Warnings (5) │ ├── Outdated jQuery (1.8.2) │ ├── Exposed Git Repository │ └── Debug Mode Enabled └── ✅ Passed (12) ├── Strong CSP Policy ├── X-Content-Type-Options Set └── HTTPS Enforced 🎯 Risk Score: 6/10 | AI Summary: "High-priority TLS upgrade needed." ``` ## 📊 基准测试 | 任务 | 耗时 | URL/秒 | |------|------|----------| | 扫描 1 个 URL (全部检查) | ~2-3 秒 | - | | 扫描 100 个 URL (t=10) | ~15 秒 | ~6.7 URL/秒 | | 扫描 1000 个 URL (t=50) | ~45 秒 | ~22 URL/秒 | | 扫描 10K 个 URL (t=100) | ~8 分钟 | ~20 URL/秒 | *基准测试基于普通硬件；结果因网络延迟而异。* ## 🏆 路线图 (2026 及以后) - [x] 核心扫描引擎 - [x] CLI 与 Web UI - [ ] AI 驱动的风险摘要 (2026 Q1) - [ ] OSINT 图可视化 (2026 Q1) - [ ] 社区插件市场 (2026 Q2) - [ ] 实时监控仪表板 (2026 Q2) - [ ] Kubernetes 安全扫描 (2026 Q3) - [ ] 移动端扫描结果应用 (2026 Q3) ## ⚖️ 许可证与法律 URL Hawk Scanner 在 **Apache 2.0 许可证** 下发布。 **免责声明：** 此工具仅用于授权的安全测试和教育目的。未经授权访问计算机系统是非法的。在扫描任何不属于您的目标之前，务必获得书面许可。 ## 🔗 快速链接 - 🌐 **[在线演示](https://urlhawkscanner.vercel.app)** - 📦 **[Docker 镜像](https://hub.docker.com/r/dhanushnehru/urlhawkscanner)** - 🎥 **[YouTube 教程](#)** *(即将推出)* - 📖 **[完整 Wiki](https://github.com/DhanushNehru/urlhawkscanner/wiki)**

标签：EVTX分析, 日志审计, 请求拦截