Teycir/Excalibur

# Excalibur         ## 手动 WAF 绕过 & Cookie 提取器 - Chrome 扩展 + Burp 集成 ## 项目描述 **Excalibur** 是一个强大的双组件安全测试工具，旨在通过手动浏览器交互绕过 Web 应用防火墙 (WAF)、CAPTCHA 和其他反机器人保护。它包括： 1. **Chrome 扩展** - 在您手动解决 CAPTCHA、完成身份验证流程以及浏览受保护应用程序的同时，拦截并记录 HTTP 流量。 2. **Burp Suite 扩展** - 将记录的 HTTP Archive (HAR) 文件和提取的 Cookie 导入 Burp Suite，从而对先前受保护的端点启用自动化安全测试。 ### 为什么选择 Excalibur？ 现代 Web 应用程序采用了日益复杂的安全措施，包括 WAF、CAPTCHA 和机器人检测系统。这些保护措施通常会阻止自动化安全扫描器，并使测试身份验证后的 API 变得困难。Excalibur 通过以下方式弥补了这一差距： - 通过与应用程序的手动交互 **维护合法会话** - **捕获完整的 HTTP 流量**，包括标头、Cookie 和计时数据 - 将**已验证的会话导出**到 Burp Suite 等专业安全工具 - **加速安全测试**，无需手动提取 Cookie 和设置会话 ### 工作原理 ``` ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ Manual │ → │ Excalibur │ → │ Burp Suite │ │ Browser │ │ Record & │ │ Security │ │ Interaction │ │ Export │ │ Testing │ └──────────────┘ └──────────────┘ └──────────────┘ ``` 1. 您在 Chrome 中手动浏览目标应用程序，像普通用户一样解决任何 CAPTCHA 或身份验证挑战。 2. Excalibur 记录您会话期间的所有 HTTP 流量，实时捕获请求、响应、标头和 Cookie。 3. 将记录的会话导出为 HAR 和 JSON 文件，然后将其加载到 Burp Suite 中进行详细的安全分析和自动化扫描。 ## 目录 - [项目描述](#project-description) - [快速开始](#quick-start) - [最近更新](#recent-updates) - [使用工作流](#usage-workflow) - [功能特性](#features) - [优于 DevTools HAR 导出的地方](#advantages-over-devtools-har-export) - [输出文件](#output-files) - [架构](#architecture) - [使用案例](#use-cases) - [协同项目](#synergistic-projects) - [项目结构](#project-structure) - [故障排除](#troubleshooting) - [开发](#development) - [更新日志](#changelog) - [安全披露](#security-disclosure) - [许可证](#license) - [作者与署名](#author--attribution) - [免责声明](#disclaimer) ## 快速开始 ### Chrome 扩展 1. 打开 Chrome → `chrome://extensions/` 2. 启用 **开发者模式** (右上角开关) 3. 点击 **加载已解压的扩展程序** 4. 选择 `chrome extension/` 文件夹 5. 将 Excalibur 图标固定到您的工具栏 ### Burp 扩展 1. 打开 Burp Suite (专业版或社区版) 2. **Extensions** → **Add** → **Python** 3. 选择 `burp-extension/excalibur_loader.py` 4. 验证扩展是否成功加载 5. 导航至 **Excalibur** 选项卡 ### 前置条件 - **Chrome/Chromium** 浏览器 - **Burp Suite** (专业版或社区版) - **Jython** standalone JAR (用于 Burp Python 支持) ## 最近更新 - 添加了可折叠的弹出面板，包含 `Quick Mode / Pro Mode`，以减少 UI 杂乱，同时保持核心控件可见。 - 添加了 `Pin Monitor` / `Unpin Monitor` 流程，用于在浏览期间进行持久的实时跟踪。 - 添加了存储管理 UX： - 实时存储使用量 + 安全状态 - 带有垃圾桶图标的一键 `Clear Storage` - 导出后和浏览器启动时的自动清理 - 添加了高级捕获智能： - Time Machine 检查点 - Auth Drift Radar - 感知挑战的时间线 + 滑块标记 - Exploration Heatmap 和盲点建议 - Replay Studio 场景生成 - 添加了更好的操作员指导： - 空状态指导卡 - 智能警告条 - 固定的内联回退坞 (取代浮动回退) - 在弹出窗口中显示更丰富的后端错误详情 - Burp 扩展改进： - HTTP 工具栏中的 `Clear History` 操作 - 工作区保存/加载流程 - 针对大数据集的过滤性能优化 ## 使用工作流 ### 简单 3 步流程 1. **在 Chrome 中记录** - 点击 Chrome 中的 Excalibur 图标 - 点击 **▶️ Start Recording** - 导航到目标站点 - 解决 CAPTCHA，完成身份验证流程 - 点击 **⏹️ Stop Recording** 2. **导出会话工件** - 点击 **📦 Export HAR + Insights** - 自动下载四个文件： - `excalibur-session-YYYYMMDD-HHMMSS.har` - `excalibur-session-YYYYMMDD-HHMMSS-cookies.json` - `excalibur-session-YYYYMMDD-HHMMSS-replay-studio.json` - `excalibur-session-YYYYMMDD-HHMMSS-insights.json` 3. **在 Burp 中加载** - 打开 Burp → **Excalibur** 选项卡 - 点击 **Load HAR File** → 选择导出的 HAR - 点击 **Load Cookies JSON** → 选择导出的 cookies - 在 **Target → Site Map** 和 **History** 选项卡中查看请求 ## 功能特性 ### Chrome 扩展功能 | 功能 | 描述 | |---------|-------------| | ▶️ **Start/Stop Recording** | 通过视觉反馈和清晰的状态指示切换会话记录 | | 📊 **Real-time Counters** | 记录期间实时显示捕获的请求和 Cookie | | 📦 **HAR Export** | 以标准 HTTP Archive 格式导出记录的流量 | | 🍪 **Cookie Extraction** | 自动提取所有 Cookie 为 JSON，便于导入 | | 🎨 **Modern UI** | 简洁、基于渐变的用户界面，带有直观的控件 | | 🔄 **Background Recording** | 通过 Chrome service worker API 进行连续记录 | | 🔍 **DevTools Panel** | 集成的 DevTools 面板，用于高级监控 | | 📂 **Batch Export** | 单击操作即可导出 HAR 和 Cookie | | 📌 **Pinned Monitor Window** | 通过固定/取消固定控件在浏览时保持 Excalibur 可见 | | 💾 **Storage Guardrails** | 实时存储计量器、安全状态和清除存储控制 | | 🧭 **Timeline + Coaching** | 时间线滑块标记和空状态指导 | | 🧪 **Session Intelligence** | Time Machine、Auth Drift Radar、挑战时间线、热力图洞察 | | 🔁 **Replay Studio Export** | 在 `-replay-studio.json` 中生成重放场景，用于后续测试 | ### Burp Suite 扩展功能 | 功能 | 描述 | |---------|-------------| | 📥 **HAR File Loading** | 将 HAR 文件直接导入 Burp Site Map | | 🍪 **Cookie Import** | 将 JSON Cookie 导入 Burp Cookie Jar | | 📊 **Request History** | 所有导入请求的可排序表格视图 | | 📈 **Statistics Panel** | 请求、访问主机和导入时间戳的摘要 | | 📝 **Activity Log** | 所有扩展操作的详细时间戳日志 | | 🎨 **Matching UI** | 与 Chrome 扩展一致的设计语言 | | 🔍 **Request Inspector** | 完整的请求/响应查看功能 | | 🔄 **Session Replay** | 使用捕获的 Cookie 重放导入的请求 | | 🧹 **Clear History Action** | 一键工具栏操作，安全清除导入的 HTTP 历史 | | 💼 **Workspace Save/Load** | 在调查之间持久保存和恢复 Burp 会话状态 | | ⚡ **Optimized Filtering** | 缓存搜索/去重路径，以实现更流畅的大历史记录过滤 | ### 核心能力 - **WAF 绕过** - 通过合法的浏览器会话绕过云 WAF 保护 - **CAPTCHA 处理** - 手动解决 CAPTCHA 并自动捕获流量 - **会话持久化** - 在测试工具之间维护已验证的会话 - **流量分析** - 完整的 HTTP/HTTPS 请求/响应检查 - **Cookie 管理** - 提取、查看和导入浏览器 Cookie - **多格式导出** - 以 HAR 和 JSON 格式导出以实现工具兼容性 - **跨平台** - 适用于 Windows、macOS 和 Linux ## 优于 DevTools HAR 导出的地方 Excalibur 相比 Chrome DevTools 内置的 "Export HAR" 功能提供了显著改进： ### 🎯 核心优势 | 功能 | Excalibur | DevTools HAR Export | |---------|-----------|---------------------| | **Cookie Extraction** | 自动按域过滤的 JSON 导出 | 嵌入在 HAR 中，需手动提取 | | **Cross-Tab Recording** | 通过 `webRequest` API 捕获所有标签页 | 仅限单个标签页，DevTools 必须保持打开 | | **Burp Integration** | 包含专用加载器扩展 | 手动导入，无 Cookie 自动化 | | **Session Persistence** | 跨浏览器会话维护状态 | DevTools 关闭/刷新后丢失 | | **Workflow** | 一键开始/停止/导出 | 多步手动流程 | | **Cookie Filtering** | 按记录的域自动过滤 | 所有 Cookie 或手动过滤 | | **Export Format** | 双重：`.har` + `-cookies.json` | 仅 HAR | | **Memory Management** | 1万条目限制 + 定期清理 | 可能消耗过多内存 | | **UI Focus** | 安全测试优化 | 通用调试界面 | | **Background Operation** | Service worker，无需 UI | 需要 DevTools 面板打开 | ### 🔥 关键差异点 **1. 自动 Cookie 提取和过滤** - Excalibur 自动提取 Cookie 并将其过滤为仅包含来自记录流量的域 - 导出为单独的 JSON 文件，便于 Burp 导入 - DevTools 将 Cookie 嵌入 HAR 中，不易提取或按域过滤 **2. 跨所有标签页的后台记录** - 使用 Chrome 的 `webRequest` API 在记录处于活动状态时捕获来自所有标签页的流量 - DevTools 仅捕获其打开的特定标签页中的流量 - 无需保持 DevTools 面板可见 **3. 无缝 Burp Suite 集成** - 包含专用 Burp 扩展 (`excalibur_loader.py`) 用于直接导入 HAR 和 Cookie - 自动将 Cookie 注入 Burp 的 Cookie Jar - DevTools 需要手动导入，无 Cookie 自动化 **4. 安全测试工作流优化** - **Excalibur**: 点击开始 → 解决 CAPTCHA → 点击停止 → 点击导出 → 在 Burp 中加载 - **DevTools**: 打开 DevTools → 导航到 Network → 浏览 → 右键点击 → 导出 → 手动配置 Burp → 手动提取 Cookie **5. 会话状态持久化** - 维护记录状态并提供实时统计信息（请求计数、Cookie 计数） - DevTools 如果关闭或刷新标签页，将丢失所有捕获的数据 **6. 专为 WAF/CAPTCHA 绕过而构建** - 专为安全测试工作流设计，您可以在其中手动解决保护措施，然后导出已验证的会话 - DevTools 是通用调试工具，未针对此用例进行优化 ### 💡 总结 Excalibur 将“解决 CAPTCHA → 捕获流量 → 在 Burp 中测试”的工作流从一个繁琐的多步手动过程转变为专为安全研究人员和漏洞赏金猎人设计的简化自动化流程。 ## 优于其他 HAR 导入扩展的地方 Excalibur 的 Burp 扩展凭借高级安全测试功能远超基本的 HAR 导入器： ### 🚀 高级功能比较 | 功能 | Excalibur | 通用 HAR 导入器 | |---------|-----------|----------------------| | **Request Replay** | 实时 HTTP 重放 (选中/全部) | 仅静态导入 | | **Deduplication** | 带有基于哈希去重的实时切换 | 无去重 | | **Advanced** | 多条件 + 保存的预设 | 基础或无 | | **Workspace Persistence** | 保存/加载整个会话状态 | 无持久化 | | **Token Extraction** | 自动提取 JWT/API 密钥/秘密 | 手动检查 | | **Cookie Management** | 单独查看器 + Burp Jar 导出 | 仅嵌入 | | **Re-Export** | 导出过滤后的 HAR/Cookie | 仅导入 | | **Tool Integration** | Repeater/Intruder/Scanner/cURL | 有限 | | **Performance** | 1万限制 + 线程 + 进度 | 大文件可能卡死 | | **UI/UX** | 现代渐变设计 + 统计 | 基础 Swing UI | ### 🎯 独特能力 **1. 请求重放系统** - 直接从导入的 HAR 数据发出实时 HTTP 请求 - 重放选定的请求或所有请求（带确认） - 实时更新响应 - 其他扩展：仅静态数据 **2. 智能去重** - 使用方法+URL 的 MD5 哈希进行基于切换的去重 - 在分析大型 HAR 文件时减少噪音 - 其他扩展：无去重，需手动清理 **3. 高级过滤和搜索** - 带有 300ms 防抖的实时搜索 - 按方法、状态码范围 (2xx/3xx/4xx/5xx)、主机过滤 - 为重复工作流保存和加载过滤器预设 - 按域和搜索过滤 Cookie - 其他扩展：基础过滤或无 **4. 工作区状态管理** - 保存整个工作区：请求、Cookie、过滤器、统计信息 - HAR/Cookie 导入后自动保存 - 加载工作区以恢复之前的会话 - 带时间戳的导出文件夹 - 其他扩展：无会话持久化 **5. 自动化令牌/秘密提取** - 基于正则表达式的提取： - JWT 令牌 (eyJ...) - API 密钥和访问令牌 - Bearer 令牌 - AWS 访问密钥 (AKIA...) - 密码和秘密 - 自动扫描所有响应 - 其他扩展：需手动 grep **6. 全面的 Cookie 管理** - 带有过滤功能的专用 Cookie 查看器选项卡 - 一键导出到 Burp Cookie Jar - 将 Cookie 导出为 JSON 文件 - 基于域的过滤 - 其他扩展：Cookie 埋藏在 HAR 结构中 **7. 导出过滤后的结果** - 将过滤后的请求重新导出为新的 HAR 文件 - 单独导出 Cookie - 用于分享特定发现 - 其他扩展：仅导入，无导出 **8. 深度 Burp 集成** - 发送到带有自定义选项卡名称的 Repeater - 发送到 Intruder 进行模糊测试 - 触发主动扫描 - 复制为 cURL 命令 - 复制 URL 和原始请求 - 带有右键操作的上下文菜单 - 其他扩展：仅基本导入到 Site Map **9. 性能和可靠性** - 10,000 条目限制及警告 - 10MB 响应体大小限制 - 用于导入的后台线程 - 每 50 个条目记录一次进度 - 定期清理过时数据 - 其他扩展：大文件可能卡死 **10. 现代 UI/UX** - 匹配 Chrome 扩展的基于渐变的设计 - 实时统计仪表板（请求、主机、上次导入） - 分割窗格请求/响应查看器 - 按功能颜色编码的按钮 - 带时间戳的活动日志 - 其他扩展：基础 Swing 表格 ### 🔬 专注于安全测试 **为真实世界工作流设计：** - WAF/CAPTCHA 绕过会话管理 - 已验证的 API 测试 - 令牌/凭证提取 - 用于验证的请求重放 - 用于大型捕获的去重 - 用于重复测试的过滤器预设 **不仅仅是 HAR 导入器：** - 完整的会话分析平台 - 将手动浏览器交互与自动化测试连接起来 - 用于长期任务的会话持久化 - 用于报告和分享的导出功能 ### 💎 总结 虽然其他扩展只是将 HAR 文件导入 Burp 的 Site Map，但 Excalibur 提供了一个完整的安全测试平台，具有重放、去重、令牌提取、工作区持久化和高级过滤功能——将静态 HAR 数据转化为活跃的测试环境。 ## 输出文件 从 Chrome 扩展导出时： - **`excalibur-session-YYYYMMDD-HHMMSS.har`** - HTTP Archive 文件 - 包含所有记录的请求/响应 - 可导入 Burp、ZAP 或其他工具 - 包括标头、Cookie、计时数据 - **`excalibur-session-YYYYMMDD-HHMMSS-cookies.json`** - Cookie 转储 - 来自记录域的所有 Cookie - JSON 格式，易于解析 - 包括域、路径、过期时间、标志 - **`excalibur-session-YYYYMMDD-HHMMSS-replay-studio.json`** - 重放场景 - 预生成的重放候选和变体思路 - 优先用于快速后续测试 - 补充 Burp Repeater/Intruder 工作流 - **`excalibur-session-YYYYMMDD-HHMMSS-insights.json`** - 会话智能 - Time Machine 范围元数据和检查点上下文 - 认证漂移/挑战时间线事件 - 噪音概况和探索热力图/盲点摘要 ## 架构 ``` ┌─────────────────┐ │ Chrome Browser │ │ (User solves │ │ CAPTCHAs) │ └────────┬────────┘ │ webRequest API ↓ ┌─────────────────┐ │ Excalibur │ │ Extension │ │ (background.js)│ └────────┬────────┘ │ Export HAR ↓ ┌─────────────────┐ │ Downloads │ │ .har + .json │ └────────┬────────┘ │ Manual Load ↓ ┌─────────────────┐ │ Burp Suite │ │ Excalibur Tab │ │ (Load Files) │ └────────┬────────┘ │ ├─→ Site Map ✓ └─→ History ✓ ``` ## 使用案例 ### 🎯 WAF 绕过测试 手动导航到受 WAF 保护的站点，解决 CAPTCHA 并完成身份验证，记录具有有效会话的所有请求，导出并加载到 Burp 中进行重放/修改请求测试。 **适用于：** - Cloudflare WAF 绕过研究 - Akamai 安全测试 - 自定义 WAF 规则验证 - 速率限制分析 ### 🔐 多因素身份验证 在浏览器中完成 MFA 流程（短信、TOTP、硬件令牌、推送通知），记录已验证的会话，导出 Cookie 和令牌用于自动化测试工具。 **适用于：** - 银行应用程序安全测试 - 企业 SSO 流程 - OAuth 2.0 调试 - JWT 令牌分析 ### 🤖 受 CAPTCHA 保护的 API 手动解决 CAPTCHA，捕获带有有效 CAPTCHA 令牌的 API 请求，在 Burp 中分析 API 结构，在 CAPTCHA 之后测试漏洞。 **适用于：** - ReCAPTCHA v2/v3 绕过 - hCaptcha 令牌分析 - Cloudflare Turnstile 测试 - 自定义 CAPTCHA 实现 ### 📱 移动应用测试 使用 Chrome DevTools 通过设备端口转发拦截移动流量，记录应用 API 调用，导出到 Burp 进行安全测试，通过修改重放请求。 **适用于：** - Android 应用 API 测试 - iOS 应用流量分析 - 混合应用安全评估 - 移动 API 模糊测试 ### 🔍 会话 Cookie 收集 在 Excalibur 记录所有 Cookie 的同时浏览已验证的应用程序，导出完整的 Cookie 状态以便在其他工具或脚本中重放，在测试会话之间维护会话持久性。 **适用于：** - 基于 Cookie 的认证测试 - 会话固定调查 - CSRF 令牌提取 - 认证流程分析 ### 🌐 API 端点发现 在记录所有 API 调用的同时浏览 Web 应用程序，自动发现隐藏的端点，导出以进行全面的 API 安全评估。 **适用于：** - REST API 枚举 - GraphQL 自省 - 隐藏端点映射 - API Schema 文档 ### 🧪 漏洞赏金研究 快速捕获漏洞赏金目标的已验证会话，导出可用的 Cookie 和会话，用于自动化侦察和漏洞扫描工具。 **适用于：** - 私有程序测试 - 公开漏洞赏金计划 - 时间赏金狩猎效率 - 多目标研究 ## 协同项目 Excalibur 可与您测试工具库中的其他安全工具完美配合： ### [BurpAPISecuritySuite](https://github.com/Teycir/BurpAPISecuritySuite) 一个全面的 Burp Suite 扩展，用于 API 安全测试，与 Excalibur 完美搭配。 **组合工作流：** 1. 使用 Excalibur 捕获已验证的 API 请求和 Cookie 2. 使用 Excalibur 加载器导入 Burp 3. 使用 BurpAPISecuritySuite 进行： - 自动化 API 端点发现 - 参数篡改攻击 - 授权绕过测试 - SQL 注入和 XSS 扫描 - REST/GraphQL 安全评估 **主要优势：** - 无缝集成 - Excalibur 提供会话，BurpAPISecuritySuite 提供测试 - 减少手动配置 - 在 API 测试中自动使用捕获的 Cookie - 更快的漏洞发现 - 结合已验证的访问与自动化扫描 - 全面的安全覆盖 - 从数据捕获到漏洞检测 ### 推荐工具链 ``` ┌─────────────────┐ │ Excalibur │ │ (Session Capture)│ └────────┬────────┘ ↓ ┌─────────────────┐ │ Burp Suite │ │ (Replay/Analyze)│ └────────┬────────┘ ↓ ┌─────────────────┬──────────────────┐ │ BurpAPISecurity │ Other Tools │ │ Suite │ (ZAP, Nuclei) │ └─────────────────┴──────────────────┘ ``` ## 项目结构 ``` Excalibur/ ├── chrome extension/ │ ├── manifest.json # Extension config │ ├── background.js # Service worker (recording) │ ├── popup.html/js # UI popup │ └── devtools.html/js # DevTools panel ├── burp-extension/ │ └── excalibur_loader.py # Burp HAR/Cookie loader ├── CHANGELOG.md # Release notes and change history ├── .amazonq/rules/ # Coding standards │ ├── bug-fixing.md │ ├── error-handling.md │ ├── modular-architecture.md │ └── refactoring.md └── README.md ``` ## 故障排除 ### ❌ 未记录请求 **原因**：记录未开始或浏览器权限问题 **解决方案**： - 确保记录处于活动状态（可见红色停止按钮） - 检查 Chrome 是否具有必要的权限 - 重新加载扩展并重试 ### ❌ HAR 导出无效 **原因**：未记录请求或浏览器下载权限问题 **解决方案**： - 确保在浏览前已开始记录 - 检查请求计数器显示 > 0 个请求 - 验证 Chrome 是否具有下载权限 - 尝试导出到不同的文件夹 ### ❌ Burp 未加载 HAR **原因**：HAR 格式无效或 Jython 未配置 **解决方案**： 1. Burp → **Extensions → Options** 2. 将 **Python Environment** 设置为 Jython standalone JAR 3. 从此处下载：https://www.jython.org/download 4. 配置 Jython 后重新加载扩展 5. 检查 Burp Activity Log 中的错误 ### ❌ Cookie 未导入 **原因**：JSON 格式无效或域不匹配 **解决方案**： - 验证 JSON 文件是否有效 - 检查 Cookie 是否来自记录的域 - 查看 Burp Activity Log 中的具体错误 ## 开发 ### 编码规范 请参阅 `.amazonq/rules/` 中的详细指南： - **bug-fixing.md** - 切勿为了绕过 bug 而简化 - **error-handling.md** - 必须进行显式错误处理 - **modular-architecture.md** - 整洁代码原则 - **refactoring.md** - 持续改进 ### 贡献 1. 遵循 `.amazonq/rules/` 中的编码规范 2. 测试 Chrome 和 Burp 扩展 3. 确保提交中不包含敏感数据 4. 更新 README 以说明新功能 ## 更新日志 有关发布说明和最近更新，请参阅 [CHANGELOG.md](CHANGELOG.md)。 ## 安全披露 有关漏洞报告，请参阅 [SECURITY.md](SECURITY.md)。 ## 许可证 本项目采用 MIT 许可证授权 - 详情请参阅 [LICENSE.md](LICENSE.md)。 ## 作者与署名 由 **Teycir Ben Soltane** 开发 🌐 网站：[teycirbensoltane.tn](https://teycirbensoltane.tn) ## 免责声明 **仅用于授权的安全测试。** 用户有责任遵守适用的法律和法规。仅测试您拥有或获得明确许可测试的系统。

标签：API安全测试, Burp Suite插件, CAPTCHA绕过, Cookie提取, DNS枚举, DNS 解析, HAR文件, HTTP流量分析, MIT开源, Python安全工具, WAF绕过, Web安全, 中间人攻击, 会话管理, 反机器人检测, 安全测试, 手工测试辅助, 攻击性安全, 数据可视化, 流量录制, 浏览器扩展, 私有化部署, 网络安全工具, 蓝队分析, 身份验证绕过, 逆向工具, 防御规避