vedantjoshi654/CertTrace-Automated-SSL-Certificate-Monitoring-Threat-Intelligence-Platform

# CertTrace ### 自动化 SSL 证书监控与威胁情报平台 ## 概述 CertTrace 是一个自动化威胁情报平台，旨在通过监控 SSL/TLS 证书透明度 (CT) 日志，在早期阶段识别可疑域名和钓鱼基础设施。 现代钓鱼活动通常依赖新注册的域名和有效的 SSL 证书来显得合法。传统安全解决方案往往只有在这些威胁变得活跃或被受害者举报后才能识别它们。CertTrace 通过专注于**早期威胁发现**来解决这一挑战，使分析师能够在潜在恶意基础设施刚出现在互联网上时就识别它们。 该平台将实时证书监控、主动 OSINT 搜寻、威胁评分、基础设施富化以及分析师仪表板整合为一个统一的工作流，用于网络安全研究、威胁狩猎和主动安全监控。 ## 为什么选择 CertTrace？ 大多数安全平台回答的是： CertTrace 试图回答的是： CertTrace 不再等待域名被列入黑名单，而是监控新发布的 SSL 证书，并在钓鱼活动大规模爆发之前分析可疑基础设施。 ### 核心优势 * 早期威胁发现，而不仅仅是威胁验证 * 实时证书透明度监控 * 主动的基于 OSINT 的基础设施搜寻 * 自动化专注于钓鱼的威胁评分 * 基础设施富化与关联 * 集成的分析师仪表板 * 集中化 IOC 管理 ## 功能 ### 证书透明度监控 * 实时 CertStream 集成 * 持续的 SSL/TLS 证书监控 * 实时证书事件处理 ### 威胁检测引擎 * 品牌冒充检测 * 误植域名检测 * 同形异义词分析 * 金融关键词检测 * 可疑 TLD 分析 * 基于风险的威胁评分 ### 威胁情报富化 * DNS 解析 * WHOIS 情报 * TLS 指纹识别 * IP 情报 * AlienVault OTX 集成 * Shodan 集成 ### 调查与分析 * IOC 管理 * 调查报告 * 基础设施分析 * 威胁拓扑可视化 * 风险分类 * 分析师笔记与判定 ### 仪表板 * FastAPI 监控仪表板 * Streamlit 分析仪表板 * 实时 WebSocket 更新 * 威胁统计与指标 ## 系统架构 ``` Certificate Transparency Logs │ ▼ CertStream Ingestor │ ▼ Async Queue │ ┌────────────┴────────────┐ │ Worker Pool │ └────────────┬────────────┘ │ ┌─────────────────────┼─────────────────────┐ ▼ ▼ ▼ Threat Scoring Brand Hunting Allowlist Engine Module Filtering │ ▼ Intelligence Enrichment (DNS • WHOIS • TLS • OTX • Shodan) │ ▼ IOC Database │ ┌─────┴─────┐ ▼ ▼ FastAPI Streamlit Dashboard Dashboard ``` ## 项目结构 ``` CERTTRACE/ │ ├── certtrace/ │ ├── ingestor.py │ ├── hunter.py │ ├── worker.py │ ├── scorer.py │ ├── enricher.py │ ├── database.py │ ├── allowlist.py │ ├── reporter.py │ ├── investigator.py │ ├── whois_lookup.py │ ├── shodan_lookup.py │ └── otx_lookup.py │ ├── static/ │ ├── index.html │ ├── app.js │ └── style.css │ ├── data/ │ ├── certtrace.db │ └── tranco_top1m.csv │ ├── logs/ │ └── certtrace.log │ ├── main.py ├── api.py ├── dashboard.py ├── config.py ├── check_db.py ├── requirements.txt ├── protected_targets.txt ├── README.md └── PRODUCTION.md ``` ## 技术栈 ### 后端 * Python * FastAPI * AsyncIO * Uvicorn * WebSockets ### 威胁情报 * CertStream * AlienVault OTX * Shodan * WHOIS * DNS 情报 ### 数据库 * SQLite ### 前端与分析 * Streamlit * HTML * CSS * JavaScript ### 数据处理 * Pandas * TLDExtract * Python-WHOIS * dnspython ## 安装 ### 克隆仓库 ``` git clone https://github.com/yourusername/certtrace.git cd certtrace ``` ### 创建虚拟环境 #### Windows ``` python -m venv venv venv\Scripts\activate ``` #### Linux ``` python3 -m venv venv source venv/bin/activate ``` ### 安装依赖 ``` pip install -r requirements.txt ``` ## 配置 ### 可选环境变量 ``` SHODAN_API_KEY=your_shodan_api_key OTX_API_KEY=your_otx_api_key ``` ### 受保护目标 将组织或品牌添加到： ``` protected_targets.txt ``` 示例： ``` sbi hdfc icici paypal amazon microsoft google ``` ## 运行 CertTrace ### 启动完整平台 ``` python main.py ``` ### 启动 FastAPI 后端 ``` uvicorn api:app --reload ``` ### 启动 Streamlit 仪表板 ``` streamlit run dashboard.py ``` ### 数据库统计 ``` python check_db.py ``` ## 威胁检测工作流 ``` Certificate Event │ ▼ Domain Extraction │ ▼ Domain Analysis │ ▼ Threat Scoring │ ▼ Intelligence Enrichment │ ▼ IOC Creation │ ▼ Database Storage │ ▼ Dashboard Visualization ``` ## 威胁评分方法论 CertTrace 使用多种启发式指标来评估域名： | 指标 | 描述 | | --------------------------- | ----------------------------------- | | 品牌相似度 | 检测冒充尝试 | | 误植域名 | 识别拼写变体 | | 同形异义词分析 | 检测视觉上相似的字符 | | 金融关键词 | 银行和支付相关术语 | | 高风险 TLD | 可疑域名后缀 | | 域名结构 | 异常命名模式 | | 证书特征 | SSL/TLS 元数据分析 | 域名被分类为： | 得分 | 风险等级 | | -------- | ---------- | | 0 – 30 | 低 | | 31 – 60 | 中 | | 61 – 80 | 高 | | 81 – 100 | 严重 | ## 仪表板功能 ### 实时监控 * 实时 IOC 订阅源 * 威胁评分 * 连接状态 * 最近发现 ### 分析 * IOC 分布 * 威胁趋势 * 证书颁发机构分析 * 检测统计 ### 调查 * 域名查询 * 基础设施分析 * WHOIS 信息 * DNS 记录 * 威胁情报关联 ## 示例用例 ### SOC 运营 在攻击变得活跃之前监控新出现的钓鱼基础设施。 ### 威胁狩猎 识别针对组织或行业的可疑域名。 ### 网络犯罪研究 分析用于钓鱼和冒充活动的基础设施。 ### 安全意识 研究域名滥用和证书滥用的趋势。 ## 未来增强 * 基于 Machine Learning 的检测 * SIEM 集成（Wazuh, Splunk, ELK） * Docker 部署 * PostgreSQL 迁移 * 多用户认证 * 自动化告警 * 云部署 * MISP 集成 * STIX/TAXII 支持 * 威胁关联引擎 ## 免责声明 CertTrace 仅用于教育、研究和防御性网络安全目的。该平台旨在支持威胁情报收集、基础设施分析和主动安全监控。用户有责任确保遵守适用的法律、法规和组织政策。 网络安全学生 | 威胁情报爱好者 | OSINT 研究员 如果您觉得这个项目有用，请考虑在 GitHub 上给它点一个 ⭐。

标签：Docker容器, ESC4, Kubernetes, OSINT, SSL证书监控, 威胁情报, 开发者工具, 攻击面发现, 逆向工具, 配置审计, 钓鱼检测