prasanna-vaddeman/email-threat-intelligence

# 邮件威胁情报平台        ## ⚡ 快速开始 ### 运行 Backend API ``` cd backend uvicorn main:app --reload # Backend API: http://localhost:8000 # Swagger UI: http://localhost:8000/docs ``` ### 运行 Frontend Dashboard ``` cd frontend streamlit run app.py # Dashboard: http://localhost:8501 ``` ### 使用 Docker 运行 Full Stack ``` docker-compose up --build ``` ## 📋 概述 **Email Threat Intelligence Platform**（邮件威胁情报平台）是一个全面的端到端机器学习和网络安全分析系统，旨在实时检测、分类和分析基于电子邮件的威胁。该平台以生产级架构和可观测性为核心，结合了先进的 NLP 技术和混合威胁情报机制，提供企业级电子邮件安全智能。 ### 核心能力 - **多类别威胁检测**：同时进行垃圾邮件和钓鱼邮件分类，并提供概率置信度评分 - **可解释的 AI 风险评分**：具有特征级可解释性的透明风险评估 - **实时威胁情报引擎**：针对新兴威胁向量的基于模式的检测 - **可观测性与监控**：全面的漂移检测、预测日志记录和安全分析 - **生产就绪架构**：模块化、可扩展的设计，在 ML、API 和前端层之间实现关注点分离 ### 技术栈亮点 该平台结合了： - **机器学习**：使用 Scikit-learn 随机森林分类器进行 TF-IDF 向量化 - **NLP 预处理**：基于 NLTK 的分词、词干提取和电子邮件解析管道 - **Backend API**：具有 Pydantic 验证和异步支持的 FastAPI - **Frontend Dashboards**：具有实时分析和监控功能的 Streamlit - **数据处理**：使用 Pandas 进行特征工程和聚合 - **可视化**：使用 Matplotlib 生成出版级质量的安全分析图表 - **模型序列化**：使用 Joblib 进行高效的工件管理 ## 🎯 项目目标 本平台通过提供以下功能来解决现代电子邮件安全中的关键缺口： 1. **可解释的威胁检测** – 超越黑盒模型，提供可解释的风险评分机制 2. **全面的威胁情报** – 检测超越传统模式匹配的复杂网络钓鱼策略 3. **运营可观测性** – 监控模型性能，检测漂移并维护合规性审计追踪 4. **可扩展的安全基础设施** – 支持高吞吐量电子邮件处理的企业级架构 5. **安全分析** – 通过 PowerBI 风格的仪表板和实时监控提供可操作的情报 ## ✨ 核心功能 ### 1. **威胁检测引擎** #### 垃圾邮件检测 - 利用 TF-IDF 向量化和随机森林集成方法的二分类 - 从电子邮件标头、正文内容和元数据中进行特征工程 - 基于概率的置信度评分与阈值优化 #### 钓鱼邮件检测 - 多维度的钓鱼模式识别 - 结合统计 ML 与基于启发式的威胁模式的混合智能 - 域名信誉评估和 URL 分析 ### 2. **混合威胁情报系统** 涵盖以下内容的高级模式检测： | 威胁类别 | 检测机制 | |---|---| | **钓鱼关键词** | 域名操纵、凭证收集短语、紧急性触发器 | | **紧急策略** | 时间敏感的语言分析、人为设定的最后期限检测 | | **URL 威胁** | 可疑域名模式、同形异义字攻击、重定向链 | | **HTML 利用** | 恶意标签检测、iframe 注入、混淆模式 | | **身份验证绕过** | SPF/DKIM/DMARC 标头验证和欺骗检测 | | **文本操纵** | 过度使用大写字母、滥用标点符号、不可见字符 | ### 3. **NLP 与向量化管道** - **预处理**：分词、词干提取、词形还原、停用词移除 - **特征工程**：具有可配置 n-gram 范围的 TF-IDF 向量化 - **维度优化**：针对性能调整词汇表大小 - **语言规范化**：电子邮件标头解析和正文提取 ### 4. **可解释 AI 框架** - 随机森林预测的特征重要性可视化 - 包含影响因素的风险评分分解 - 置信区间估计 - 用于监管合规的单次预测审计追踪 ### 5. **实时监控与漂移检测** - **模型性能跟踪**：准确率、精确率、召回率、F1-score 指标 - **数据漂移检测**：统计分布偏移分析 - **预测日志记录**：带有时间戳和置信度分数的综合遥测 - **警报机制**：针对性能下降的基于阈值的警告 ### 6. **多层仪表板套件** #### 安全分析仪表板 - 威胁等级分布和严重性热力图 - 带有百分位分析的风险评分直方图 - 模型置信度分布分析 - 时间趋势和异常指标 #### 监控中心 - 实时预测遥测流 - 模型健康指标和性能 KPI - 带有统计显著性的漂移检测指标 - 系统资源利用率跟踪 #### 威胁情报仪表板 - 垃圾邮件与正常邮件的分类分析 - 钓鱼策略频率分析 - 新兴威胁模式检测 - 威胁的地理分布（基于 IP） ## 📸 仪表板演示 ### 🛡️ 威胁检测仪表板 用于电子邮件分析和威胁分类的主要界面。用户可以上传电子邮件并立即获得带有可解释风险评分的威胁评估。  **显示的功能**： - 电子邮件上传界面 - 实时威胁分类结果 - 风险评分可视化（0-100 分制） - 检测到的威胁指标 - 特征重要性分解 - 可解释 AI 评分解释 ### 📈 安全分析仪表板 PowerBI 风格的分析仪表板，提供全面的威胁环境可视化和历史趋势分析。  **显示的指标**： - 垃圾邮件与正常邮件的分类分布 - 带有百分位区间的风险评分直方图 - 模型置信度分数分析 - 随时间变化的威胁等级分布 - 主要威胁指标和模式 - 异常检测标记 - 时间趋势分析 ### 🖥️ AI 监控中心 面向 ML 工程师和 DevOps 团队的生产监控仪表板，用于跟踪模型健康状况、性能和系统状态。  **监控组件**： - 实时预测遥测流 - 模型性能指标（准确率、精确率、召回率、F1） - 预测延迟跟踪（p50、p95、p99） - 数据漂移检测指标 - 系统资源利用率（CPU、内存） - API 健康状况和错误率 - 警报管理和事件日志 ## 🏗️ 架构 ### 系统设计理念 该平台遵循**微服务原则**，具有清晰的关注点分离： ``` ┌─────────────────────────────────────────────────────────────┐ │ Frontend Layer │ │ (Streamlit Dashboard & Monitoring) │ └────────────────┬────────────────────────────────────────────┘ │ ┌────────────────▼────────────────────────────────────────────┐ │ FastAPI Backend Layer │ │ (REST API Routing & Request Orchestration) │ └────────────────┬────────────────────────────────────────────┘ │ ┌────────────┴────────────┬──────────────────┐ │ │ │ ┌───▼────────┐ ┌────────────▼────┐ ┌──────────▼───┐ │ ML Engine │ │ Threat Analyzer │ │ Monitoring │ │ │ │ (Hybrid Engine) │ │ & Logging │ └────────────┘ └─────────────────┘ └──────────────┘ │ │ │ └───────────────────┴───────────────────┘ │ ┌─────────▼──────────┐ │ Persistence Layer │ │ (Logs, Models, │ │ Predictions) │ └────────────────────┘ ``` ### 分层架构组件 #### **核心 ML 层** - 模型训练和推理管道 - 特征预处理和向量化 - 威胁情报模式引擎 - 风险评分算法 #### **API 层** - 具有 Pydantic 验证的 RESTful 端点设计 - 请求/响应序列化 - 错误处理和优雅降级 - 速率限制和安全标头 #### **前端层** - 基于上传的电子邮件分析界面 - 实时预测仪表板 - 安全分析可视化 - 系统健康监控 #### **监控与可观测性层** - 预测遥测收集 - 模型漂移检测算法 - 性能指标聚合 - 合规性日志记录和审计追踪 #### **持久化层** - 模型序列化 - 日志聚合和存储 - 预测历史管理 - 配置管理 ## 📊 数据流与工作流 ### 端到端处理管道 ``` User Input (Email) │ ├─→ [Backend API - Email Validation & Parsing] │ ├─→ [NLP Preprocessing] │ ├─ Header extraction │ ├─ Body normalization │ ├─ URL extraction │ └─ HTML parsing │ ├─→ [Feature Engineering] │ ├─ TF-IDF vectorization │ ├─ Threat indicator detection │ ├─ Domain analysis │ └─ SPF/DKIM/DMARC validation │ ├─→ [Threat Detection] │ ├─ Spam Classifier (Random Forest) │ ├─ Phishing Classifier (Random Forest) │ └─ Hybrid Threat Intelligence Engine │ ├─→ [Risk Scoring & Explainability] │ ├─ Score calculation │ ├─ Confidence estimation │ └─ Feature importance extraction │ ├─→ [Prediction Logging] │ ├─ Result serialization │ ├─ Telemetry recording │ └─ Audit trail creation │ └─→ [Output Visualization] ├─ Frontend dashboard update ├─ Real-time monitoring feed └─ Alert generation (if applicable) ``` ### 实时监控工作流 ``` Predictions → Telemetry Buffer → Drift Detection ├─ Distribution analysis ├─ Performance metrics └─ Alert triggers ``` ## 🛠️ 技术栈 ### 核心 ML 与数据处理 | 组件 | 技术 | 用途 | |---|---|---| | 机器学习 | Scikit-learn | 集成分类器和特征工程 | | NLP 处理 | NLTK | 分词、词干提取、语言分析 | | 数据操作 | Pandas | 数据清理、聚合、管道管理 | | 向量化 | TF-IDF (Scikit-learn) | 从文本中提取特征 | | 模型序列化 | Joblib | 高效的模型持久化和加载 | ### 后端与 API | 组件 | 技术 | 用途 | |---|---|---| | Web 框架 | FastAPI | 具有异步支持的高性能 REST API | | 数据验证 | Pydantic | 请求/响应模式验证 | | ASGI 服务器 | Uvicorn | 生产级 ASGI 应用服务器 | ### 前端与可视化 | 组件 | 技术 | 用途 | |---|---|---| | 仪表板 UI | Streamlit | 具有实时更新的交互式 Web 界面 | | 数据可视化 | Matplotlib | 出版级质量的统计图形 | | 分析 | Pandas + Matplotlib | 时间序列分析和趋势可视化 | ### DevOps 与基础设施 | 组件 | 技术 | 用途 | |---|---|---| | 容器化 | Docker | 一致的部署环境 | | 编排 | Docker Compose | 多容器应用程序管理 | | 监控 | Python Logging | 结构化日志记录和可观测性 | ## 📁 项目结构 ``` email-threat-intelligence-platform/ │ ├── README.md # This file ├── requirements.txt # Python dependencies ├── .env.example # Environment configuration template │ ├── assets/ # Documentation Assets │ ├── dashboard.png # Threat detection dashboard screenshot │ ├── analytics.png # Security analytics dashboard screenshot │ └── monitoring.png # AI monitoring center screenshot │ ├── backend/ # FastAPI Backend Service │ ├── main.py # FastAPI application entry point │ ├── config.py # Configuration management │ ├── requirements.txt # Backend dependencies │ │ │ ├── api/ │ │ ├── __init__.py │ │ ├── routes.py # REST endpoint definitions │ │ ├── schemas.py # Pydantic request/response models │ │ └── dependencies.py # Dependency injection │ │ │ ├── core/ │ │ ├── __init__.py │ │ ├── ml_pipeline.py # ML inference pipeline │ │ ├── threat_analyzer.py # Hybrid threat intelligence engine │ │ ├── preprocessing.py # NLP preprocessing utilities │ │ ├── feature_engineering.py # Feature extraction and vectorization │ │ └── vectorizer.py # TF-IDF vectorization wrapper │ │ │ ├── models/ │ │ ├── __init__.py │ │ ├── spam_detector.py # Spam classification model │ │ ├── phishing_detector.py # Phishing classification model │ │ └── ensemble.py # Model ensemble and orchestration │ │ │ └── monitoring/ │ ├── __init__.py │ ├── logger.py # Structured prediction logging │ ├── metrics.py # Performance metric calculation │ ├── drift_detector.py # Data and model drift detection │ └── telemetry.py # Real-time telemetry collection │ ├── frontend/ # Streamlit Frontend Application │ ├── app.py # Streamlit main application │ ├── config.py # Frontend configuration │ ├── requirements.txt # Frontend dependencies │ │ │ ├── pages/ │ │ ├── __init__.py │ │ ├── home.py # Landing page │ │ ├── upload_analysis.py # Email upload and analysis interface │ │ ├── security_analytics.py # Security analytics dashboard │ │ ├── monitoring_center.py # Real-time monitoring dashboard │ │ └── threat_intelligence.py # Threat pattern analysis │ │ │ └── utils/ │ ├── __init__.py │ ├── api_client.py # FastAPI backend client │ ├── visualization.py # Chart and graph utilities │ └── formatters.py # Data formatting helpers │ ├── monitoring/ # Observability & Monitoring Layer │ ├── __init__.py │ ├── collector.py # Metrics collection │ ├── analyzer.py # Drift and anomaly analysis │ ├── alert_manager.py # Alert generation and management │ └── exporter.py # Metrics export and storage │ ├── models/ # Pre-trained Model Artifacts │ ├── spam_classifier_model.pkl # Trained spam detector (Joblib) │ ├── phishing_classifier_model.pkl # Trained phishing detector (Joblib) │ ├── vectorizer_model.pkl # Fitted TF-IDF vectorizer │ ├── scaler_model.pkl # Feature scaler (if applicable) │ └── model_metadata.json # Model versioning and metadata │ ├── notebooks/ # Jupyter Notebooks (Research & EDA) │ ├── 01_eda_email_dataset.ipynb │ ├── 02_feature_engineering.ipynb │ ├── 03_model_training.ipynb │ ├── 04_model_evaluation.ipynb │ └── 05_threat_intelligence_analysis.ipynb │ ├── data/ │ ├── raw/ # Raw email dataset (confidential) │ │ └── email_samples.csv │ │ │ └── processed/ # Preprocessed and engineered features │ ├── train_features.csv │ ├── test_features.csv │ └── validation_features.csv │ ├── logs/ # Application Logs & Telemetry │ ├── predictions.log # Prediction telemetry │ ├── system.log # System and application logs │ ├── errors.log # Error logs with stack traces │ └── drift_detection.log # Drift detection events │ ├── docker-compose.yml # Multi-container orchestration ├── Dockerfile.backend # Backend container definition ├── Dockerfile.frontend # Frontend container definition │ └── .gitignore # Git ignore patterns ``` ### 目录职责 | 目录 | 用途 | |---|---| | `backend/` | 带有 ML 推理管道的 FastAPI REST API | | `frontend/` | Streamlit 交互式仪表板和 UI | | `monitoring/` | 漂移检测、指标收集、可观测性 | | `models/` | 序列化的 ML 模型和向量化器 | | `notebooks/` | 探索性分析和模型开发 | | `data/` | 原始和处理后的数据集 | | `logs/` | 应用程序遥测和审计追踪 | | `assets/` | 文档资产（截图、图表） | ## 🚀 安装与设置 ### 前置条件 - **Python 3.9+** - **pip** 或 **conda** 用于包管理 - **Docker 和 Docker Compose**（可选，用于容器化部署） - **4GB+ 内存**用于模型推理 - **2GB+ 磁盘空间**用于存储模型和日志 ### 本地开发设置 #### 1. 克隆代码库 ``` git clone https://github.com/yourusername/email-threat-intelligence-platform.git cd email-threat-intelligence-platform ``` #### 2. 创建虚拟环境 ``` python -m venv venv source venv/bin/activate # On Windows: venv\Scripts\activate ``` #### 3. 安装依赖项 ``` pip install -r requirements.txt ``` #### 4. 配置环境变量 ``` cp .env.example .env # 使用你的配置编辑 .env ``` #### 5. 验证模型工件 确保预训练模型存在于 `models/` 目录中： ``` ls -la models/ # 应包含： # - spam_classifier_model.pkl # - phishing_classifier_model.pkl # - vectorizer_model.pkl ``` #### 6. 运行应用程序组件 **Backend API**（终端 1）： ``` cd backend uvicorn main:app --host 0.0.0.0 --port 8000 --reload ``` **Frontend Dashboard**（终端 2）： ``` cd frontend streamlit run app.py --server.port 8501 ``` **访问端点**： - Frontend: http://localhost:8501 - Backend API: http://localhost:8000 - API 文档: http://localhost:8000/docs (Swagger UI) ### Docker 部署 #### 使用 Docker Compose 构建并运行 ``` docker-compose up --build ``` 服务将在以下地址可用： - Frontend: http://localhost:8501 - Backend API: http://localhost:8000 ## 💻 使用指南 ### 1. Web 界面（Streamlit Frontend） #### 电子邮件威胁分析 1. 导航至 **Upload & Analyze**（上传与分析）页面 2. 上传电子邮件 (.eml) 或粘贴电子邮件内容 3. 系统自动处理并返回： - **垃圾邮件分类**：二分类 + 置信度 - **钓鱼邮件分类**：二分类 + 置信度 - **威胁情报评分**：0-100 风险等级 - **特征重要性**：对预测有贡献的因素 - **建议**：安全行动项 #### 安全分析仪表板 - **威胁分布**：可视化垃圾邮件与钓鱼邮件的分布 - **风险评分分析**：直方图和百分位分析 - **时间**：监控随时间变化的威胁模式 - **地理热力图**：威胁来源识别 #### 监控中心 - **实时遥测**：实时预测流 - **模型健康度**：性能指标和准确率趋势 - **漂移检测**：统计分布偏移警报 - **系统状态**：资源利用率和正常运行时间 ### 2. REST API（FastAPI Backend） #### 分析单个电子邮件 ``` curl -X POST "http://localhost:8000/api/v1/analyze" \ -H "Content-Type: application/json" \ -d '{ "email_content": "...", "email_headers": "From: ...", "request_id": "uuid-here" }' ``` **响应**： ``` { "request_id": "uuid-here", "spam_prediction": { "class": "ham", "confidence": 0.98, "risk_score": 5 }, "phishing_prediction": { "class": "legitimate", "confidence": 0.95, "risk_score": 8 }, "threat_intelligence": { "phishing_keywords": false, "urgency_tactics": true, "suspicious_urls": 1, "authentication_issues": false }, "overall_risk_score": 18, "feature_importance": {...}, "timestamp": "2024-01-15T10:30:00Z" } ``` #### 批量分析 ``` curl -X POST "http://localhost:8000/api/v1/batch_analyze" \ -H "Content-Type: application/json" \ -d '{ "emails": [ {"email_content": "...", "email_headers": "..."}, {"email_content": "...", "email_headers": "..."} ] }' ``` #### 健康与监控端点 ``` # 系统健康检查 curl "http://localhost:8000/health" # Model 性能指标 curl "http://localhost:8000/api/v1/metrics" # Drift 检测状态 curl "http://localhost:8000/api/v1/drift_status" # Prediction 遥测 curl "http://localhost:8000/api/v1/telemetry?window=24h" ``` #### API 文档 交互式 Swagger UI 可用地址：`http://localhost:8000/docs` ## 📈 仪表板与监控 ### 1. 安全分析仪表板 **功能**： - 实时威胁分类分布 - 带有百分位区间的风险评分直方图 - 置信度分数分布分析 - 按时间段划分的威胁等级热力图 - 主要威胁指标和模式 - 异常检测标记 **用例**：安全运营团队审查每日威胁态势 *有关视觉演示，请参见上面的 [安全分析仪表板](#-security-analytics-dashboard)* ### 2. 监控中心 **跟踪的指标**： - 模型准确率、精确率、召回率、F1-score - 预测延迟（p50、p95、p99） - 数据漂移指标（统计测试） - 系统资源利用率（CPU、内存） - API 响应时间和错误率 - 预测量和吞吐量 **触发的警报**： - 模型准确率降至阈值以下 - 检测到数据分布偏移 - 推理延迟超过 SLA - API 错误率超过容差 - 磁盘空间严重不足 **用例**：ML 工程师监控模型健康状况和生产稳定性 *有关视觉演示，请参见上面的 [AI 监控中心](#-ai-monitoring-center)* ### 3. 威胁情报仪表板 **显示内容**： - 钓鱼策略频率（紧急性、权威性等） - 新兴威胁模式检测 - URL 威胁分类趋势 - HTML/JavaScript 恶意软件指标 - 身份验证绕过尝试率 - 时间趋势分析 **用例**：威胁情报团队识别不断演变的攻击模式 ## 🔍 漂移检测与监控 ### 已实现的漂移检测机制 #### 数据漂移检测 ``` Statistical Distribution Analysis: ├─ Kolmogorov-Smirnov Test (KS-test) ├─ Jensen-Shannon Divergence ├─ Chi-Square Test (categorical features) └─ Hellinger Distance ``` #### 模型性能漂移 ``` Continuous Metric Monitoring: ├─ Accuracy degradation tracking ├─ Precision/Recall imbalance detection ├─ Confidence calibration drift └─ Prediction distribution shift ``` #### 触发器与操作 - **警报级别**：检测到漂移，置信度 < 0.80 - **警告级别**：性能下降趋势 - **严重级别**：建议重新训练模型 ### 监控仪表板指标 - 漂移分数（0-100 分制） - 统计显著性（p 值） - 建议的操作项 - 模型重新训练建议 ## 📊 分析与预测日志 ### 预测遥测模式 每次预测都会记录以下内容： ``` { "timestamp": "ISO-8601", "request_id": "UUID", "email_metadata": { "sender": "hashed_value", "recipient_count": "int", "attachment_count": "int" }, "predictions": { "spam_score": "float", "phishing_score": "float", "overall_risk": "int" }, "model_confidence": "float", "feature_vector_size": "int", "processing_time_ms": "float", "threat_intelligence_flags": {} } ``` ### 日志聚合 - **预测日志**：包含特征的完整预测历史 - **系统日志**：应用程序事件和性能指标 - **漂移日志**：数据/模型漂移检测事件 - **错误日志**：堆栈跟踪和故障分析 ### 分析用例 - 历史威胁趋势分析 - 模型性能下降检测 - 特征重要性稳定性监控 - 用户行为和电子邮件模式分析 - 合规性和审计追踪生成 ## 🔐 安全与合规 ### 数据隐私 - 电子邮件内容在内存中处理；不持久存储原始电子邮件 - 日志中的发件人/收件人信息已进行哈希处理 - 遥测中的 PII 检测和掩码处理 - 符合 GDPR 的数据保留策略 ### 模型安全 - 模型工件经过加密签名 - 带有校验和的版本控制 - 模型更新的访问控制 - 所有修改的审计追踪 ### API 安全 - 输入验证（Pydantic 模式） - 速率限制和 DDoS 防护 - 用于前端通信的 CORS 配置 - 安全标头（HSTS、CSP、X-Frame-Options） - 请求/响应加密（生产环境中使用 HTTPS） ### 合规性日志记录 - 完整的预测审计追踪 - 模型决策解释 - 性能指标跟踪 - 符合法规的数据保留 ## 🎯 未来增强与路线图 ### 阶段 2：高级威胁情报 - [ ] **零日检测**：基于异常检测的新型网络钓鱼向量 - [ ] **社会工程学分析**：行为和心理触发检测 - [ ] **附件扫描**：基于 ML 的恶意软件概率估计 - [ ] **发件人信誉评分**：历史分析和行为模式 ### 阶段 3：可扩展性与基础设施 - [ ] **Kubernetes 部署**：生产级编排 - [ ] **模型服务**：大规模下小于 100 毫秒的推理 - [ ] **分布式处理**：基于 Spark 的批量威胁分析 - [ ] **多区域部署**：全球威胁情报共享 ### 阶段 4：智能与集成 - [ ] **威胁情报源集成**：STIX/TAXII 协议支持 - [ ] **SIEM 集成**：Splunk、ELK Stack 连接器 - [ ] **电子邮件网关集成**：Postfix、Sendmail 插件 - [ ] **GraphQL API**：高级查询功能 ### 阶段 5：高级 ML - [ ] **深度学习模型**：基于 LSTM/Transformer 的网络钓鱼检测 - [ ] **迁移学习**：利用预训练的 NLP 模型（BERT、GPT） - [ ] **联邦学习**：保护隐私的协作威胁情报 - [ ] **主动学习**：人在回路的模型改进 ### 阶段 6：可解释性与可信度 - [ ] **LIME 集成**：局部可解释的模型解释 - [ ] **SHAP 值**：基于 Shapley 的特征贡献分析 - [ ] **反事实解释**：针对预测的“假设”分析 - [ ] **模型卡片生成**：透明的模型文档 ## 📚 模型训练与开发 ### 训练管道 **数据准备**： 1. 电子邮件数据集收集和标记 2. 特征提取和工程 3. 训练/测试/验证集划分 (70/15/15) 4. 类别不平衡处理（如适用，使用 SMOTE） **模型训练**： ``` # 参见 notebooks/03_model_training.ipynb from sklearn.ensemble import RandomForestClassifier from sklearn.pipeline import Pipeline pipeline = Pipeline([ ('vectorizer', TfidfVectorizer(...)), ('classifier', RandomForestClassifier(n_estimators=200, ...)) ]) pipeline.fit(X_train, y_train) joblib.dump(pipeline, 'models/spam_classifier_model.pkl') ``` **模型评估**： - 交叉验证分数 - ROC-AUC 曲线 - 混淆矩阵 - 分类报告 - 校准曲线 **Jupyter Notebooks**（参见 `notebooks/` 目录）： - `01_eda_email_dataset.ipynb`：数据集探索 - `02_feature_engineering.ipynb`：特征提取演练 - `03_model_training.ipynb`：模型训练和超参数调整 - `04_model_evaluation.ipynb`：性能分析 - `05_threat_intelligence_analysis.ipynb`：模式检测验证 ## 📦 部署就绪 ### 生产检查清单 - [x] 具有清晰关注点分离的模块化架构 - [x] 全面的错误处理和优雅降级 - [x] 结构化日志记录和可观测性 - [x] 模型版本控制和工件管理 - [x] 漂移检测和监控机制 - [x] 安全强化（输入验证、速率限制） - [x] API 文档（Swagger/OpenAPI） - [x] Docker 容器化以保持一致性 - [x] 性能基准测试和优化 - [x] 可扩展性设计模式 ### 性能指标 | 指标 | 目标 | 当前 | |---|---|---| | API 延迟 (p99) | <200ms | ~150ms | | 模型推理 | <100ms | ~80ms | | 仪表板响应 | <500ms | ~400ms | | 吞吐量 | 1000+ req/s | 测试达 5000+ req/s | | 模型准确率 | >95% | 97.2% (垃圾邮件), 94.8% (钓鱼邮件) | | 可用性 | 99.9% | 经过生产测试 | ### 基础设施要求 **最低配置**： - 2 个 vCPU - 4GB 内存 - 20GB 存储 **推荐配置**： - 4+ 个 vCPU - 8GB+ 内存 - 50GB+ 存储（用于日志/历史记录） **负载测试**： - 持续负载：100+ 并发请求 - 突发负载：1000+ req/s - 无数据丢失；优雅的队列管理 ## 🧪 测试与质量保证 ### 单元测试 ``` pytest backend/tests/ -v --cov=backend/core ``` ### 集成测试 ``` pytest backend/tests/integration/ -v ``` ### API 契约测试 ``` pytest backend/tests/api/ -v ``` ### 性能基准测试 ``` python -m pytest backend/tests/performance/ --benchmark-only ``` ## 📖 文档 ### 代码文档 - 文档字符串遵循 Google 风格指南 - 整个代码库中的类型提示 - 模块级文档 ### API 文档 - **交互式 Swagger UI**：http://localhost:8000/docs - **ReDoc**：http://localhost:8000/redoc - OpenAPI 3.0 规范 ### 架构文档 有关详细的系统设计，请参见上面的 **架构** 部分 ## 🤝 贡献 欢迎贡献！请遵循以下准则： 1. **代码风格**：PEP 8，最大行长 100 2. **类型提示**：所有函数必需 3. **测试**：保持 >80% 的覆盖率 4. **文档字符串**：Google 风格指南 5. **提交信息**：常规提交格式 ``` git checkout -b feature/your-feature # 进行更改 pytest # Run tests git commit -m "feat: description of change" git push origin feature/your-feature ``` ## 📝 许可证 本项目基于 MIT 许可证授权 - 详见 LICENSE 文件。 ## 📞 支持与联系 如有问题、疑问或功能请求： - **Issues**：GitHub Issues (https://github.com/yourusername/email-threat-intelligence-platform/issues) - **讨论**：GitHub Discussions - **电子邮件**：support@yourcompany.com ## 🙏 致谢 本平台利用了以下技术： - Scikit-learn 提供强大的 ML 算法 - NLTK 提供 NLP 功能 - FastAPI 用于高性能 API 开发 - Streamlit 用于快速仪表板开发 ## 🔄 版本历史 ### v1.0.0（当前版本） - 首个生产版本 - 垃圾邮件和钓鱼邮件检测 - 混合威胁情报引擎 - 实时监控和漂移检测 - 综合仪表板套件 - 多层安全分析 ### 即将发布：v1.1.0 - 增强的深度学习模型 (LSTM/Transformers) - SIEM 集成 (Splunk, ELK) - 高级可解释性功能 (SHAP, LIME) - Kubernetes 部署支持 ### 计划中：v2.0.0 - 零日威胁检测 - 社会工程学分析 - 电子邮件网关集成 - GraphQL API 支持 **最后更新**：2024 年 1 月 **维护者**：ML 安全团队 **状态**：生产就绪 ✅ ## 👨‍💻 作者与贡献者 **Prasanna Kumar** 机器学习工程师 | 数据科学与网络安全专家 本项目展示了： - 端到端的 ML 工程卓越性 - 生产级架构和设计模式 - 先进的 NLP 管道和特征工程 - 全面的监控与可观测性 - AI 驱动的安全分析和威胁情报 - 模块化的后端/前端设计原则 - 面向受监管环境的可解释 AI 系统

标签：Apex, API开发, AV绕过, Docker, FastAPI, Kubernetes, masscan, NLP, Python, Scikit-learn, Streamlit, 企业安全, 前后端分离, 可解释AI, 垃圾邮件检测, 多分类检测, 威胁情报平台, 安全防御评估, 实时分析, 异常检测, 无后门, 机器学习, 生产就绪, 网络安全, 网络资产管理, 网络钓鱼检测, 访问控制, 请求拦截, 逆向工具, 邮件安全, 随机森林, 隐私保护