rakesh103706/Autonomous-Phishing-Email-Detection-Threat-Intelligence-Platform

# 自主钓鱼邮件检测与威胁情报平台 ## 概述 这是一个企业级钓鱼邮件检测和取证分析平台，利用基于 BERT 的深度学习、威胁情报关联、邮件头取证、URL 分析、行为语言检测以及适配 SIEM 的告警日志，自动执行 SOC 级别的钓鱼调查工作流。 ## 核心功能 * 使用 BERT transformer 模型进行深度学习钓鱼检测 * URL 威胁情报分析（可疑 TLD、IP URL、熵值检查） * 邮件头取证（SPF、DKIM、Reply-To 欺骗检测） * 恶意文件类型的附件风险评估 * 针对社会工程学模式的行为语言学分析 * 用于严重性分类的加权风险评分引擎 * 用于交互式分析的 SOC 风格 Web 仪表板 * 用于 SIEM 接收的 JSON 告警导出（适配 Splunk/ELK） ## 系统架构 传入邮件 → 解析引擎 → 多层检测引擎 (NLP + URL + 邮件头 + 附件 + 行为分析) → 关联与风险评分引擎 → SOC 仪表板 → SIEM 告警日志 ## 技术栈 * Python * Transformers (BERT) * PyTorch * Flask * SpaCy, NLTK * Scikit-learn * tldextract * HTML, CSS (仪表板 UI) ## 项目结构 ``` autonomous-phishing-platform/ ├── data/ ├── models/ ├── engine/ │ ├── nlp_bert_detector.py │ ├── url_threat_intel.py │ ├── header_forensics.py │ ├── attachment_analyzer.py │ ├── linguistic_behavior.py │ ├── risk_scoring_engine.py │ └── siem_logger.py ├── templates/ │ └── soc_dashboard.html ├── siem_logs/ ├── app.py ├── train_bert.py ├── utils.py └── requirements.txt ``` ## 安装说明 1. 克隆代码库 2. 创建虚拟环境 3. 使用 requirements.txt 安装依赖 4. 使用 train_bert.py 训练 BERT 模型 5. 使用 app.py 运行 Flask 仪表板 ## 使用方法 将邮件样本粘贴到仪表板中以接收： * 钓鱼概率评分 * URL 威胁情报结果 * 邮件头欺骗发现 * 附件风险分析 * 最终 SOC 风险严重性分类 ## 输出示例 最终风险评分：57.27 严重性：中等风险 - 可疑 指标：域名冒充、SPF 失败、恶意 URL、紧急凭证请求语言 ## 未来增强计划 * Gmail API 实时监控 * VirusTotal URL 信誉集成 * EML 文件上传解析 * 直接 Splunk HEC 告警推送 ## 作者 NIDURAM RAKESH – 网络安全学生（蓝队 / SOC 方向） LINKEDIN - www.linkedin.com/in/niduram-rakesh-675528219

标签：BERT, DAST, ELK, ESC8, Flask, NLP, PyTorch, URL分析, 人工智能, 企业安全, 凭据扫描, 威胁情报, 开发者工具, 恶意软件分析, 数字取证, 欺骗检测, 深度学习, 用户模式Hook绕过, 社会工程学, 系统调用监控, 网络安全, 网络资产管理, 自动化响应, 自动化脚本, 逆向工具, 邮件取证, 邮件安全, 钓鱼检测, 隐私保护