Shreya732-debug/serverless-cyber-threat-intelligence

# Serverless 网络威胁情报 Pipeline ## 🚀 项目概述 本项目演示了一个端到端的 Serverless 数据工程 Pipeline，旨在摄取、转换和可视化全球网络威胁情报。通过利用 AWS 云原生服务，该系统将原始网络日志转化为可操作的洞察，实时识别僵尸网络密度和高强度攻击来源。 ## 🛠️ 技术栈 - **云服务提供商：** AWS (S3, Glue, Athena) - **安全环境：** Kali Linux - **编程语言：** Python (Boto3 SDK) - **数据工程：** SQL (Athena Engine), Parquet Storage - **分析与可视化：** Power BI Desktop ## 🏗️ 架构流程 1. **摄取：** 在 Kali Linux 中运行的基于 Python 的自动化脚本，用于获取恶意 IP 数据集并将其推送到 **Amazon S3** 的 "Bronze" 存储桶中。 2. **编目：** **AWS Glue Crawlers** 执行 Schema 发现并更新数据目录。 3. **转换：** **Amazon Athena** 执行 SQL 查询（包括 IP 到整数的转换），对 Geo-IP 数据集执行地理空间连接。 4. **分析：** **Power BI** 通过 ODBC/DSN 桥接进行连接，渲染包含全球威胁地图和散点图异常检测的 SOC 仪表板。 ## 📈 核心可视化 - **全球威胁热点：** 基于地图的攻击来源数量视图。 - **僵尸网络密度分析：** 关联唯一 IP 与威胁强度的散点图，用于区分分布式僵尸网络和针对性攻击。 - **Pipeline 健康审计：** 基于仪表盘的数据充实成功率监控系统。 ## 🔐 安全说明 所有 AWS Access Keys 和敏感凭证已被省略。该 Pipeline 使用 IAM 角色进行安全的跨服务通信。

标签：Amazon Athena, Amazon S3, AWS, AWS Glue, Boto3, C语言, DPI, ETL, HTTP/HTTPS抓包, IP 地址批量处理, JavaCC, Parquet, Power BI, Python, SOC仪表盘, SQL, 僵尸网络分析, 地理空间分析, 多线程, 威胁情报, 安全数据分析, 安全运营中心, 密码管理, 开发者工具, 态势感知, 恶意IP检测, 攻击溯源, 数据工程, 数据流水线, 无后门, 系统审计, 网络信息收集, 网络安全, 网络安全监控, 网络映射, 逆向工具, 隐私保护, 驱动开发