Jaysolex/ai-soc-log-analyzer

# AI SOC 日志分析器 本项目实现了一个使用 AWS Lambda 和 CloudWatch 的无服务器 SOC 日志分析流水线。它处理日志事件，提取威胁指标，将活动映射到 MITRE ATT&CK 技术，并利用 VirusTotal API 丰富调查结果。该流水线模拟了真实的 SOC 工作流程，包括检测、分类和威胁情报集成。同时减少了 MTTR，提供更快的 IOC 指示并减少手动 SOC 任务。 ## 概述 Lambda 函数通过以下功能对传入日志数据执行自动分析： - IOC 提取，包括 IP 地址、域名和文件哈希 - 基于行为指标的 MITRE ATT&CK 技术映射 - 使用 VirusTotal 进行威胁情报富化 - 用于下游分析和日志记录的结构化 JSON 输出 系统由 CloudWatch Logs 自动触发，无需人工干预即可实现日志的实时摄取和处理。 ## 架构 CloudWatch Logs 到 AWS Lambda 到 IOC 提取到 MITRE 映射到 VirusTotal 富化到结构化 JSON 输出到 S3 存储 此架构模拟了一个用于摄取、检测、富化和存储的云原生 SOC 流水线。 ## 检测与分析逻辑 检测逻辑基于识别可疑行为并将其映射到已知的对抗技术： - 使用可疑标志（如 nop 和 hidden）执行的 PowerShell 映射到 T1059.001 - 检测已知的恶意文件哈希，表明已确认的入侵 - 识别可疑 IP 地址和域名作为网络指标 严重性根据风险分配： - Informational：针对干净的指标 - Medium：针对可疑活动 - High：针对确认的恶意指标 - Critical：针对多个高置信度指标（如恶意哈希和命令与控制 IP） ## 项目结构 | 文件 | 描述 | |------|------------| | lambda_function.py | 用于 IOC 提取、MITRE 映射和威胁情报富化的核心 Lambda 逻辑 | | test_logs.json | 用于测试的样本输入事件 | | README.md | 项目文档 | | screenshots | 执行与验证证据 | ## 示例输入 ``` { "log": "powershell -nop connecting to 8.8.8.8 domain example.com hash d41d8cd98f00b204e9800998ecf8427e" } ``` 示例输出 ``` { "severity": "Informational", "technique": "Unknown", "summary": "SOC analysis with threat intel enrichment", "iocs": { "ips": ["8.8.8.8"], "domains": ["example.com"], "hashes": ["d41d8cd98f00b204e9800998ecf8427e"] }, "threat_intel": { "8.8.8.8": { "malicious": 0, "suspicious": 0, "reputation": "clean" } }, "timestamp": "2026-03-17T" } ``` ## CloudWatch 集成 配置了一个 CloudWatch 日志组 以自动触发 Lambda 函数。 这实现了对传入日志事件的实时处理，无需手动执行。 ## 威胁情报集成 流水线集成了 VirusTotal API 以丰富检测到的指标。每个 IOC 都会被评估并分配： 基于厂商检测的恶意计数 可疑计数 信誉分类，如干净、可疑 或恶意 ## 执行证据 Lambda 执行（启动） 威胁情报输出 这些日志确认了： 成功的 Lambda 调用 IOC 提取与解析 VirusTotal 富化 结构化输出生成 威胁情报集成 该函数集成了 VirusTotal v3 API 以丰富检测到的 IOC。 ## 严重威胁检测模拟 系统使用包含 PowerShell 执行、恶意哈希值和可疑网络指标的模拟攻击进行了测试。 ## 配置 在 Lambda 中设置以下环境变量： 键 值 VT_API_KEY 你的 VirusTotal API 密钥 ## 富化输出 每个 IOC 都会被评估并分配： malicious（厂商检测数量） suspicious（可疑标记数量） reputation（clean、suspicious 或 malicious） ## 严重威胁检测（SOC 模拟） 系统使用包含 PowerShell 执行、已知恶意哈希和可疑网络指标的模拟攻击日志进行了测试。 ## 检测结果 ``` { "severity": "Critical", "technique": "T1059.001", "iocs": { "ips": ["185.220.101.1"], "domains": ["badsite.ru"], "hashes": ["44d88612fea8a8f36de82e1278abb02f"] }, "threat_intel": { "185.220.101.1": { "malicious": 15, "suspicious": 3, "reputation": "malicious" }, "44d88612fea8a8f36de82e1278abb02f": { "malicious": 67, "suspicious": 0, "reputation": "malicious" } }, "s3_upload": { "status": "saved" } } ``` ## 关键成果 - 检测到映射到 MITRE ATT&CK (T1059.001) 的可疑 PowerShell 活动 - 提取了多个 IOC（IP、域名、文件哈希） - 使用 VirusTotal 威胁情报丰富了指标 - 识别出高置信度恶意哈希（67 个厂商检测） - 自动将严重性升级为 Critical - 将结果持久化到 Amazon S3 以供进一步分析 ## SOC 价值 - 通过自动化 IOC 提取减少分析师分类时间 - 利用威胁情报富化提高检测准确性 - 生成适合 SIEM 摄取和关联的结构化输出 - 模拟从摄取到检测和响应的真实 SOC 流水线 - 将警报与 MITRE ATT&CK 对齐，以实现标准化的威胁分类 ## 总结 本项目展示了一个云原生 SOC 流水线，能够进行自动化日志摄取、检测工程、威胁情报富化以及与企业 SOC 操作保持一致的结构化警报生成。

标签：Amazon CloudWatch, Ask搜索, AWS Lambda, BurpSuite集成, Cloudflare, DAST, FTP漏洞扫描, HTTP/HTTPS抓包, IOC 提取, MITRE ATT&CK, MTTR 降低, OpenCanary, Python, S3 存储, T1059.001, VirusTotal, 威胁情报, 子域名暴力破解, 安全编排, 开发者工具, 态势感知, 恶意软件分析, 无后门, 网络安全, 自动化检测, 逆向工具, 隐私保护