chatterji/powershell-behavioral-analytics-pipeline

# 行为 PowerShell 威胁检测 ### 使用行为特征工程、统计异常检测和基于 Hadoop 的数据处理的企业网络安全分析 ## 执行摘要 现代企业环境每天都会产生海量的 PowerShell 活动。该组织的 SIEM 平台已经将企业安全遥测数据过滤到每天约 **50,000 次 PowerShell 执行**，需要进行进一步审查。虽然与原始事件量相比这已经大幅减少，但剩余的调查队列仍远超安全分析师实际能够调查的范围。领导层要求团队确定 AI 和行为分析是否能够将这些事件进一步优先级排序，转化为可控的日常工作量。 与组织的红队合作，发现了两个始终与恶意 PowerShell 脚本相关的行为特征： * 异常长的脚本长度 * 异常低的空白字符密度 这些行为特征被整合到一个基于 Hadoop 的分析 pipeline 中，将调查工作量从 **每天 50,000+ 个** 脚本减少到大约 **1--2 个**需要分析师 审查的高风险异常值。 \--- ## 业务挑战 该组织需要： * 每天分析所有 PowerShell 活动 * 优先安排分析师的调查 * 补充现有 SIEM 的能力 * 提高威胁狩猎效率 * 降低运营风险 \--- ## 解决方案概述 该解决方案实施了一个可重复的分析工作流： 企业 PowerShell 日志 → Python 收集 → Hadoop (HDFS) → 特征 工程 → 线性回归 → 残差分析 → 可视化 → 威胁狩猎团队 特征工程包括： * 脚本长度 * 空白字符计数 这些简单但有意义的行为特征将正常的 管理脚本与异常活动区分开来。 \--- ## 每日分析 Pipeline 1. 收集前一天的 PowerShell 日志 2. 加载到 Hadoop 3. 构建分析型 DataFrame 4. 计算行为特征 5. 拟合回归模型 6. 计算残差 7. 识别异常值 8. 生成分析师报告 \--- ## 业务成果 指标 之前 之后 \--- 每日 PowerShell 脚本 800,000+ 50,000+ 需要审查的脚本 50,000+ 1--2 调查量缩减 --- >99.99% \--- ## 运营效益 * 减轻分析师工作量 * 改善优先级排序 * 可解释的分析 * 可扩展的 Hadoop 工作流 * 可重复的每日执行 \--- ## 技术栈 * Python * Hadoop / HDFS * pandas * NumPy * scikit-learn * matplotlib \--- ## 经验教训 * 领域专业知识驱动更好的 AI。 * 特征工程比算法复杂性更重要。 * 简单、可解释的分析通常优于不必要的复杂 模型。 * AI 应该辅助分析师，而不是取代他们。 \--- ## 未来增强 * Isolation Forest * Autoencoders * One-Class SVM * Spark * LLM 辅助分析 * 可解释 AI * 实时流处理 \--- ## 保密性 生产日志、专有代码、主机名、IP 地址和其他 机密组织信息已被刻意排除。 在适当的地方使用了合成的示例。 \--- ## 关于作者 **Devin Chatterji** AI 策略 • 企业分析 • 网络安全分析 • 数据 科学 \--- ## 关键要点 此代码库展示了： * 行为特征工程 * 企业网络安全分析 * 可解释 AI * 基于 Hadoop 的数据处理 * 面向生产的分析 pipeline * 通过可衡量的业务成果体现的 AI 领导力

标签：AMSI绕过, Hadoop, OpenCanary, Python, 大数据分析, 威胁检测, 异常检测, 无后门, 网络安全, 逆向工具, 隐私保护