NateBoyle/ML_2Detect_FraudulentTransactions

# IEEE-CIS 欺诈检测：特征工程与 LightGBM 建模 一个专注于特征工程的 IEEE-CIS 欺诈检测数据集项目。主要目标是从原始表格交易数据中识别并构建高信号特征，以提升欺诈检测的性能。 ## 概述 本项目探讨了机器学习模型是否能有效识别欺诈交易，更重要的是，探索了**哪些特征提供了最强的欺诈信号**。 核心工作集中在深度的探索性分析和特征工程上，而非模型的复杂性。许多构建的特征——尤其是针对缺失值的二进制指示器——被证明具有高度的预测性。 **最终结果：** LightGBM 模型使用分层 5 折交叉验证（Stratified 5-Fold Cross-Validation），实现了 **0.85056 的 OOF CV AUC**。 ## 数据集 - **来源：** [IEEE-CIS 欺诈检测](https://www.kaggle.com/competitions/ieee-fraud-detection)（Vesta Corporation） - 两个主要的训练文件通过 `TransactionID` 进行连接： - `train_transaction.csv`（590,540 行 × 394 列） - `train_identity.csv`（144,233 行 × 41 列） - 高度不平衡：约 3.5% 为欺诈交易 - 混合了数值型、类别型和高基数特征 ## 关键特征工程工作 本项目的一个主要重点是系统性地分析各列的欺诈信号强度，并据此创建新特征。 ### 重要技术与发现 - **缺失值信号**：发现的最强模式之一——值的*存在与否*通常比数值本身携带更多的信号。创建了多个二进制的“has_X”特征。 - **距离特征**（`dist1`, `dist2`）：转换为二进制的存在标志（`has_dist1`, `has_dist2`）。 - **M1–M9 列**：创建了二进制标志；保留了高信号的工程版本（如 `m4_checked`, `m6_checked`）。 - **电子邮件域名**：将 `P_emaildomain` 分组为有意义的类别（`p_email_grouped_v2`），并创建了 `r_email_present`。 - **卡片特征**：对 `card3` 和 `card5` 进行了分箱；将 `card4`（发卡机构）和 `card6`（类型）保留为类别。 - **交易时间**（`TransactionDT`）：构建了 `hour` 特征，该特征成为最重要的预测指标之一。 - **设备信息**：将高基数的 `DeviceInfo` 归类为 `deviceinfo_grouped_adv`。 - **地址与 ID 字段**：在有用的地方创建了存在标志并进行了分箱（`id_01`, `id_11`）。 其中许多构建的特征在最终模型中按重要性均位列**顶级特征**之列。 ## 模型与评估 - **算法**：LightGBM（因其原生支持类别特征且在不平衡表格数据上表现优异而被选中） - **验证**：带早停机制的分层 5 折交叉验证 - **评估指标**：ROC AUC（Out-of-Fold） - **结果**：**0.85056 OOF CV AUC** 特征重要性分析证实，原始特征和构建的特征都对预测做出了有意义的贡献。 ## 主要收获 - 缺失值不仅仅是噪声——在本数据集中，它们通常代表了强烈的行为信号。 - 系统的欺诈信号分析（比较值存在与缺失时的欺诈率）是一种有效的特征选择策略。 - 基于时间的特征（尤其是每天的具体时段）在欺诈检测中可能具有高度的预测性。 - LightGBM 能够优雅地处理混合数据类型和缺失值，使其非常适合现实世界中的表格型欺诈问题。 ## 技术栈 - **语言**：Python - **核心库**：pandas, numpy, LightGBM, scikit-learn - **分析**：带有欺诈率分析的自定义特征工程 pipeline ## 项目背景 这是我在全职工作期间完成的一个学校项目。重点在于深思熟虑的特征工程以及理解*为什么*某些特征很重要，而不是一味追求排行榜分数。 **注意**：本仓库侧重于特征工程的方法论和分析过程。最终的建模代码遵循标准的 LightGBM + 分层 K 折交叉验证（Stratified K-Fold）设置。

标签：Apex, LightGBM, 数据科学, 机器学习, 欺诈检测, 特征工程, 资源验证, 逆向工具, 金融风控