mah-trigui/multisim-detection-telecom

# 多卡检测 — 电信行为分析 一个电信多卡检测项目，展示了无监督聚类如何发现隐藏的行为模式，以及行为假设如何指导从发现到生产评分的整个 pipeline。 ## 项目网站 [查看项目网站](https://mah-trigui.github.io/multisim-detection-telecom/) ## 概述 本项目为一家电信运营商构建了一个可用于生产环境的多卡（Multi-SIM）检测系统。其目标是识别在不同运营商之间使用多张 SIM 卡的订阅用户——这是一种具有显著经济影响但在任何单一数据库字段中却不可见的行为。 针对这种情况，数据库中没有标识位。没有真实值。也没有标签。 主要的难点并不在于模型，而在于标签构建 pipeline： - 定义关于 Multi-SIM 使用在网络轨迹中应呈现何种模样的行为假设 - 使用无监督聚类，并非为了划分整个用户群——而是为了隔离出一种行为表型 - 构建任何单一数据领域都无法单独提供的多源特征 - 根据呼叫中心的真实情况验证所发现的模式 - 通过可解释的规则，将无监督发现与有监督的生产评分连接起来 该项目结合了四个数据领域（使用情况、社交图谱、手机设备、地理定位）、多次聚类迭代、呼叫中心验证、跨越数月的数据增强，以及专为提取业务可读规则而设计的决策树。 ## 核心 Pipeline 模式 在提问之前： - 使用哪种聚类方法 - 如何优化模型准确率 本项目首先提出的问题是： - 当不存在标签时，我们如何构建目标？ - 无监督聚类能否隔离出一个隐藏的行为模式，而不是对整个用户群进行划分？ - 哪些行为假设应该指导整个发现过程？ - 我们如何将发现的聚类转化为业务可用的操作规则？ 这使得 Multi-SIM 检测变成了一个多阶段系统： 1. 行为假设设计 2. 多源分析基础表 (ABT) 构建 3. 无监督表型隔离（迭代聚类 A → G） 4. 呼叫中心验证与标签引导 5. 规则提取与业务阈值调整 6. 有监督决策树训练 7. 全量用户的每月生产评分 ## 架构  📋 [查看详细的文本化架构图](#text-architecture) 整个 pipeline 流经两个阶段： ``` ┌─────────────────────────────────────────────────────┐ │ PHASE 1: DISCOVERY — BUILDING THE LABEL │ └─────────────────────────────────────────────────────┘ Raw Behavioral History (usage, calls, recharges, mobility) │ ▼ Multi-Source ABT Construction (Usage + Social Graph + Handset + Geolocation) │ ▼ Behavioral Hypothesis Design (6 hypotheses for Multi-SIM behavior patterns) │ ▼ Iterative Unsupervised Segmentation (A → G) (isolation strategy, not full-base taxonomy) │ ▼ Candidate Phenotype Profiling (50+ variables validation) │ ▼ Call-Center Ground Truth Validation (confirmed subscriber lists) │ ▼ Label Bootstrap: Multi-SIM Target Constructed ┌─────────────────────────────────────────────────────┐ │ PHASE 2: OPERATIONALIZATION — SCORING AT SCALE │ └─────────────────────────────────────────────────────┘ Manual Rule Extraction from Cluster Profile │ ▼ Data Augmentation (Multi-Month Labeled Set) │ ▼ Decision Tree Training (7 Key Variables) │ ▼ Business Threshold Adjustment (interpretability) │ ▼ Monthly Production Scoring (full subscriber base) ``` ## 文本化架构 {#text-architecture} 发现阶段提出的问题： - 哪些行为轨迹能够区分 Multi-SIM 使用与单卡用户？ - 无监督聚类能否在不划分整个客户群的情况下，单独隔离出这一模式？ - 所发现的聚类是否能与呼叫中心已知的 Multi-SIM 订阅用户相印证？ 运营化阶段提出的问题： - 我们能否从发现的聚类中提取出业务可读的规则？ - 当我们对新一月的数据进行评分时，这些规则是否依然保持稳定？ - 我们如何处理所发现的聚类规模与基于规则的细分群体规模之间刻意预留的差距？ ## 为什么这很重要 - 表明了多卡检测中最困难的部分是标签构建，而不是模型选择 - 论证了无监督聚类可以作为一种搜索工具来寻找特定行为表型，而不仅仅是用于全量用户分类 - 将行为假设视为一等设计输入——而不是非正式的预分析 - 通过可解释的规则提取，将无监督发现与生产分配连接起来 - 说明了所发现的聚类与基于规则的细分群体是刻意设计为不同的——且这种差异在设计上是可以接受的 - 将四个数据领域（使用情况、社交图谱、手机设备、地理信息）融合到一个 ABT 中——每一个都提供其他领域无法提供的信号 ## 此模式的适用场景 在必须先发现潜在行为才能进行标记和评分的任何领域中，此 pipeline 均同样适用： - **银行** — 在没有真实值的情况下，检测账户共享或代理使用模式 - **保险** — 从理赔行为中识别未披露的家庭结构 - **电子商务** — 发现多个真实用户共享账户的使用情况 - **订阅服务** — 在缺乏直接观察的情况下寻找凭证共享行为 - **医疗保健** — 在对流失行为进行标记之前，揭示其逃避医疗的模式 ## 数据源 - **使用情况：** 按运营商划分（Tunisie Telecom, Ooredoo, Orange, Lyca, Nessma）的月度主叫/被叫使用量表（语音、短信、流量、漫游） - **社交图谱 (CLA)：** 社区链接分析 — 社区成员身份、入度/出度、运营商组合、订阅用户角色 - **手机设备/SIM：** SIM 卡类型（Nano/Micro/Mini）、设备类别（智能手机/功能机）、移动性评分（0–5） - **地理定位：** Cell-ID → 站点坐标 → 基层行政区 → 基于 2G/3G 基站数据的城乡分类 ## 最终有监督模型中的关键变量 `通话天数` · `充值次数` · `跨运营商通话占比` · `跨运营商时长占比` · `TT 社区占比` · `充值频率` · `主叫流量频率` ## 公开仓库范围 此公开版本分享了检测架构、方法论框架、部分 SQL 和 SAS 代码模式，以及项目演示文稿。其中不包含原始电信数据、机密标识符和生产评分输出。 ## 相关工作 - [电信客户细分](https://mah-trigui.github.io/telecom-customer-segmentation/) — 一个无监督细分系统，该系统将 Multi-SIM 聚类作为更广泛的行为细分的一部分识别了出来

标签：后端开发, 多卡检测, 多线程, 无监督学习, 机器学习流水线, 特征工程, 电信数据分析