# ☁️ Azure 电信客户 360 与欺诈分析
## 企业级 Azure 数据工程解决方案
一个企业级的 Azure 数据工程解决方案，将电信运营数据集中到现代云数据仓库中。该平台利用 **Azure Data Lake Storage Gen2**、**Azure Databricks**、**Azure Synapse Analytics**、**PySpark** 和 **Power BI**，采用 **Medallion 架构 (铜-银-金)** 来提供 **客户 360 分析**、**可解释的欺诈检测**以及交互式商业智能仪表板。
# 📖 目录
- [项目概述](#-project-overview)
- [业务目标](#-business-objectives)
- [解决方案架构](#-solution-architecture)
- [Azure 环境](#-azure-environment)
- [数据管道](#-end-to-end-data-pipeline)
- [技术栈](#-technology-stack)
- [Medallion 架构](#-medallion-architecture)
- [数据仓库设计](#-data-warehouse-design)
- [欺诈评分引擎](#-explainable-fraud-scoring-engine)
- [Power BI 仪表板](#-power-bi-reporting)
- [项目统计](#-project-statistics)
- [商业价值](#-business-value)
- [未来增强](#-future-enhancements)
- [作者](#-author)
# 📌 项目概述
电信公司每天都会产生数以百万计的运营事件，包括通话记录、客户活动、订阅、金融交易和服务投诉。从这些海量数据集中提取有价值的洞察需要一个可扩展且管理良好的云数据平台。
本项目展示了一个企业级 Azure 数据工程解决方案的实施过程，该方案能够：
- 将电信运营数据集中到现代云数据仓库中。
- 提供统一的客户 360 分析视图。
- 应用自动化数据质量验证。
- 使用可解释的欺诈规则检测可疑的客户行为。
- 通过 Power BI 提供交互式商业智能仪表板。
整个解决方案遵循 Microsoft 的 **Medallion 架构**，确保提供高质量、可扩展且随时可用于分析的数据集。
# 🎯 业务目标
- 设计一个可扩展的云原生电信数据仓库。
- 构建统一的客户 360 分析平台。
- 通过自动化验证规则提高数据质量。
- 使用透明的欺诈评分模型检测可疑的客户行为。
- 为业务用户和高管提供交互式仪表板。
- 实现可信的、数据驱动的决策制定。
# 🏗 解决方案架构
该平台遵循现代 Azure 数据工程架构，数据在到达分析型仓库和报表层之前，会流经多个处理层。
### 架构组件
- Azure Data Lake Storage Gen2
- Azure Databricks
- 铜层
- 银层
- 金层
- Azure Synapse Analytics
- Power BI
# ☁ Azure 环境
该项目完全在 Microsoft Azure 上开发，使用 Azure Databricks 作为主要的数据工程和处理环境。
## Azure Databricks 工作区
使用 Azure Databricks 来：
- 处理大规模电信数据集。
- 使用 PySpark 开发 ETL pipeline。
- 执行分布式数据转换。
- 执行数据质量验证。
- 生成用于分析的金层数据集。
## 工作区部署
该工作区配置为与 Azure Data Lake Storage Gen2 无缝集成，从而实现可扩展的基于云的数据处理。
# 🔄 端到端数据管道
该平台遵循基于 Medallion 架构的结构化 ETL pipeline。
### 工作流
1. 从 CSV 文件中提取原始电信数据集。
2. 将原始数据存储在 Azure Data Lake Storage Gen2（铜层）中。
3. 使用 Azure Databricks 清洗、标准化和验证数据。
4. 将处理好的数据集发布到银层。
5. 生成具备业务就绪性的金层数据集。
6. 使用星型模型构建分析型数据仓库。
7. 连接 Power BI 以提供交互式仪表板。
# ⚙ 技术栈
| 类别 | 技术 |
|----------|------------|
| 云平台 | Microsoft Azure |
| 数据湖 | Azure Data Lake Storage Gen2 |
| 数据处理 | Azure Databricks (Apache Spark & PySpark) |
| 数据仓库 | Azure Synapse Analytics |
| 数据库 | Azure SQL Database |
| 数据建模 | 星型模型 |
| 编程语言 | Python |
| 查询语言 | SQL |
| 数据可视化 | Power BI |
| 版本控制 | Git & GitHub |
# ⭐ 解决方案亮点
- 企业级 Azure 数据工程架构
- Medallion 数据湖设计
- 客户 360 分析
- 可解释的欺诈评分引擎
- 星型模型数据仓库
- 自动化 ETL pipeline
- 数据质量验证框架
- 高管 Power BI 仪表板
# 🥉 Medallion 架构
该项目遵循 **Medallion 架构**，在分离原始、已清洗和具备业务就绪性的数据集的同时，逐步提高数据质量。
## 铜层
铜层按源系统接收时的原样存储原始电信数据集。
数据源包括：
- 客户画像
- 通话详细记录
- 交易
- 投诉
该层作为单一事实来源，在不进行任何修改的情况下保留历史原始数据。
## 银层
银层使用 **Azure Databricks (PySpark)** 进行数据清洗、标准化和验证。
关键转换包括：
- 缺失值处理
- 去重
- 数据类型验证
- 业务规则验证
- 数据标准化
- Null 值处理
- 无效记录过滤
- 标准化列命名
### 数据质量框架
该项目实施了 **13 项自动化数据质量规则**，以确保在加载金层之前拥有可信的分析数据集。
## 金层
金层包含针对报告、分析和高管仪表板进行了优化的、具备业务就绪性的数据集。
### 客户金层数据集
### 套餐金层数据集
### 通话金层表
金层为以下方面提供了优化的数据集：
- 客户 360 分析
- 欺诈检测
- 高管报告
- Power BI 仪表板
# ⭐ 数据仓库设计
使用 **星型模型** 设计了维度数据仓库，以简化分析查询并提高报表性能。
## 数据仓库结构
### 事实表
- Fact_CustomerActivity
### 维度表
- DimCustomer
- DimDate
- DimRegion
- DimPlan
- DimFraudRisk
- DimComplaint
- DimCallType
- DimUsageCategory
## 仓库汇总
| 对象 | 数量 |
|----------|------:|
| 事实表 | 1 |
| 维度表 | 8 |
| 金层表 | 3 |
# 🚨 可解释的欺诈评分引擎
该项目包含一个可解释的 **基于规则的欺诈评分引擎**，该引擎使用透明的业务规则来识别可疑的客户行为。
与黑盒机器学习模型不同，每个欺诈评分都可以被完全解释，并追溯到特定的客户活动。
## 欺诈指标
### 高风险指标
- 过多的主叫次数
- 大量不同的被叫对象
- 异常短的通话时长
- 高通话频率
- 反复的客户投诉
- 可疑的行为模式
### 信任指标
- 较长的客户存续期
- 稳定的付款记录
- 一致的服务使用情况
- 正常的通话行为
## 风险分类
| 欺诈评分 | 风险等级 |
|-------------|------------|
| 0 – 29 | 🟢 低 |
| 30 – 59 | 🟡 中 |
| 60 – 79 | 🟠 高 |
| 80 – 100 | 🔴 严重 |
# 📊 Power BI 报告
通过连接到分析型数据仓库的交互式 Power BI 仪表板来提供业务洞察。
报告层使高管和业务分析师能够实时监控运营绩效和客户行为。
## Power BI 数据模型
语义模型遵循星型模型，以提高性能、简化 DAX 计算并支持可扩展的报告。
# 📈 高管仪表板
### 关键洞察
- 高管 KPI
- 客户增长
- 收入概览
- 欺诈分布
- 业务绩效
- 月度趋势
# 🚨 欺诈分析仪表板
### 关键洞察
- 欺诈评分分布
- 客户风险细分
- 高风险客户
- 欺诈趋势
- 风险监控
# 👥 客户行为仪表板
### 关键洞察
- 客户细分
- 使用趋势
- 通话模式
- 客户活动
- 客户 360 分析
# 📈 项目统计
该项目旨在模拟一个真实的企业级电信分析平台，该平台能够处理大规模的客户和运营数据集。
| 指标 | 值 |
|----------|------:|
| 客户数 | **5,000+** |
| 通话详细记录 | **140 万+** |
| 分析周期 | **3 个月** |
| 数据质量得分 | **98.8%** |
| 数据质量规则 | **13** |
| 金层表 | **3** |
| 事实表 | **1** |
| 维度表 | **8** |
| pipeline 运行时间 | **~15 分钟** |
# 💼 商业价值
该解决方案展示了现代 Azure 数据工程如何将原始电信数据转化为可信的分析资产，从而支持商业智能和运营决策。
### 关键业务成果
- 提供了集中式的 **客户 360** 分析平台。
- 通过自动化验证规则提高了数据质量。
- 通过业务驱动的评分逻辑实现了可解释的欺诈检测。
- 使用维度数据仓库简化了分析报告。
- 通过自动化 ETL pipeline 减少了数据准备工作量。
- 提供了用于监控关键业务指标的高管仪表板。
- 建立了可扩展的云原生分析架构。
# 🏆 主要成就
- 设计并实施了端到端的 Azure 数据工程解决方案。
- 使用 Medallion 架构构建了可扩展的云数据仓库。
- 处理了超过 **140 万条电信记录**。
- 使用 Azure Databricks 和 PySpark 开发了自动化 ETL pipeline。
- 应用了 **13 项数据质量规则** 以确保可信的分析数据。
- 设计了优化的 **星型模型** 用于报告和分析。
- 实现了可解释的基于规则的欺诈评分引擎。
- 提供了用于高管报告和运营分析的交互式 Power BI 仪表板。
# 🛠 展示技能
该项目展示了对以下领域的实际操作经验：
### 云与数据工程
- Microsoft Azure
- Azure Data Lake Storage Gen2
- Azure Databricks
- Azure Synapse Analytics
### 数据处理
- Apache Spark
- PySpark
- ETL / ELT pipeline
- 数据清洗
- 数据转换
- 数据质量验证
### 数据仓库
- 星型模型
- 维度建模
- 事实表与维度表设计
- 客户 360 分析
### 分析与可视化
- Power BI
- 仪表板开发
- 商业智能
- KPI 报告
- 欺诈分析
### 编程
- Python
- SQL
- Git
- GitHub
# 🚀 未来增强
可以通过集成高级 Azure 服务和机器学习功能来进一步增强该平台。
计划的改进包括：
- 基于机器学习的欺诈预测
- Azure Machine Learning 集成
- 使用 Azure Event Hub 进行实时流处理
- Azure Data Factory 编排
- 客户流失预测
- 高级异常检测
- 增量数据加载
- Delta Lake 优化
- Unity Catalog 集成
- 使用 GitHub Actions 进行 CI/CD
- Microsoft Fabric 迁移
# 📂 仓库结构
```
Telecom-Customer360-Fraud-Analytics
│
├── Bronze/
├── Silver/
├── Gold/
├── screenshots/
│ ├── Azure Databricks_workspace.png
│ ├── Create Workspace DBricks.png
│ ├── joining.png
│ ├── customer_gold to schema.png
│ ├── plan_gold to schema.png
│ ├── call_golds tables.png
│ ├── star_schema.png
│ ├── add table to power pi.png
│ ├── executive_dashboard.png
│ ├── fraud_dashboard.png
│ └── customer_dashboard.png
│
└── README.md
```
# 👩💻 作者
## Esraa Abdelazeem
**Azure 数据工程师 | 数据工程师 | Python | SQL | PySpark | Azure Databricks | Azure Synapse Analytics | Power BI**
热衷于可扩展的云数据平台，构建现代数据仓库，并通过 Azure 数据工程解决方案将原始数据转化为有意义的业务洞察。
### 联系方式
📧 **邮箱**
esraaabdelazeem79@gmail.com
💼 **LinkedIn**
https://www.linkedin.com/in/esraa-abdelazeem/ar
🐙 **GitHub**
https://github.com/esraaa-png
## 许可证
本项目仅用于教育和作品集展示目的。
## 如果您觉得这个项目有用，请考虑在 GitHub 上给它点个 ⭐。