tamuno777/healthcare-data-cleaning-python

# 使用 Python 进行医疗患者数据清洗 ## 项目概述 本项目演示了一个使用 **Python** 和 **Pandas** 的完整医疗数据清洗工作流。 目标是将杂乱的患者数据集转换为干净且可用于分析的数据集，适用于： - 医疗分析 (Healthcare Analytics) - Power BI 仪表板 - SQL 分析 - 分析工程 (Analytics Engineering) **Healthcare_Data_Cleaning_Documentation.docx** 位置： documentaton/Healthcare_Data_Cleaning_Documentation.docx ## 数据集概述 该数据集包含患者的人口统计学和临床信息，包括： - 患者 ID (Patient ID) - 年龄 (Age) - 性别 (Gender) - 族裔 (Ethnicity) - 体重 (Weight) - 身高 (Height) - 诊断日期 (Diagnosis Date) - 诊断代码 (Diagnosis Code) - 血糖水平 (Blood Glucose Level) - 风险指标 (Risk Indicator) - 患者姓名 (Patient Name) - 电子邮件地址 (Email Address) ## 使用的工具 - Python - Pandas - NumPy - Jupyter Notebook - VS Code - Git - GitHub # 识别出的数据质量问题 该数据集包含几个现实世界中常见的医疗数据质量问题。 | 列名 | 问题 | |---------|------| | 年龄 (Age) | 缺失值和无效年龄 (200岁) | | 性别 (Gender) | 混合值 (Male, Female, M, F) | | 体重 (Weight) | 数字/文本混合值 (150lbs, Unknown) | | 身高 (Height) | 缺失值 | | 诊断日期 (Diagnosis Date) | 混合日期格式 | | 诊断代码 (Diagnosis Code) | 缺失值 | | 血糖 (Glucose) | 缺失值和重复值 (500 mg/dL) | | 患者姓名 (Patient Name) | 格式不一致 | | 电子邮件 (Email) | 需要验证 | | 患者 ID (Patient ID) | 重复记录 | # 清洗过程 已完成以下步骤： -> 标准化性别 (Gender) 值 -> 将体重 (Weight) 转换为数字 -> 使用中位数填充缺失的身高 (Height) 值 -> 将诊断日期 (Diagnosis Date) 转换为 datetime 格式 -> 清洗年龄 (Age) 并处理无效值 -> 调查重复的患者 ID (Patient ID) -> 验证诊断代码 (Diagnosis Code) -> 调查可疑的血糖 (Glucose) 值 -> 创建血糖状态 (Glucose Status) 分类 -> 标准化患者姓名 (Patient Name) -> 验证电子邮件地址 (Email Address) # 展示的 Python 概念 - 数据导入 (Data Import) - 数据检查 (Data Inspection) - 缺失值分析 (Missing Value Analysis) - 重复项检测 (Duplicate Detection) - 数据类型转换 (Data Type Conversion) - 字符串清洗 (String Cleaning) - 日期解析 (Date Parsing) - 特征工程 (Feature Engineering) - 数据验证 (Data Validation) - 导出干净数据 (Exporting Clean Data) # 项目结构 ``` healthcare-data-cleaning-python/ │ ├── data/ ├── notebooks/ ├── documentation/ ├── README.md └── requirements.txt ``` # 结果 经过清洗，该数据集已可用于： - SQL 查询 - Power BI 仪表板 - 统计分析 - 医疗报告 - 预测建模 # 未来改进 - 自动化验证规则 - 构建 ETL pipeline - 将清洗后的数据存储在 PostgreSQL 中 - 构建 dbt 模型 - 创建 Power BI 仪表板 - 使用 GitHub Actions 部署工作流 # 展示的技能 - Python - Pandas - NumPy - 数据清洗 - 数据质量评估 - 医疗分析 (Healthcare Analytics) - 数据验证 - 特征工程 - Git & GitHub # 作者 **Winnie Davis** 微生物学家 -> 软件开发者 -> 医疗数据分析与分析工程 目前正在学习： - SQL - Python - Power BI - dbt - 医疗分析 (Healthcare Analytics) - 数据治理 (Data Governance)

标签：NoSQL, Python, Subfinder, 代码示例, 医疗数据, 数据分析, 数据工程, 数据清洗, 无后门, 网络安全研究, 逆向工具