sofiapavone/job-market-data-analysis-python
GitHub: sofiapavone/job-market-data-analysis-python
一个基于 Python 的招聘市场数据分析项目，通过对三万条以上招聘信息进行清洗、特征工程和探索性分析，输出热门岗位、薪资分布与招聘趋势等商业洞察。
Stars: 0 | Forks: 0
# 招聘职位分析
## 概述
本项目分析了一个包含超过 30,000 条招聘信息的数据集，旨在识别招聘趋势、薪资分布以及最热门的技术岗位。该分析包括使用 Python 进行数据清洗、特征工程、探索性数据分析 (EDA) 以及商业洞察。
## 技术栈
* Python
* Pandas
* NumPy
* Matplotlib
* Seaborn
* Jupyter Notebook
* Parquet
# 项目结构
### 01_DatasetExploration_Cleaning.ipynb
第一个 notebook 侧重于数据探索、验证和清洗。
执行了以下任务：
* 探索了数据集结构，包括行、列和数据类型。
* 分析了所有特征中的缺失值。
* 将 **Job Posting Date** 转换为适当的 `datetime` 数据类型。
* 验证了 **Pay Rate** 列并标准化了其值（例如 `hr` → `Hourly`）。
* 验证了最早和最晚的发布日期。
* 使用 `str.strip()` 去除了所有文本列的首尾空格。
* 将 **Job Position Type** 重命名为 **Contract Type**。
* 将 **Job Location** 拆分为三个新特征：
* Location
* State
* Country
* 验证了 **Min Pay** 和 **Max Pay** 的值。
* 基于平均薪资创建了 **Avg Pay** 特征。
* 将清洗后的数据集导出为 **Parquet** 格式，以提升性能和存储效率。
### 02_BusinessAnalysis.ipynb
第二个 notebook 侧重于商业分析和可视化。
执行了以下分析：
* 识别了需求最大的职位名称。
* 创建了 Year、Month 和 Year-Month 维度，用于时间序列分析。
* 分析了随时间变化的招聘趋势。
* 按资深级别比较了招聘职位。
* 使用箱线图分析了薪资分布。
* 使用四分位距 (IQR) 方法检测了薪资异常值。
* 按资深级别识别了薪资最高的职位。
* 比较了不同年份间最热门的职位。
# 关键洞察
## 最热门的职位
发布频率最高的五个职位是：
| 排名 | 职位名称 | 招聘信息数量 |
| ---- | ----------------- | -----------: |
| 1 | Software Engineer | 8,112 |
| 2 | Data Engineer | 3,462 |
| 3 | Business Analyst | 2,009 |
| 4 | Data Scientist | 1,999 |
| 5 | Developer | 1,502 |
Software Engineer 在整个数据集中始终是需求最大的职位。
## 招聘趋势
在分析期内，招聘活动稳步增加。
招聘信息数量最多的情况出现在：
* **2020年：** 6,305 条信息
* **2021年：** 8,174 条信息
## 资深级别分布
大多数发布的职位空缺都面向有经验的专业人士。
招聘信息最集中的级别属于：
1. Mid-Senior level
2. Associate
3. Entry level
## 薪资分析
Director 职位呈现出最高的薪资范围。
使用 IQR 方法，识别出了每个资深级别内的薪资异常值。
分析显示，以下职位的薪资异常高：
* Machine Learning Engineer
* Software Engineer
* Data Engineer
* Data Scientist
* Product Manager
* Developer
* Compensation Analyst
这些薪资由包括 Insight Global、Oxygen、Belcan、Harnham、Storm2、CareerWellness 等在内的公司提供。
## 薪资最高的职位
Machine Learning Engineer 在多个资深级别中都是薪资最高的职位。
按资深级别划分的薪资最高职位：
| 职位级别 | 职位名称 |
| ---------------- | ------------------------- |
| Internship | Data Scientist |
| Entry level | Machine Learning Engineer |
| Associate | Product Manager |
| Mid-Senior level | Machine Learning Engineer |
| Director | Machine Learning Engineer |
| Executive | Data Scientist |
## 按年份划分的招聘需求
Software Engineer 每年都是需求最大的职位，其次是 Data Engineer，这显示出对软件开发和数据工程专业人士的持续需求。
标签：NoSQL, Python, 代码示例, 招聘趋势分析, 探索性数据分析, 数据分析, 数据清洗, 无后门, 逆向工具