Yogeswarachary/Sensitive_Data_Detection
GitHub: Yogeswarachary/Sensitive_Data_Detection
基于正则规则的敏感数据检测与合规助手，可扫描上传文件中的各类敏感信息并提供风险评估和修复建议。
Stars: 0 | Forks: 0
# 敏感数据检测与合规助手
## 安装说明
要设置敏感数据检测与合规助手，请按照以下步骤操作：
1. 在终端中运行 `pip install -r requirements.txt` 来安装所需的依赖项。
2. 确保您已安装必要的依赖项，包括 `streamlit`、`pandas`、`pdfplumber` 和 `python-dotenv`。
3. 克隆仓库并导航到项目目录。
## 架构概述
敏感数据检测与合规助手使用 Streamlit 构建，包含以下组件：
* `app.py`：主应用程序文件，负责处理用户输入并显示结果。
* `core/`：包含应用程序核心功能的目录，包括：
+ `detector.py`：包含敏感数据检测逻辑。
+ `file_loader.py`：包含文件加载逻辑。
+ `patterns.py`：包含用于敏感数据检测的正则表达式模式。
+ `risk_classifier.py`：包含风险分类逻辑。
+ `summary.py`：包含合规性观察、安全风险和修复步骤生成逻辑。
+ `qa.py`：包含问答逻辑。
## 使用的 AI/ML 方法
敏感数据检测与合规助手使用基于规则的方法来检测上传文件中的敏感数据。该应用程序利用正则表达式模式来识别各种类型的敏感数据，包括 Aadhaar、PAN、电子邮件、电话、信用卡、IFSC、UPI、API 密钥和员工 ID。
## 面临的挑战
开发敏感数据检测与合规助手面临多项挑战，包括：
* 开发准确的正则表达式模式以检测敏感数据。
* 处理不同的文件格式，例如 PDF、TXT 和 CSV。
* 根据检测到的敏感数据类型对整体文档风险等级进行分类。
* 生成合规性观察、安全风险和修复建议。
## 未来改进
为了进一步完善敏感数据检测与合规助手，可以进行以下改进：
* 集成机器学习算法以提高敏感数据检测的准确性。
* 支持更多文件格式，例如 DOCX 和 XLSX。
* 开发更完善的风险分类系统。
* 增强用户界面，提供更直观的用户体验。
## 工作原型部署链接
[https://sensitivedatadetection-hniecahjqb7icrqbrgyivm.streamlit.app/](https://sensitivedatadetection-hniecahjqb7icrqbrgyivm.streamlit.app/)
标签：Kubernetes, Python, Streamlit, 代码示例, 敏感数据检测, 数据分析, 数据合规, 无后门, 访问控制, 逆向工具