ghelaw01/intelligent-document-analyzer

# 面向安全应用的智能文档分析系统 生产级文档智能平台：处理多格式文档，提取实体，分类安全级别，并为安全运营提供威胁预警。 这是一个全面且可用于生产环境的系统，用于分析文档、提取情报以及执行聚焦安全的 NLP 任务。本平台提供专为情报和安全应用设计的高级文档处理、威胁检测、实体提取和安全分类功能。 ## 🎯 概述 本系统旨在满足安全和情报环境中对自动化文档分析的关键需求。它处理各种文档格式，提取有价值的情报，检测威胁，并对安全级别进行分类，以支持国家安全和企业安全背景下的决策制定。 ### 主要功能 - **多格式文档处理**：支持 PDF、DOCX、XLSX、TXT 文件 - **高级 NLP 分析**：实体提取、情感分析、关键词提取、主题建模 - **威胁检测**：基于模式的威胁指标识别及严重性评估 - **安全分类**：基于内容分析的自动化文档分类 - **情报提取**：从文档中全面提取可操作的情报 - **实时处理**：快速文档分析并提供详细报告 - **RESTful API**：用于与现有安全系统集成的完整 API - **可扩展架构**：专为大批量文档处理而设计 ## 🏗️ 架构 ``` intelligent-document-analyzer/ ├── document-analysis-backend/ # Flask API backend │ ├── src/ │ │ ├── models/ # Database models │ │ │ ├── document_analysis.py │ │ │ └── user.py │ │ ├── routes/ # API endpoints │ │ │ ├── document_analysis.py │ │ │ └── user.py │ │ ├── utils/ # Document processing utilities │ │ │ └── document_processor.py │ │ └── main.py # Application entry point │ ├── requirements.txt # Python dependencies │ └── venv/ # Virtual environment └── README.md # This file ``` ## 🚀 快速入门 ### 前置条件 - Python 3.11+ - pip 包管理器 ### 安装 1. **进入后端目录**： cd document-analysis-backend 2. **激活虚拟环境**： source venv/bin/activate 3. **安装依赖项**： pip install -r requirements.txt 4. **下载 NLTK 数据**（仅首次运行）： import nltk nltk.download('punkt') nltk.download('stopwords') nltk.download('averaged_perceptron_tagger') 5. **启动 Flask 服务器**： python src/main.py API 将在 `http://localhost:5000` 上可用 ## 📊 分析能力 ### 文档处理 1. **文本提取** - 具有复杂布局的 PDF 文档 - Microsoft Word 文档 (DOCX) - Excel 电子表格 (XLSX) - 纯文本文件 (TXT) 2. **语言检测** - 自动语言识别 - 多语言支持 - 置信度评分 3. **内容分析** - 字数和页数统计 - 文档结构分析 - 元数据提取 ### NLP 分析 1. **实体提取** - 命名实体识别 (NER) - 基于模式的实体检测 - 电子邮件地址、电话号码、IP 地址 - URL、日期、SSN、信用卡号码 - 所有实体的置信度评分 2. **情感分析** - 文档级情感评分 - 极性分析（-1 到 +1 级别） - 主观性评估 3. **关键词提取** - 基于 TF-IDF 的关键词识别 - N-gram 支持（一元语法和二元语法） - 相关性评分 4. **主题建模** - 自动主题发现 - 关键词聚类 - 主题相关性评分 ### 安全分析 1. **威胁检测** - 恶意软件指标 - 网络威胁模式 - 数据泄露指标 - 可疑活动模式 - 基础设施威胁检测 2. **安全分类** - 自动化分类级别 - 置信度评分 - 基于关键词的分类 - 模式匹配 3. **情报提取** - 关键信息识别 - 上下文感知分析 - 威胁严重性评估 ## 🛠️ API 端点 ### 文档分析 - `POST /api/documents/upload` - 上传并分析文档 - `POST /api/documents/analyze-text` - 分析原始文本内容 - `GET /api/documents/analyses` - 获取所有分析记录 - `GET /api/documents/analyses/{id}` - 获取特定分析记录 - `GET /api/documents/sample-analysis` - 获取样本分析 ### 威胁管理 - `GET /api/documents/threat-indicators` - 获取威胁指标 - `POST /api/documents/threat-indicators` - 创建威胁指标 - `GET /api/documents/security-classifications` - 获取分类级别 ### 分析统计 - `GET /api/documents/statistics` - 获取分析统计数据 - `POST /api/documents/search` - 搜索文档 ### 使用示例 ``` import requests import base64 # 上传并分析 document with open('document.pdf', 'rb') as file: file_content = base64.b64encode(file.read()).decode('utf-8') response = requests.post('http://localhost:5000/api/documents/upload', json={ 'filename': 'document.pdf', 'file_content': file_content }) analysis = response.json() print(f"Classification: {analysis['classification_level']}") print(f"Security Score: {analysis['security_score']}") print(f"Threats Found: {analysis['threats_count']}") ``` ## 🔍 威胁检测模式 ### 恶意软件指标 - 病毒、木马、恶意软件、勒索软件相关引用 - 后门、键盘记录器、僵尸网络的提及 - Payload、exploit、shellcode 模式 ### 网络威胁 - DDoS、SQL 注入、XSS 模式 - 钓鱼、欺骗指标 - 端口扫描、漏洞扫描的提及 ### 数据安全 - 数据泄露、未经授权的访问 - 凭据盗窃、身份盗窃 - 内部威胁、权限提升 ### 基础设施威胁 - 关键基础设施引用 - SCADA、ICS 系统提及 - 电网、供水系统威胁 ## 📈 安全分类 | 级别 | 分类 | 描述 | 颜色代码 | |-------|---------------|-------------|------------| | 1 | UNCLASSIFIED | 公开信息 | 绿色 | | 2 | SENSITIVE | 需要基本保护 | 黄色 | | 3 | RESTRICTED | 中度保护 | 橙色 | | 4 | CONFIDENTIAL | 重点保护 | 红色 | | 5 | SECRET | 最高级别保护 | 紫色 | ## 🔒 安全功能 - **数据保护**：带有自动清理机制的临时文件处理 - **安全 API**：启用 CORS 并进行输入验证 - **审计追踪**：完整的分析历史记录跟踪 - **分类**：自动化安全级别评估 - **威胁检测**：实时威胁指标识别 ## 🌟 应用场景 ### 情报分析 - 文档分类与分析 - 威胁情报提取 - 多源情报融合 - 自动化报告生成 ### 安全运营 - 事件响应文档分析 - 威胁狩猎支持 - 安全评估自动化 - 合规性文档审查 ### 企业安全 - 电子邮件安全分析 - 文档泄露检测 - 内部威胁监控 - 法规合规性 ### 研发 - NLP 算法开发 - 安全模式研究 - 威胁情报研究 - 文档分析优化 ## 📊 性能指标 - **处理速度**：平均每个文档 2-5 秒 - **准确率**：实体提取准确率 95% 以上 - **可扩展性**：每小时可处理 1000 份以上文档 - **内存效率**：针对大型文档处理进行了优化 - **API 响应时间**：大多数端点 < 100ms ## 🧪 测试 ### 样本分析 ``` curl -X GET http://localhost:5000/api/documents/sample-analysis ``` ### 文本分析 ``` curl -X POST http://localhost:5000/api/documents/analyze-text \ -H "Content-Type: application/json" \ -d '{"text": "Confidential intelligence report on cyber threats..."}' ``` ## 📦 部署 ### Docker 部署 ``` FROM python:3.11-slim WORKDIR /app COPY requirements.txt . RUN pip install -r requirements.txt COPY src/ ./src/ EXPOSE 5000 CMD ["python", "src/main.py"] ``` ### 云部署 - **AWS**：使用 Elastic Beanstalk 或 ECS 部署 - **Azure**：使用 App Service 或 Container Instances - **GCP**：使用 App Engine 或 Cloud Run 部署 ### 生产环境配置 - 设置数据库 URL 的环境变量 - 配置文件上传限制 - 启用日志记录和监控 - 设置 SSL/TLS 加密 ## 🤝 贡献 1. Fork 本仓库 2. 创建一个功能分支 (`git checkout -b feature/amazing-feature`) 3. 提交您的更改 (`git commit -m 'Add amazing feature'`) 4. 推送到分支 (`git push origin feature/amazing-feature`) 5. 发起一个 Pull Request ## 📄 许可证 本项目采用 MIT 许可证授权 - 有关详细信息，请参见 [LICENSE](LICENSE) 文件。 ## 🙏 致谢 - **NLTK**：自然语言工具包 - **spaCy**：工业级 NLP - **scikit-learn**：机器学习库 - **PDFPlumber**：PDF 文本提取 - **python-docx**：Word 文档处理 - **Flask**：Web 框架 ## 📞 支持 如有任何问题、议题或贡献： - 在 GitHub 上创建一个 Issue - 联系方式：[your-email@domain.com] - 文档：[详细文档链接] ## 🔮 路线图 - [ ] 基于高级 ML 的威胁检测 - [ ] 实时文档流处理 - [ ] 多语言实体提取 - [ ] 深度学习分类模型 - [ ] 与 SIEM 系统集成 - [ ] 高级可视化仪表板 - [ ] 自动化报告生成 - [ ] API 速率限制和身份验证 **专为情报和安全应用而构建** 本系统代表了在安全关键环境中进行文档分析的综合解决方案，提供了有效提取情报和检测威胁所需的工具。 _{作者： Zemen Matebe Ghelaw (又名：Zemen Ghelaw, Zemen M. Ghelaw) — 数据科学家 & AI/ML 专家，现居华盛顿特区 · github.com/ghelaw01
关键词： 文档 NLP · 实体提取 · 威胁检测 · 安全 NLP · 情报分析 · Zemen Matebe Ghelaw}

标签：AMSI绕过, API集成, BSD, DOCX解析, Flask, PDF处理, Python, RESTful API, XLSX处理, 主题建模, 企业安全, 企业级NLP系统, 关键词提取, 可扩展架构, 可观测性, 后端开发, 国家安全, 多格式文档处理, 威胁分类, 威胁检测, 安全分级, 安全应用, 安全系统, 安全运营, 实体提取, 情感分析, 情报分析, 情报提取, 扫描框架, 提示词优化, 数据挖掘, 文本分析, 文档分析, 文档智能平台, 无后门, 网络诊断, 网络资产管理, 自动化文档分析, 请求拦截, 逆向工具, 风险评级