Pakistan Security Monitor

一个综合性的 AI 驱动的安全情报平台，用于追踪、分析和可视化巴基斯坦各地的威胁。

从 6+ 个数据源收集数据 · 通过 6 个 ML 模型处理 · 提供实时情报

## 概述 Pakistan Security Monitor 是一个端到端的威胁情报平台，它从多个公开来源聚合安全数据，通过 NLP 模型的 pipeline 进行处理，并通过交互式仪表板呈现可操作的洞察。 | 功能 | 详情 | |---|---| | **数据源** | Twitter, Telegram, Reddit, Mastodon, HackerNews, GDELT | | **ML Pipeline** | XLM-RoBERTa 分类器, 句子嵌入, 情感分析, NER, 异常检测 | | **界面** | Streamlit 仪表板 + FastAPI REST API | | **存储** | 带有基线比较的 SQLite 数据库 | ## 功能 - **实时监控** — 持续追踪来自 6+ 个公共来源的安全事件 - **AI 驱动的分析** — 用于威胁分类、情感、实体和异常的 6 阶段 ML pipeline - **地理空间可视化** — 巴基斯坦各地事件和热点的交互式地图 - **时间序列分析** — 时间序列趋势和模式识别 - **高级搜索** — 支持关键词、日期范围、来源、严重程度的多条件过滤 - **REST API** — 用于外部集成和编程访问的 FastAPI 后端 - **数据导出** — 导出报告以供外部分析 ## ML Pipeline | # | 模型 | 文件 | 用途 | |---|---|---|---| | M1 | XLM-RoBERTa 分类器 | `src/models/m1_xlmr_classifier.py` | 乌尔都语/罗马乌尔都语威胁分类 | | M2 | 基于规则的引擎 | `src/models/m2_rules.py` | 关键词和模式匹配 | | M3 | 句子嵌入 | `src/models/m3_embeddings.py` | 语义相似度聚类 | | M4 | 情感分析 | `src/models/m4_sentiment.py` | 极性和情绪检测 | | M5 | 命名实体识别 | `src/models/m5_entities.py` | 位置、人物、组织提取 | | M6 | 异常检测 | `src/models/m6_anomaly.py` | 异常模式和离群点检测 | ## 快速开始 ``` # Clone git clone https://github.com/codewithsalty/PakistanSecurityMonitor.git cd PakistanSecurityMonitor # Virtual environment python -m venv venv venv\Scripts\activate # Windows # source venv/bin/activate # Linux/Mac # Install pip install -r requirements.txt # 运行 Streamlit app streamlit run main.py ``` 打开 **http://localhost:8501** ## 项目结构 ``` PakistanSecurityMonitor/ ├── api/ # FastAPI REST API server │ ├── main.py # API entry point │ └── schemas.py # Pydantic models ├── config/ # Configuration files │ ├── default.yaml # Application settings │ └── threat_patterns.json# Threat classification patterns ├── data/ # Data storage │ ├── base/ # Baseline reference data │ └── new/ # Sample threat data ├── docs/ # Documentation │ ├── API_REFERENCE.md │ ├── SYSTEM_OVERVIEW.md │ ├── TECHNICAL_GUIDE.md │ └── USER_GUIDE.md ├── src/ # Source code │ ├── connectors/ # 6 data source connectors │ ├── core/ # Threat detection engine │ ├── data/ # Database manager & crawler │ ├── models/ # 6 ML models (M1-M6) │ ├── ui/ # Streamlit dashboard │ └── fuse/ # Score fusion ├── .streamlit/config.toml # Streamlit server config ├── main.py # Streamlit entry point ├── streamlit_app.py # Streamlit Cloud entry point ├── run_api.py # API server entry point └── requirements.txt # Python dependencies ``` ## API 服务器 启动 REST API： ``` python run_api.py ``` API 提供用于威胁数据查询、搜索和导出的 endpoint。完整文档请参阅 [API 参考](docs/API_REFERENCE.md)。 ## 部署 | 平台 | 文件 | 命令 | |---|---|---| | **Streamlit Cloud** | `streamlit_app.py` | 直接连接 GitHub repo | | **本地服务器** | `main.py` | `streamlit run main.py` | | **API 服务器** | `run_api.py` | `python run_api.py` | ## 文档 - [系统概述](docs/SYSTEM_OVERVIEW.md) — 架构和组件 - [技术指南](docs/TECHNICAL_GUIDE.md) — 开发者文档 - [用户指南](docs/USER_GUIDE.md) — 终端用户手册 - [API 参考](docs/API_REFERENCE.md) — REST API 文档 - [API 集成指南](API_INTEGRATION_GUIDE.md) — 外部集成 - [部署指南](DEPLOYMENT_GUIDE.md) — 生产环境部署 ## 许可证 MIT — 详情请参阅 [LICENSE](LICENSE)。

标签：AV绕过, DFIR, FastAPI, Kubernetes, NLP, Python, PyTorch, Streamlit, 凭据扫描, 威胁情报, 安全态势感知, 开发者工具, 无后门, 系统调用监控, 访问控制, 逆向工具