mythilin06/Real-Time-Logs-Monitoring-and-Security-Analysis-System
GitHub: mythilin06/Real-Time-Logs-Monitoring-and-Security-Analysis-System
一个支持多格式日志导入、利用Python异常检测和MongoDB聚合优化来实现安全事件实时监控与分析的平台。
Stars: 0 | Forks: 0
# 实时日志监控与安全分析系统
这是一个用于摄取**任何日志或安全数据集**（Kaggle 下载、CSV、JSON、Parquet 等）、将事件存储在 **MongoDB** 中，并运行 **Python 异常检测**以识别可疑访问模式的平台。
**技术栈：** Node.js · MongoDB · Python (Flask + scikit-learn)
**默认端口（唯一——可与其他项目安全并行运行）：** 仪表板 **4110** · Python **5110**
有关同时运行多个项目的详情，请参阅 **[PORTS.md](PORTS.md)**。
## 功能
- **插入数据集** — CSV, TSV, JSON, JSONL, TXT, LOG, XML, XLSX, Parquet, Feather, GZ
- **灵活的 schema 映射** — `src_ip`, `event_type`, `@timestamp` 等
- **异常检测** — 登录失败、IP 量激增、异常值
- **多数据集** — 按导入筛选分析
## 快速开始
### 1. 前置条件
- Node.js 18+, Python 3.10+, MongoDB
### 2. 安装
```
cd "C:\Users\rahul\OneDrive\Desktop\Log Project"
npm run install:all
```
### 3. 检查端口（可选）
```
npm run ports
```
### 4. 运行（两个终端）
**终端 1 — Python：**
```
python python-service/app.py
```
**终端 2 — Node：**
```
cd backend
npm run dev
```
### 5. 打开
**http://localhost:4110**（或 `.env` 中的 `PORT` 值）
通过 **插入数据集** 上传 `sample-data/kaggle-style-security-logs.csv`。
## 同时运行多个项目
| 项目 | PORT | PYTHON_PORT |
|---------|------|-------------|
| **本项目（日志监控）** | 4110 | 5110 |
| 欺诈/其他应用 | 5000 | 5100 |
每个项目需要各自的 `.env` 值。切勿重复使用相同的 `PORT` 或 `PYTHON_PORT`。
## Kaggle 数据集
搜索关键词：`security logs`, `authentication logs`, `CICIDS`, `firewall logs`, `honeypot logs`。
避免使用纯粹的**信用卡交易**数据集（它们适用于欺诈应用，而非日志监控）。
标签：Flask, GNU通用公共许可证, MITM代理, MongoDB, Node.js, Python, 异常检测, 无后门, 逆向工具