ashm8183-code/AILAAD-Log-Analyser
GitHub: ashm8183-code/AILAAD-Log-Analyser
该项目利用 TF-IDF 特征提取和 Isolation Forest 无监督学习算法，自动分析 Linux 系统日志并检测潜在的异常活动。
Stars: 0 | Forks: 0
# AILAAD - 基于 AI 的日志分析器和异常检测器
AILAAD（基于 AI 的日志分析器和异常检测器）是一个由机器学习驱动的系统，旨在分析 Linux 系统日志并识别异常活动。该项目使用 TF-IDF 特征提取和 Isolation Forest 算法来检测可能表明安全威胁或异常系统行为的可疑日志条目。
## 📌 功能
- 检测 Linux 系统日志中的异常
- 使用 TF-IDF 向量化进行日志特征提取
- 采用 Isolation Forest 进行无监督异常检测
- 轻量级且易于运行
- 遵循 Git 版本控制最佳实践，忽略大型数据集和已训练的模型
## 🛠️ 使用的技术
- Python 3.x
- Scikit-learn
- Pandas
- NumPy
- Joblib
- TF-IDF Vectorizer
- Isolation Forest
## 📂 项目结构
```
AILAAD-Log-Analyser/
│
├── feature_extraction.py
├── log_preprocess.py
├── model.py
├── train.py
├── test.py
├── anomaly_results.txt
├── .gitignore
├── README.md
├── requirements.txt
│
├── data/ # Ignored from Git
├── models/ # Ignored from Git
├── Experimental/ # Ignored from Git
└── venv/ # Ignored from Git
```
## ⚙️ 工作原理
1. 加载 Linux 日志数据。
2. 预处理并清理日志条目。
3. 使用 TF-IDF 将日志转换为数值向量。
4. 训练 Isolation Forest 模型。
5. 检测异常日志条目。
6. 输出检测到的异常以供进一步分析。
## 🚀 安装说明
克隆仓库：
```
git clone https://github.com/ashm8183-code/AILAAD-Log-Analyser.git
```
进入项目目录：
```
cd AILAAD-Log-Analyser
```
安装所需的包：
```
pip install -r requirements.txt
```
## ▶️ 用法
训练模型：
```
python train.py
```
测试模型：
```
python test.py
```
检测到的异常将存储在项目生成的输出文件中。
## 📊 示例输出
```
Total Logs: 2005
Detected Anomalies: 94
Anomaly Percentage: 4.69%
```
*（结果可能因使用的数据集而异。）*
## 📈 未来改进
- 实时日志监控
- 用于可视化的 Web 仪表板
- 用于异常推理的可解释 AI (XAI)
- 支持 Windows Event Logs
- 与 SIEM 平台集成
## 👨💻 作者
**Ashiq Mohammad**
人工智能与数据科学 B.Tech
KMCT Institute of Emerging Technology and Management
## 📄 许可证
该项目基于 MIT License 授权。
标签：Apex, Python, Scikit-learn, 安全, 异常检测, 无后门, 机器学习, 超时处理, 逆向工具