AnkitB1405/Linux-Log-Parser

# Homelab 日志解析器 (Linux) 一个正在进行中的网络安全项目，致力于为 Linux 系统构建一个轻量级的日志分析和检测引擎。 该项目旨在规范化来自多个数据源的日志，通过基于规则的分析检测可疑行为，并通过仪表板和 Graphify 集成提供可视化洞察。 ## 目标 本项目旨在发展成为一个具备以下能力的小型类 SIEM 平台： - 解析 Linux 日志源 - 将事件规范化为通用 schema - 检测恶意或异常行为 - 生成告警 - 提供可视化分析 - 支持 AI 辅助的 incident 分析（未来工作） ## 文档 以下文档和产出物作为项目工程流程的一部分进行维护。 | 资源 | 用途 | 状态 | |----------|---------|--------| | [ROADMAP.md](ROADMAP.md) | 开发路线图和未来阶段 | ✅ | | [架构图](diagrams/architecture.png) | 系统设计和数据流 | 🚧 | | [截图](screenshots/) | 仪表板和 Graphify 截图 | 🚧 | | [日志](journal/) | 开发笔记和设计决策 | 🚧 | | [安全考量](SECURITY.md) | 检测假设、威胁模型和局限性 | 🚧 | | [示例日志](sample_logs/) | 用于解析器验证的测试数据集 | ✅ | | [输出](outputs/) | 生成的事件、检测和告警 | 🚧 | ## 当前功能 ### SSH 解析器 支持的 SSH 事件： - 登录成功 - 登录失败 - 无效用户 - 认证失败 - 多次认证失败 - 会话已开启 - 连接已关闭 - SSH 服务已启动 - SSH 服务已停止 规范化事件示例： ``` { "event_type": "failed_login", "username": "root", "source_ip": "185.12.41.55", "timestamp": datetime(...) } ``` ## 检测引擎 当前的检测包括： ### SSH 暴力破解 检测： - 快速暴力破解尝试 - 慢速暴力破解攻击 - 针对 Root 用户的定向攻击 - 重复的 PAM 认证失败 严重级别： - 监控 - 中危 - 高危 示例： ``` Single PAM signal → Medium Multiple PAM signals within 3 minutes → High Root login attempts → Elevated priority Repeated failed logins over 10 minutes → Slow brute force detection ``` ## 项目结构 ``` Log_Parser/ ├── main.py ├── parser/ │ ├── ssh_parser.py │ └── event_schema.py │ ├── detectors/ │ └── bruteforce.py │ ├── sample_logs/ │ └── ssh_sample.txt │ ├── outputs/ │ ├── tests/ │ ├── Convos_and_notes.txt │ └── README.md ``` ## 工作流 ``` Raw Logs ↓ Parsers ↓ Normalized Events ↓ Detection Engine ↓ Alerts ↓ Dashboard / Graphify ↓ Analyst Review ``` # Graphify 支持 Graphify 计划作为本项目的主要可视化组件。 潜在的可视化内容包括： - 登录失败趋势 - 告警时间线 - Top 攻击者 IP - 服务活动 - 检测统计数据 - 事件分布情况 - 历史行为分析 Graphify 集成目前正在开发中。 # 路线图 ## V1 专注于基础的日志解析和检测。 ### 解析器 - [x] SSH - [ ] Docker - [ ] Syslog - [ ] 认证日志 - [ ] Apache/Nginx ### 检测器 - [x] 暴力破解 - [ ] 服务异常 - [ ] Root 活动监控 - [ ] 持久化指标 - [ ] 行为分析 ### 告警 - [ ] 本地告警 - [ ] 仪表板告警 - [ ] 导出功能 ## V2 高级分析和 AI 辅助调查。 计划实现的功能： - 事件关联 - 基线行为建模 - Docker 监控 - Container 异常检测 - AI 驱动的 incident 摘要 - 建议引擎 - 外部集成 - 实时监控 - 告警转发 - Incident 时间线 ## 设计理念 本项目的开发主要出于以学习为导向的网络安全工程实践。 目标： - 理解 Linux 内部原理 - 学习检测工程 - 构建实用的解析器 pipeline - 探索 SIEM 概念 - 试验事件关联 - 开发安全分析工作流 ## 状态 🚧 进行中的项目 正在积极开发和扩展中。 当前重点： ## 作者 Ankit Bembalgi 网络安全爱好者 • AI 工程师 • 自动化构建者

标签：Linux运维, 代码示例, 内存分配, 后端开发, 异常检测, 数据分析, 红队行动, 逆向工具