sinCodes11/logmind

# LogMind

由 LLM 驱动的安全日志分析器，它结合了基于规则的检测（Sigma）与 AI 分析，以识别威胁、映射到 MITRE ATT&CK 并生成可操作的事件报告——只需几秒，而非几小时。 ## 概述 LogMind 从多个来源摄取日志，应用 Sigma 规则和统计异常检测，利用 MITRE ATT&CK 上下文丰富调查结果，并使用 Claude 或 OCI GenAI 生成人类可读的事件摘要。 **核心功能：** - 多格式日志摄取（syslog RFC 3164/5424、JSON、CEF） - 使用 Redis Streams 和消费者组进行实时处理 - Sigma 规则检测引擎 - 统计异常检测——暴力破解、端口扫描、非工作时间活动 - 双 LLM 支持：Claude API + OCI Generative AI - MITRE ATT&CK 技术映射 - 自动生成事件报告 - Slack 告警集成 ## 架构 ``` ┌─────────────────────────────────────────────────────────────────────────────┐ │ LogMind Pipeline │ ├─────────────────────────────────────────────────────────────────────────────┤ │ │ │ ┌──────────┐ ┌──────────┐ ┌───────────────┐ ┌──────────────────┐ │ │ │ Syslog │ │ JSON │ │ CEF │ │ File Watcher │ │ │ │ Parser │ │ Parser │ │ Parser │ │ │ │ │ └────┬─────┘ └────┬─────┘ └───────┬───────┘ └────────┬─────────┘ │ │ └───────────────┴─────────┬────────┴──────────────────────┘ │ │ ▼ │ │ ┌────────────────────────┐ │ │ │ Normalized Logs │ │ │ └───────────┬────────────┘ │ │ ▼ │ │ ┌────────────────────────┐ │ │ │ Redis Streams │ │ │ └───────────┬────────────┘ │ │ ┌────────────────────┼────────────────────┐ │ │ ▼ ▼ ▼ │ │ ┌────────────────┐ ┌────────────────┐ ┌────────────────┐ │ │ │ Sigma Rules │ │ Anomaly │ │ LLM Analysis │ │ │ │ Engine │ │ Detector │ │ (Claude/OCI) │ │ │ └───────┬────────┘ └───────┬────────┘ └───────┬────────┘ │ │ └───────────────────┴───────────────────┘ │ │ ▼ │ │ ┌────────────────────────┐ │ │ │ Detection Results │ │ │ └───────────┬────────────┘ │ │ ┌────────────────────┼────────────────────┐ │ │ ▼ ▼ ▼ │ │ ┌────────────────┐ ┌────────────────┐ ┌────────────────┐ │ │ │ MITRE ATT&CK │ │ Incident │ │ Slack │ │ │ │ Mapper │ │ Generator │ │ Alerter │ │ │ └────────────────┘ └────────────────┘ └────────────────┘ │ │ ▼ │ │ ┌────────────────────────┐ │ │ │ PostgreSQL │ │ │ │ (Logs, Detections, │ │ │ │ Incidents) │ │ │ └────────────────────────┘ │ └─────────────────────────────────────────────────────────────────────────────┘ ``` ## 快速开始 ### 前置条件 - Python 3.11+ - Docker 和 Docker Compose - Anthropic API 密钥或 OCI GenAI 访问权限 ### 安装说明 ``` cd LogMind python -m venv venv source venv/bin/activate pip install -r requirements.txt pip install -e . cp .env.example .env # 使用你的 API keys 编辑 .env ``` ### 启动基础架构 ``` docker-compose up -d redis postgres logmind init-db logmind load-rules ``` ### 基本用法 ``` logmind status logmind ingest data/samples/auth.log --format syslog logmind analyze --hours 1 logmind incidents logmind worker ``` ## 配置 ``` # LLM Provider (claude 或 oci) LLM_PROVIDER=claude ANTHROPIC_API_KEY=your_api_key_here # 或者使用 OCI Generative AI LLM_PROVIDER=oci OCI_COMPARTMENT_ID=ocid1.compartment... # Slack 告警 SLACK_WEBHOOK_URL=https://hooks.slack.com/services/... ``` ### Sigma 规则 规则位于 `rules/` 目录——SSH/sudo 规则在 `rules/linux/`，SQLi/XSS 规则在 `rules/web/`。放入任何 Sigma YAML 文件即可扩展检测。 ## CLI 参考 | 命令 | 描述 | |---------|-------------| | `logmind run` | 启动完整 pipeline | | `logmind worker` | 启动处理 worker | | `logmind init-db` | 初始化数据库 schema | | `logmind load-rules` | 加载 Sigma 规则 | | `logmind ingest ` | 摄取日志文件 | | `logmind analyze` | 运行 LLM 分析 | | `logmind incidents` | 列出安全事件 | | `logmind status` | 显示系统状态 | | `logmind test-slack` | 测试 Slack 集成 | ## 检测能力 **Sigma 规则检测：** - SSH 暴力破解、sudo 提权、Web shell 活动 - SQL 注入、路径遍历、XSS **异常检测：** - 暴力破解模式（可配置阈值） - 端口扫描、非工作时间敏感操作、新的外部 IP 连接 **LLM 分析提供：** - 威胁分类 + MITRE ATT&CK 映射 - 带有理由的严重性评级 - 影响分析和可操作的建议 ## 项目结构 ``` LogMind/ ├── logmind/ │ ├── cli.py # Click CLI interface │ ├── config/ # Pydantic settings │ ├── ingestion/ # Log parsers (syslog, JSON, CEF) │ ├── queue/ # Redis stream producer/consumer │ ├── detection/ # Sigma engine + anomaly detection │ ├── llm/ # LLM providers (Claude, OCI) │ ├── mitre/ # ATT&CK data and mapping │ ├── incidents/ # Incident generation │ ├── alerts/ # Slack alerting │ └── database/ # SQLAlchemy models ├── rules/ # Sigma rules ├── data/samples/ # Sample log files ├── tests/ # Unit and integration tests ├── docker-compose.yml └── Dockerfile ``` ## 测试 ``` pytest pytest --cov=logmind pytest tests/unit/test_parsers.py ``` ## Docker 部署 ``` docker-compose up -d docker-compose logs -f logmind docker-compose down ``` ## 成本估算 (OCI) | 资源 | 配置 | 每月成本 | |----------|---------------|--------------| | Redis | VM.Standard.E4.Flex (1 OCPU) | ~$15 | | PostgreSQL | DB System (1 OCPU) | ~$50 | | OCI GenAI | Command-R+ (每天 1 万次请求) | ~$30 | | **总计** | | **约 $95/月** | *Claude API：约 $3/百万输入 token，约 $15/百万输出 token* ## 安全性 - API 密钥位于环境变量中——切勿提交 - 最小权限数据库访问 - 支持 Redis 密码认证 - 对所有解析器进行输入验证 - 建议在生产环境 LLM 调用时进行速率限制 ## 许可证 MIT —— 详情请参阅 LICENSE。 ## 作者 **Daniel Gregg Jr** - 作品集：[daniel-eportfolio.web.app](https://daniel-eportfolio.web.app) - LinkedIn：[linkedin.com/in/daniel-sin-1881ske89](https://linkedin.com/in/daniel-sin-1881ske89)

标签：AMSI绕过, Claude API, OCI GenAI, Python, Sigma规则, 威胁检测, 安全日志分析, 插件系统, 无后门, 测试用例, 目标导入, 请求拦截