RabbitEyesec/LogLookup.AI

# LogLookup AI LogLookup AI 将 Elastic Security 告警转化为有证据支撑的攻击链调查。它将告警标准化为 OCSF 格式，确定性地关联相关活动，对实体风险进行评分，可选择性地请求 AI provider 对形成的链条进行推理，并将结果写回 Elasticsearch。  *图 1. 结合了事件流、攻击图、AI 判定、原始证据和实体上下文的调查工作区。* ## 问题所在 安全分析师通常需要从分布在众多主机、用户、进程和时间点的海量告警中还原单一安全事件。LogLookup AI 在进行 AI 分析之前执行此关联操作，并保留原始证据供后续审查。Elastic 依然是告警和调查结果的来源；LogLookup AI 则在此之上增添了攻击链视图和基于实证的分流处理工作流。 ## LogLookup AI 的独特之处 - **AI 介入前的确定性关联。** 在调用模型之前，通过共享的实体、时间点和事件关系形成可重现的攻击链。 - **OCSF 标准化。** Elastic 告警会被转换为 OCSF Detection Finding 事件，以便下游处理统一使用同一种 schema。 - **基于实证的 AI。** 模型接收有边界的 evidence payload 以及检索到的 MITRE ATT&CK 候选项；验证器会检查引用的字段和技术标识符。 - **攻击链调查。** 分析师可以在同一工作区内查看关联的时间线、实体关系、风险评分、判定结果和报告。 - **写回 Elastic。** 使用幂等的 `cluster_id` 将结果存储在配置好的 Elasticsearch 结果索引中。 - **原始证据可见性。** 标准化记录、关联输出和原始事件 JSON 与 AI 评估结果并列展示，保持透明可见。 ## 核心功能 - Elastic Security 轮询、批量摄取和结果写回 - OCSF Detection Finding (`class_uid` 2004) 标准化 - 确定性预过滤、实体解析、链关联和基于风险的结果呈现 - 通过 LiteLLM 支持本地 Ollama、Anthropic 和 OpenAI provider - 基于词法或可选 embedding 搜索的 MITRE ATT&CK 检索 - 生成后 grounding 检查及明确的 `ai_unavailable` 结果 - 深度链接的事件页面，包含时间线、2D/3D 图表、证据、判定和报告视图 - 首次运行引导配置，采用加密的本地凭证存储 ## 工作原理 ``` Elastic Security alerts -> ingest -> normalize to OCSF -> deterministic pre-filter and entity resolution -> correlate attack chains and score risk -> optional AI triage and grounding validation -> report and Elastic write-back -> Kibana and the LogLookup AI investigation workspace ```  *图 2. LogLookup AI 将单个 endpoint 上的 Elastic Security 告警整合为调查之前的原始告警。* ## 安装说明 LogLookup AI 支持运行 Python 3.11、3.12 或 3.13 的 Linux 系统。从源码检出执行： ``` bash deploy/install.sh loglookup open ``` 用户级安装程序会创建一个隔离环境，安装启动器和桌面入口，在系统支持时配置 systemd 用户服务，并尝试构建 MITRE ATT&CK 知识库。如果这些步骤不适用于当前主机，请使用 `--skip-kb` 或 `--skip-service`。 ## 开发快速入门 ``` python3 -m venv .venv .venv/bin/pip install -e '.[dev]' cp config.example.yaml config.yaml # 为 config-file 模式设置凭据；请勿将其写入 config.yaml。 export LOGLOOKUP_SIEM_KEY='YOUR_API_KEY' export LOGLOOKUP_AI_KEY='YOUR_AI_API_KEY' # only for a cloud provider # 构建 ATT&CK 知识库。这将下载官方的 STIX bundle。 .venv/bin/python -m engine.ai.kb --build # 使用包含的 fixture 运行 dashboard。 .venv/bin/python -m engine.server \ --config config.yaml \ --input tests/fixtures/attack_chain.ndjson ``` 打开 `http://localhost:8080`。如果只需预览不连接 SIEM 或 AI provider 的 UI，请运行 `python3 preview_ui.py` 并打开 `http://127.0.0.1:4173/?preview=1`。 要进行包含 AI 分流和写回的持续 Elastic 轮询： ``` .venv/bin/python -m engine.server \ --config config.yaml \ --mode poll \ --writeback ``` ## 分析师工作流 1. 完成引导配置并验证 Elastic 连接。 2. 选择本地或云端 AI provider。AI 是可选的；如果被禁用或不可用，依然可以查看确定性生成的结果。 3. 允许服务轮询 Elastic Security 并生成攻击链。 4. 打开呈现的事件，查看其时间线、图表、实体、关联 JSON、原始证据和 AI 判定。 5. 使用写回的结果和 dashboard 深度链接在 Kibana 中继续调查。  *图 3. 调查工作流完成后 Elastic 中模拟的攻击链案例。* ## 配置与机密信息 托管式安装会在引导过程中收集凭证，并将其存储在使用 AES-256-GCM 加密且仅限所有者访问的本地存储中。基于配置文件的开发模式会从 `config.example.yaml` 中提取 `LOGLOOKUP_SIEM_KEY` 和 `LOGLOOKUP_AI_KEY` 变量。 对于私有或自签名的 Elasticsearch CA，请在引导过程中提供 CA 证书，或设置 `siem.ca_cert_path`。禁用 TLS 验证仅建议在隔离的实验室环境中使用。 除非启用了零数据保留确认机制，否则云端 AI 调用将被阻止。启用脱敏功能后，系统会在发送云端请求前对识别出的敏感值进行 token 化处理，并在返回的评估结果中将其恢复。 ## 文档 有关从实验室部署和 Elastic 配置，到 endpoint 遥测、检测验证，再到最终端到端调查的完整实践实施，请阅读[项目执行报告](docs/LogLookup-AI-Project-Execution-Report.docx)。 - [产品概述](docs/product.md) - [架构](docs/architecture.md) - [开发者指南](docs/Developerguide.md) - [用户指南](docs/User%20guide.md) - [配置示例](config.example.yaml) ## 开发与验证 ``` .venv/bin/python -m pytest ``` 测试套件涵盖了配置、摄取、标准化、关联、实体解析、风险评分、AI provider 行为、grounding、脱敏、报告生成、写回、API endpoint 以及托管式安装设置。 软件包版本定义在 `pyproject.toml` 中。代码库包含已实现的引擎、dashboard、安装程序、文档和测试；发布发布和运营验证则视具体部署情况而定。

标签：AI风险缓解, Elastic Security, OCSF, 告警关联, 安全调查, 安全运营, 扫描框架, 攻击链分析, 越狱测试, 逆向工具