agusruidiazgd/kibana-filebeat-threatintel-ingestion

# 威胁情报导入至 Kibana（本地设置） ## 目标 本文档描述了如何使用 Filebeat 将来自 OTX 的威胁情报数据导入到 Kibana 中。 ## 流程 OTX API → Filebeat → Elasticsearch → Kibana → 威胁情报页面 ## 前置条件 - Elasticsearch + Kibana 在本地运行 - OTX 账户和 API 密钥 - 已安装 Filebeat ## 逐步设置说明 ### 1. 安装 Filebeat 从 Elastic 下载 Filebeat 并在本地解压。此二进制文件将充当数据传输器，负责从 OTX 拉取数据并将其发送到 Elasticsearch。 ``` tar -xzf filebeat--darwin-x86_64.tar.gz cd filebeat--darwin-x86_64 ``` ### 2. 配置 Elasticsearch 输出 编辑 `filebeat.yml` 文件，告知 Filebeat 将收集到的数据发送至何处。这会将 Filebeat 连接到您的 Elasticsearch 实例。 ``` output.elasticsearch: hosts: ["http://localhost:9200"] ``` 如果您的集群需要身份验证，请包含凭据： ``` output.elasticsearch: hosts: ["http://localhost:9200"] username: "elastic" password: "YOUR_PASSWORD" ``` ### 3. 检查可用的 Filebeat 模块 在启用任何模块之前，列出所有可用的模块以了解已安装的集成。 ``` ./filebeat modules list ``` 此命令显示： - **已启用的模块** - **已禁用的模块** 这对于确认您的安装中存在 `threatintel` 模块非常有用。 ### 4. 启用威胁情报模块 Filebeat 模块通过提供预构建的配置来简化数据导入过程。`threatintel` 模块包含多个威胁源（feeds），其中包括 OTX。 ``` ./filebeat modules enable threatintel ``` ### 5. 验证已启用的模块 启用后，请确认该模块处于活动状态： ``` ./filebeat modules list ``` 您应该会在 **Enabled**（已启用）部分下看到 `threatintel`。 此步骤有助于避免因模块未正确启用而导致的静默配置错误。 ### 6. 配置 OTX 源 编辑模块配置文件： ``` modules.d/threatintel.yml ``` 仅启用 OTX 源并禁用其他源以减少干扰。配置轮询设置和身份验证。 ``` - module: threatintel otx: enabled: true var.input: httpjson var.url: https://otx.alienvault.com/api/v1/indicators/export var.api_token: YOUR_OTX_API_TOKEN var.lookback_range: 2h var.first_interval: 400h var.interval: 10m ``` 说明： - `var.api_token`：用于验证您对 OTX 的请求 - `var.interval`：Filebeat 获取新数据的频率 - `var.lookback_range`：向后查找更新的时间范围 - `var.first_interval`：初始历史数据导入窗口期 ### 7. 验证配置 在运行 Filebeat 之前，请验证配置以捕获语法错误或缺失的字段。 ``` ./filebeat test config -e ``` 预期输出： ``` Config OK ``` ### 8. 加载 Filebeat 资产 此步骤将安装 Elasticsearch 中进行正确数据解析所需的索引模板、ingest pipeline 和映射。 ``` ./filebeat setup -e ``` ### 9. 启动 Filebeat 运行 Filebeat 以开始从 OTX 导入数据并将其发送到 Elasticsearch。 ``` ./filebeat -e ``` 如果您遇到权限问题： ``` sudo ./filebeat -e --strict.perms=false ``` ### 10. 在 Kibana 中验证数据导入 打开 Kibana → Discover 并运行： ``` event.module:threatintel ``` 或者： ``` threat.feed.name:* ``` 这可以确认文档已被正确索引。 ## 故障排除提示 - 确保 Filebeat 日志显示 OTX 输入正在运行 - 验证 API token 是否有效且处于激活状态 - 确认 Elasticsearch 中存在相应的索引 (`filebeat-*`) - 检查 Kibana 中的时间过滤器（如：最近 15 分钟 vs 最近 24 小时） ## 实用链接 [Filebeat 安装](https://www.elastic.co/docs/reference/beats/filebeat/filebeat-installation-configuration) [Filebeat：启用 threatintel 模块](https://www.elastic.co/docs/reference/beats/filebeat/filebeat-module-threatintel) [Alienvault OTX 集成](https://www.elastic.co/docs/reference/integrations/ti_otx) [启用威胁情报集成](https://www.elastic.co/docs/solutions/security/get-started/enable-threat-intelligence-integrations)

标签：Elasticsearch, ELK Stack, Filebeat, Mutation, OTX, PB级数据处理, Threat Intelligence, TI, 代码示例, 可视化, 威胁情报, 安全运维, 安全运营, 实时处理, 开发者工具, 扫描框架, 数据分析, 数据接入, 无线安全, 日志处理, 本地部署, 越狱测试