Ry0n8736/ioc-threat-feed

# IOC 威胁情报 Feed 处理流水线 ## 概述 本项目是一个使用 Python 构建的自定义 IOC（失陷指标）摄取与遥测流水线。 该流水线负责摄取威胁情报 Feed，对指标进行标准化和验证，丰富元数据，应用抑制逻辑，并导出结构化的 JSON 遥测数据以提供运维可见性。 本项目的长期目标是通过增加以下功能来补充企业级 SIEM 和威胁情报平台： * 特定环境的过滤 * 自定义抑制逻辑 * 运维遥测 * IOC 生命周期管理 * 情报工程实验 本项目有意侧重于学习与工程实践，而非大规模的生产部署。 # 当前功能 ## IOC 摄取 * 多源 Feed 的 IOC 摄取 * 支持外部威胁情报 Feed * Feed 隔离，防止单个 Feed 故障导致流水线崩溃 ## IOC 标准化 * 转换为小写 * 清理空白字符 * 解析制表符分隔的 IOC * 结构化 IOC 提取 ## IOC 验证 ### IP 验证 * 抑制私有 IP * 抑制回环地址 * 抑制组播地址 * 抑制保留 IP ### 域名验证 * 过滤无效字符 * 拒绝 URL * 过滤注释 * 拒绝格式错误的 IOC # IOC 元数据 当前每个 IOC 支持： * IOC 值 * IOC 类型 * 来源归因 * 来源标签 * 来源 URL * 置信度得分 * 首次发现时间戳 * 最近发现时间戳 * 过期状态 # 抑制架构 流水线支持使用以下策略进行基于策略的 IOC 抑制： ``` feeds/suppressions.txt ``` 被抑制的 IOC 将导出到遥测输出中，以便于观察和审计。 # 可靠性工程特性 流水线包含： * 结构化日志 * 超时处理 * HTTP 响应验证 * Feed 级别的异常处理 * 网络异常分类 * 运行时遥测 * 自动创建目录 * Feed 健康状况追踪 # 运维遥测 流水线导出的运维遥测包括： ## Feed 健康状况 ``` output/feed_health.json ``` 追踪： * Feed 状态 * IOC 贡献计数 * Feed 失败次数 * 错误信息 ## 被抑制的 IOC 遥测 ``` output/suppressed_iocs.json ``` 追踪： * 被抑制的 IOC * 抑制原因元数据 ## IOC 元数据输出 ``` output/combined_iocs.json ``` 包含丰富元数据的结构化 IOC 记录。 # 运行时指标 流水线显示： * 执行时间 * Feed 处理计数 * 失败的 Feed 计数 * 被抑制的 IOC 计数 * IOC 总数 # 项目结构 ``` ioc-threat-feed/ │ ├── feeds/ │ ├── urls.txt │ └── suppressions.txt │ ├── logs/ │ ├── output/ │ ├── scripts/ │ └── fetch_feeds.py │ ├── utils/ │ └── logger.py │ ├── README.md └── requirements.txt ``` # 当前威胁情报 Feed 当前的 Feed 包括以下来源： * Abuse.ch * URLHaus * Feodo Tracker * Emerging Threats * Blocklist.de * Stamparm Ipsum # 未来开发目标 计划中的未来改进包括： * 持久化 IOC 状态存储 * 真正的 IOC 老化与过期机制 * ASN 扩展 * GeoIP 扩展 * CDN 和云服务商抑制 * Elastic ECS 对齐 * Elasticsearch 摄取 * Kibana 仪表盘 * IOC 扩展评分 * 检测工程集成 * 计划自动化 * SOAR 风格的工作流 # 安装 ## 克隆仓库 ``` git clone cd ioc-threat-feed ``` ## 安装依赖 ``` pip install -r requirements.txt ``` # 运行流水线 ``` python -m scripts.fetch_feeds ``` # 备注 本项目旨在用于： * 学习 * SOC 工程开发 * 威胁情报工程实验 * 运维流水线设计实践 本项目无意替代商业化的威胁情报平台。 相反，其目的是探索自定义情报工程如何补充企业级 SIEM 工作流。

标签：Elastic SIEM, Homebrew安装, IOC生命周期管理, IP信誉库, Python, 可靠性工程, 失陷标示, 威胁情报, 威胁情报工程化, 安全编排与自动化响应, 安全运营, 开发者工具, 异常检测, 恶意域名, 扫描框架, 数据丰富, 数据清洗, 数据规范化, 无后门, 网络安全, 越狱测试, 逆向工具, 遥测数据, 隐私保护