copyleftdev/kilo-data

# Kilo 数据 Kilo Data 是 KiloCheck 的开放式、确定性威胁情报和 IP 信誉数据 pipeline。它从原始来源检索完整的批量发布数据，进行验证和标准化，并发布可复现的 Apache Arrow 和 Parquet 发布产物。它不包含未来的 KiloCheck 查询 CLI，且从不执行基于单个 IP 的情报查询。 ## 数据集覆盖范围 - 来自既定 blocklist 和恶意软件基础设施发布的威胁指标及证据。 - BGP 路由来源数据、区域互联网注册机构 (RIR) 分配以及 IANA 特殊用途地址注册表。 - 云提供商、crawler、Tor-exit 和网络归属上下文。 - 旨在用于离线钓鱼和恶意软件筛查、威胁检测以及 IP 情报工具的标准化列式表。 ## 当前数据工作流 ``` immutable bulk artifacts ↓ catalog hash validation ↓ format-aware corpus profiling ↓ source-native parsed records (Parquet) ↓ canonical semantic tables (next) ↓ optimized runtime index (later) ``` 没有任何收集或编译命令会执行基于单个 IP 的 API 查询。 ## 命令 ``` cargo run -p kilo-data -- validate cargo run -p kilo-data -- inspect cargo run -p kilo-data -- compile-source-records cargo run -p kilo-data -- compile-canonical cargo run -p kilo-data -- validate-canonical ``` - `validate` 根据 `reference-data/sources.toml` 验证每个 artifact。 - `inspect` 重新生成 `reference-data/profiles.json` 而不修改输入内容。 - `compile-source-records` 根据所有已编目的 artifact 重新构建 `dataset/source_records.parquet`。 - `compile-canonical` 重新构建标准化的指标、分配、路由、提供商上下文和证据表。 - `validate-canonical` 检查主键唯一性以及每一个跨表的指标引用。 源目录和语料库审查说明位于 `reference-data/README.md` 和 `reference-data/SOURCES.md` 中。 公开数据集的发布节奏、稳定版/边缘版渠道以及未来的 CLI 合并契约记录在 [docs/data-releases.md](docs/data-releases.md) 中。

标签：Apache Arrow, ETL数据管道, IP信誉, Parquet, Python安全, Rust, 可视化界面, 威胁情报, 开发者工具, 网络流量审计, 通知系统