darnelladsence/cyber-threat-intelligence

GitHub: darnelladsence/cyber-threat-intelligence

面向网络安全研究和威胁情报分析的自建版本化元数据集,提供ASN映射、威胁IOC和脱敏WHOIS数据,支持版本追溯与可复现引用。

Stars: 0 | Forks: 0

# Cyber Metadata 数据集 [![DOI](https://zenodo.org/badge/DOI/10.5281/zenodo.21193552.svg)](https://doi.org/10.5281/zenodo.21193552) [ipok.dev](https://ipok.dev) 背后的自建、版本化 IP 情报数据集 — MMDB + CSV,每次构建对应一个 GitHub Release,包含 SHA-256 manifest,且支持版本间的 diff 对比。 每个版本发布都会归档在 Zenodo 上,并分配有独立的版本 DOI。 ## 数据集 | 文件 | 记录数 | 内容 | |---|---|---| | `cyber-metadata-asn.mmdb` | 约 136 万前缀 | IP prefix → ASN、运营商名称、注册国家 | | `cyber-metadata-threat-ioc.mmdb` | 约 2.8 万前缀 | IP prefix → 威胁类型、置信度、来源 feed | | `whois_public.csv.gz` | 约 146 万域名 | domain → 日期 / NS / 注册商 / 注册国家 / DNSSEC(已脱敏) | | `dataset_manifest.json` | — | 发布版本、各文件行数 + SHA-256 | 字段级 schema:[ipok.dev/datasets](https://ipok.dev/datasets)。IP 使用类型 MMDB 为评分引擎提供支持,但不提供下载。 `geo-v*` 版本发布还会根据其提供商自身的许可协议,镜像两个**第三方**地理定位 MMDB (DB-IP City Lite,CC BY 4.0 · IPinfo Lite,CC BY-SA 4.0)—— 参见 [THIRD_PARTY_LICENSES.md](THIRD_PARTY_LICENSES.md)。 ## 下载 **[GitHub Releases](../../releases)**,或始终获取最新版: ``` https://ipok.dev/v1/datasets/current/files/cyber-metadata-asn.mmdb https://ipok.dev/v1/datasets/current/files/cyber-metadata-threat-ioc.mmdb https://ipok.dev/v1/datasets/current/files/whois_public.csv.gz https://ipok.dev/v1/datasets/current/files/dataset_manifest.json ``` 请根据 `dataset_manifest.json` 中的 `sha256` 条目进行校验。各版本的 diff 以及变更时间轴位于 [ipok.dev/datasets](https://ipok.dev/datasets)。 ## 快速开始 ``` # pip install maxminddb import maxminddb with maxminddb.open_database("cyber-metadata-asn.mmdb") as r: print(r.get("1.1.1.1")) # {'asn': '13335', 'as_name': 'CLOUDFLARENET', ...} ``` 临时查询无需下载 —— `curl ipok.dev/8.8.8.8`,或者使用 [`cmeta` CLI](https://github.com/darnelladsence/cyber-meta-cli)。 ## 许可协议与引用 免费用于研究和个人用途,需署名 **Cyber Metadata**; 未经许可,严禁转售或重新分发原始文件。完整条款: [LICENSE.md](LICENSE.md)。 请引用概念 DOI(自动指向最新版本);每个发布版本在 [Zenodo](https://doi.org/10.5281/zenodo.21193552) 上也拥有 各自独立的版本 DOI,以确保精确的可复现性。 ``` @dataset{cybermetadata-datasets, author = {Darnell}, title = {Cyber Metadata Datasets: ASN, Threat-IOC and De-identified WHOIS}, publisher = {Zenodo}, year = {2026}, doi = {10.5281/zenodo.21193552}, url = {https://ipok.dev/datasets} } ``` ## 中文 ipok.dev 背后的自建 IP 情报数据集:ASN 前缀库(约 136 万前缀)、威胁情报 IOC 库 (约 2.8 万前缀)、WHOIS 域名注册库(公开脱敏版,约 146 万域名)。版本化发布、附 SHA-256 manifest、版本间可[在线对比](https://ipok.dev/datasets)。可免费用于研究与 个人用途,使用时注明来源 Cyber Metadata。在线查询无需下载:`curl ipok.dev/8.8.8.8`。
标签:GitHub, IP情报, MMDB, 元数据, 威胁情报, 开发者工具, 网络安全, 逆向工具, 隐私保护