# IP 知识层
开放的 IP 扩充知识层，涵盖 CIDR、ASN、云、爬虫、Tor 和
VPN 相邻的网络情报。
它还包含源自公开运营商 GeoIP 订阅源、子网到 PoP 的映射、BGP 证据和所有权信号的卫星互联网前缀情报。
本仓库以数据为先：主要输出是一组机器可读文件，可以直接通过 `curl`、GitHub Actions、SIEM pipeline、WAF 工具、反欺诈系统和内部扩充任务进行拉取。
## 为什么会有这个项目
大多数公开的 IP 仓库只发布单一的窄范围列表：云 IP、Tor IP、爬虫 IP 或 ASN 映射。IP 知识层将多个公开和推导出的信号整合到一个规范化的扩充层中。
其核心价值在于上下文：
```
CIDR or ASN -> layer -> provider -> service -> tags -> confidence -> source
```
使用者不仅能知道某个前缀是否存在，还可以了解它是属于云托管、CDN 边缘、GitHub 基础设施、AI 爬虫、Tor、卫星互联网提供商，还是 VPN 相邻的 ASN 信号。
## 当前版本
| 指标 | 数值 |
|---|---:|
| 更新时间 | `2026-07-02T14:55:09Z` |
| 版本 | [data-20260702-145509Z](https://github.com/ipanalytics/IP-Knowledge-Layer/releases/tag/data-20260702-145509Z) |
| 记录数 | 135,504 |
| 前缀记录 | 135,504 |
| ASN 信号 | 0 |
| 来源 | 12 |
| 采集器错误 | 1 |
| 层级 | 记录数 |
|---|---:|
| `hosting-cloud` | 102,235 |
| `satellite-internet` | 14,224 |
| `anonymity` | 11,740 |
| `crawler-bot` | 7,305 |
| 顶级提供商 | 记录数 |
|---|---:|
| Azure | 76,120 |
| AWS | 16,412 |
| Tor | 11,740 |
| GitHub | 7,420 |
| starlink | 5,871 |
## 下载 URL
如有需要，将 `main` 替换为其他分支。
```
BASE="https://raw.githubusercontent.com/ipanalytics/IP-Knowledge-Layer/main/data/current"
curl -fsSL "$BASE/summary.json"
curl -fsSL "$BASE/source-index.json"
curl -fsSL "$BASE/ip-knowledge.jsonl"
curl -fsSL "$BASE/ip-knowledge.csv"
curl -fsSL "$BASE/cloud-prefixes.csv"
curl -fsSL "$BASE/asn-signals.csv"
curl -fsSL "$BASE/cidr-tags.txt"
```
## 我应该使用哪个文件？
| 需求 | 使用此文件 | 原因 |
|---|---|---|
| 我需要完整的知识层 | `ip-knowledge.jsonl` | 最适合 pipeline、`jq`、流式处理以及保留嵌套字段 |
| 我需要适合 Excel/BI/SIEM 的数据 | `ip-knowledge.csv` | 相同的广泛数据集，采用表格形式 |
| 我只需要云/CDN/开发者平台 IP 范围 | `cloud-prefixes.csv` | 更小且专注于 AWS、Azure、GCP、Cloudflare、Fastly、GitHub、Oracle |
| 我需要快速的 CIDR 到标签查找 | `cidr-tags.txt` | 轻量级文本文件：每行一个 CIDR 外加逗号分隔的标签 |
| 我关注 VPN 密集型/提供商 ASN 信号 | `asn-signals.csv` | ASN 级别的汇总证据，不发布原始 VPN IP |
| 我需要检查数据源健康状态和计数 | `summary.json` | 当前运行状态、层级计数、提供商/来源汇总 |
| 我需要来源出处 | `source-index.json` | 来源 URL、来源类型和记录计数 |
对于大多数用户：
```
Start with cloud-prefixes.csv if you only need cloud/datacenter/CDN ranges.
Start with ip-knowledge.jsonl if you want the full enrichment layer.
Start with cidr-tags.txt if you want the simplest possible feed.
```
## 文件
| 文件 | 用途 | 预估大小 |
|---|---:|---:|
| `data/current/summary.json` | 当前构建摘要、计数、层级/提供商/来源汇总 | 8 KB |
| `data/current/source-index.json` | 来源元数据、URL、来源类型、记录计数 | 3 KB |
| `data/current/ip-knowledge.jsonl` | 完全规范化的知识层，每行一条 JSON 记录 | 49 MB |
| `data/current/ip-knowledge.csv` | 完全规范化的知识层（CSV 格式） | 25 MB |
| `data/current/cloud-prefixes.csv` | 仅包含官方云/CDN/开发者平台前缀 | 22 MB |
| `data/current/asn-signals.csv` | ASN 级别的 VPN 相邻汇总信号 | 399 KB |
| `data/current/cidr-tags.txt` | 轻量级使用者适用的简单 `CIDR 标签`文本文件 | 4.7 MB |
| `data/history/summary.csv` | 构建历史 | 较小 |
| `data/snapshots/*.json` | 精简的摘要快照，非完整数据副本 | 较小 |
## 层级
### `hosting-cloud`
官方云、CDN、边缘和开发者平台 IP 范围。
当前提供商：
- AWS
- Azure
- Google Cloud
- Google 公共基础设施
- Cloudflare
- Fastly
- GitHub
- Oracle Cloud
### `crawler-bot`
源自 [CrawlerScope](https://github.com/ipanalytics/CrawlerScope) 的爬虫、AI 机器人、监控探针、扫描器、SEO 机器人和社交预览范围。
### 匿名性
源自 [Tor-Radar](https://github.com/ipanalytics/Tor-Radar) 的 Tor 中继主机路由。
### `satellite-internet`
源自 [Sat-geoip](https://github.com/ipanalytics/Sat-geoip) 的卫星互联网和卫星服务提供商前缀。记录在 JSONL `metrics` 中保留了运营商、轨道类别、BGP 状态、GeoIP 语义、PoP 分配和置信度证据。
### `asn-signal`
源自提供商分析的 ASN 级别 VPN 相邻汇总信号。此层级不发布原始 VPN IP 列表。它仅发布汇总的提供商到 ASN 的证据。
## 来源清单
官方/公开来源：
- AWS IP 范围：`https://ip-ranges.amazonaws.com/ip-ranges.json`
- Azure 服务标签：`https://www.microsoft.com/en-us/download/details.aspx?id=56519`
- Google Cloud 范围：`https://www.gstatic.com/ipranges/cloud.json`
- Google 公共范围：`https://www.gstatic.com/ipranges/goog.json`
- Cloudflare 范围：`https://www.cloudflare.com/ips-v4`, `https://www.cloudflare.com/ips-v6`
- Fastly 公共 IP 列表：`https://api.fastly.com/public-ip-list`
- GitHub Meta API：`https://api.github.com/meta`
- Oracle Cloud 范围：`https://docs.oracle.com/en-us/iaas/tools/public_ip_ranges.json`
推导出的项目来源：
- CrawlerScope：爬虫、AI 机器人、监控、扫描器和 SEO 机器人范围
- Tor-Radar：Tor 中继和出口 IP
- Sat-geoip：卫星互联网前缀、运营商归属、BGP/PoP/GeoIP 证据
- VPN 提供商 ASN 摘要：汇总的 ASN 信号，无原始 VPN IP 订阅源
## 记录结构
`hosting-cloud` JSONL 记录示例：
```
{"prefix":"104.16.0.0/13","layer":"hosting-cloud","provider":"Cloudflare","service":"edge","tags":["cdn","edge","proxy"],"confidence":0.99,"source_id":"cloudflare-v4"}
```
`crawler-bot` JSONL 记录示例：
```
{"prefix":"66.249.64.0/19","layer":"crawler-bot","provider":"Google","service":"Google common crawlers","tags":["bot","crawler","search"],"confidence":0.95,"source_id":"crawler-scope"}
```
`anonymity` JSONL 记录示例：
```
{"prefix":"185.220.101.1/32","layer":"anonymity","provider":"Tor","service":"exit","tags":["anonymity-network","tor","tor-exit"],"confidence":0.98,"source_id":"tor-radar"}
```
`satellite-internet` JSONL 记录示例：
```
{"prefix":"143.105.187.0/24","layer":"satellite-internet","provider":"starlink","service":"satellite_internet","tags":["satellite","satellite-internet","leo","bgp_announced"],"confidence":0.985,"source_id":"sat-geoip"}
```
`asn-signal` JSONL 记录示例：
```
{"layer":"asn-signal","provider":"NordVPN","asn":9009,"asn_name":"M247","tags":["asn-signal","vpn-adjacent"],"confidence":0.7}
```
## 使用示例
获取当前构建统计信息：
```
curl -fsSL https://raw.githubusercontent.com/ipanalytics/IP-Knowledge-Layer/main/data/current/summary.json | jq .
```
下载云前缀：
```
curl -fsSLO https://raw.githubusercontent.com/ipanalytics/IP-Knowledge-Layer/main/data/current/cloud-prefixes.csv
```
提取 Cloudflare 行：
```
curl -fsSL https://raw.githubusercontent.com/ipanalytics/IP-Knowledge-Layer/main/data/current/cloud-prefixes.csv \
| awk -F, '$3 == "Cloudflare" { print }'
```
从 JSONL 中提取 Tor 出口节点：
```
curl -fsSL https://raw.githubusercontent.com/ipanalytics/IP-Knowledge-Layer/main/data/current/ip-knowledge.jsonl \
| jq -r 'select(.layer=="anonymity" and .service=="exit") | .prefix'
```
提取 AI 爬虫前缀：
```
curl -fsSL https://raw.githubusercontent.com/ipanalytics/IP-Knowledge-Layer/main/data/current/ip-knowledge.jsonl \
| jq -r 'select(.layer=="crawler-bot" and (.tags | index("ai-crawler"))) | .prefix'
```
用作轻量级的阻断/允许扩充订阅源：
```
curl -fsSL https://raw.githubusercontent.com/ipanalytics/IP-Knowledge-Layer/main/data/current/cidr-tags.txt \
| grep 'cloud'
```
查找提供商的所有 ASN 信号：
```
curl -fsSL https://raw.githubusercontent.com/ipanalytics/IP-Knowledge-Layer/main/data/current/asn-signals.csv \
| awk -F, '$3 == "NordVPN" { print }'
```
## 它能提供什么帮助
- 针对欺诈/风险系统的 IP 扩充
- WAF 和 SIEM 上下文
- 云/数据中心检测
- CDN/边缘基础设施分类
- AI 爬虫和机器人可见性
- Tor 中继上下文
- ASN 级别的 VPN 相邻信号
- 用于可解释决策的来源出处
- 构建内部允许列表、拒绝列表和审查队列
本项目不是恶意软件或滥用黑名单。它提供带有来源出处和置信度的操作网络上下文。
## 本地更新
```
python3 scripts/update.py
```
如果存在本地同级项目输出，采集器会优先使用它们：
```
../crawler-scope/data/current/crawlers.json
../tor-radar/data/current/network.json
../release/analysis/data/provider_asn.csv
```
当这些文件不存在时，它会尽可能拉取公开的原始 GitHub 项目输出。
## GitHub Actions
工作流每 6 小时运行一次，并在 `data/` 下提交更新后的文件。
```
.github/workflows/ip-knowledge-layer.yml
```
工作流有意仅将完整数据存储在 `data/current/*` 中。历史快照为精简摘要，以避免仓库臃肿。
## 计划中的改进
受 `ipverse` 等项目启发而计划添加的内容：
- `asn-knowledge.csv`：带有标签、云存在情况、Tor 存在情况、爬虫存在情况、VPN 相邻证据和置信度的 ASN 级别汇总。
- `asn-prefixes.csv.gz`：压缩的 ASN 到前缀批量层级，与 `ip-knowledge.jsonl` 分开存放，以避免主文件过大。
- `provider-index.json`：规范化的提供商元数据和别名。
- `overlap-summary.csv`：云/CDN、爬虫、Tor 和 VPN 相邻 ASN 信号之间的重叠部分。
- `diff/current.json`：运行之间新增/移除的前缀摘要。
目的不是克隆 `ipverse`。目标是构建一个包含来源出处、标签和置信度的更高层次的知识层。
## 注意事项
- 本项目避免完整的 IPv4 展开。
- 本项目避免在 GitHub Actions 中进行大规模 RDAP/whois 查询。
- `vpn-adjacent` 信号是聚合的 ASN 级别指标，而不是原始 VPN IP 转储。
- 置信度是来源级别的置信度，并非声称来自某网络的流量是恶意的。
- 一些官方提供商会为同一个前缀发布重叠的服务行。保留这些行是因为服务标签包含有用的上下文。
## 许可证
CC0-1.0。详见 `LICENSE`。