ipanalytics/ASN-Signal-Graph

# ASN 信号图

ASN 信号图是一个公共 ASN 基础设施信号聚合项目，旨在用于丰富信息、研究和防御性分析。 该仓库在 ASN 级别聚合可观察到的公共基础设施信号，并发布规范化的配置文件，描述 VPN 重叠、Tor 存在、公共数据源暴露、DROP 列表基础设施重叠以及源多样性。 该项目有意将输出框定为基础设施上下文，而非供应商声誉或恶意性分类。 ## 概述 现代托管和网络基础设施经常在以下方面存在重叠： * VPN 供应商 * Tor 中继 * 公共滥用数据源 * 爬虫基础设施 * 云和 VPS 平台 * 公共阻止列表 ASN 信号图将这些可观察到的信号聚合为轻量级的运营配置文件，适用于： * 欺诈检测 * SIEM 信息丰富 * 基础设施研究 * 路由分析 * 防滥用工作流 * 网络情报管道 该仓库不会将供应商分类为恶意或做出强制执行判定。 ## 信号模型 主要对象是 ASN 配置文件： ``` ASN / organization / country -> vpn overlap -> tor overlap -> drop-list overlap -> public feed overlap -> signal density -> source diversity -> confidence ``` 输出示例： ``` asn,org,country,total_prefixes,signal_count,source_count,vpn_signals,tor_signals,abuse_feed_overlap,drop_list_overlap,public_feed_overlap,signal_density,confidence,sources 9009,M247,RO,0,4922,3,4861,52,0,0,9,4922.0000,medium,"asn-vpn-multi-provider,bad-cidrs-v4,tor-radar-network" ``` 信号计数表示与公共数据集和基础设施观察结果的重叠情况。它们旨在作为丰富信息的特征，而非对供应商的判定。 ## 架构 ``` Public Infrastructure Sources │ ┌───────────────────────┼────────────────────────┐ │ │ │ ▼ ▼ ▼ VPN Signals Tor Signals Public Feeds │ │ │ └───────────────────────┴─────────────┬──────────┘ ▼ ASN Aggregation Layer normalize / correlate / score ▼ Signal Profiles ▼ CSV / JSONL / static API / dashboard ``` ## 数据源 配置的源定义于： ``` config/sources.json ``` 当前输入包括： | 源 | 用途 | | ------------------------------ | ---------------------- | | `IP-Knowledge-Layer` | 基础设施信息丰富 | | `ASN-VPN-Network-Intelligence` | VPN ASN 重叠 | | `Tor-Radar` | Tor 中继可见性 | | `blackroute` | 公共数据源目录 | | Spamhaus ASNDROP | ASN 级别 DROP 暴露 | | `stamparm/ipsum` | 公共信誉重叠 | | `saloniamatteo/bad-cidrs` | 公共 CIDR 重叠 | | `ipverse/as-metadata` | ASN 信息丰富与映射 | ASN 原生数据源被直接聚合。 供应商标记的 CIDR 数据源通过规范化的供应商元数据进行映射。仅 IP 的数据源将被单独索引，直到可靠的 IP/CIDR 到 ASN 映射可用。 ## 发布的输出 | 文件 | 描述 | | ----------------------------------------- | ------------------------ | | `data/current/asn-signals.csv` | 平面 ASN 信号导出 | | `data/current/hosting-signal-graph.jsonl` | 完整的 JSONL 信号配置文件| | `data/current/provider-overlap.csv` | 供应商重叠聚合数据 | | `data/current/source-index.json` | 源元数据与索引 | | `data/current/summary.json` | 快照摘要 | | `data/current/dashboard-data.json` | 仪表盘数据集 | | `data/api/index.json` | 静态 API 索引 | | `data/api/asn/.json` | ASN 详情 API | | `data/api/top/.json` | 顶级 ASN 信号排名 | | `data/api/country/.json` | 国家/地区级别视图 | 该 API 是完全静态的，可以直接通过 GitHub Pages 托管。 ## 仪表盘 该仓库包含一个位于以下路径的静态浏览器仪表盘： ``` site/ ``` 功能包括： * 按 ASN 编号或组织搜索 * 按国家/地区和信号筛选 * 可排序的信号表格 * 最小信号阈值 * 置信度过滤 * 可点击的汇总指标 * ASN 详情面板 * 直接 JSON 导出链接 该仪表盘完全无需后端。 ## 信号语义 信号级别描述观察到的基础设施重叠量，而非供应商声誉。 | 级别 | 含义 | | -------- | ---------------- | | `none` | 未观察到重叠 | | `low` | 观察到少量重叠 | | `medium` | 观察到中度重叠 | | `high` | 观察到大量重叠 | ### 置信度 置信度衡量数据完整性和源多样性。 | 置信度 | 要求 | | -------- | ------------------------------ | | `high` | ≥5 个源家族且 ≥25 个信号 | | `medium` | ≥3 个源家族且 ≥5 个信号 | | `low` | 低于中等阈值 | 置信度不是一个坏分数。 ## 快速开始 获取上游数据集： ``` python3 scripts/fetch_sources.py \ --sources config/sources.json ``` 构建当前输出： ``` python3 scripts/build_signal_graph.py \ --sources config/sources.json \ --output-dir data/current ``` 本地服务： ``` python3 -m http.server 8000 ``` 打开： ``` http://127.0.0.1:8000/site/ ``` ## GitHub Actions | 工作流 | 用途 | | -------------------------- | ---------------------------------------------------- | | `Test` | 验证快照、CSV/JSON 输出和仪表盘构建 | | `Build ASN Signal Graph` | 计划/手动上游刷新与聚合 | | `Deploy Pages` | 发布静态仪表盘和 API | 该项目设计用于 GitHub 原生的静态部署工作流。 ## 操作说明 * 大型云和 VPS 供应商经常出现在公共重叠数据源中，这是由于其规模和客户多样性 * 公共数据源重叠应结合源多样性和信号组合来解读 * 仅 IP 的数据源需要可靠的 ASN 映射才能贡献加权的 ASN 计数 * 信号密度反映观察到的基础设施暴露情况，而非意图或所有权 ## 设计原则 | 原则 | 描述 | | ---------------- | ---------------------------------------------- | | 中性框架 | 提供基础设施上下文而非供应商判定 | | 可重复性 | 确定性快照生成 | | 轻量级部署 | 完全静态的输出和 API | | 源透明度 | 保留来源和源多样性 | | 运营实用性 | 适用于信息丰富和分析工作流 | ## 推荐解释 首选术语： * 观察到的信号 * 基础设施重叠 * 源多样性 * 公共数据源暴露 * 基础设施上下文 * 置信度 避免使用： * 恶意 ASN * 不良供应商 * 犯罪托管 * 确定归因 * 强制执行判定 该项目发布从公共数据集导出的可观察基础设施关联。 ## 用例 | 领域 | 示例 | | ---------------- | ---------------------------------- | | 欺诈检测 | VPN 和 Tor 信息丰富 | | SIEM 管道 | ASN 基础设施上下文 | | 网络分析 | 托管集中度分析 | | 防滥用 | 公共数据源重叠审查 | | 研究 | 基础设施关系映射 | | 路由分析 | ASN 信号聚类 | ## 仓库布局 ``` . ├── config/ ├── data/ │ ├── api/ │ └── current/ ├── scripts/ ├── site/ ├── LICENSE └── README.md ``` ## 路线图 计划增加的功能： * ASN 增量跟踪 * 信号家族聚类 * IPv6 重叠支持 * ASN 关系图 * 紧凑的历史摘要 * 基础设施拓扑指标 ## 许可 此仓库中的代码在 Apache-2.0 许可下授权。 发布的数据集和生成的数据工件在 CC0-1.0 许可下发布。 参见： - [`LICENSE`](./LICENSE) - [`DATA-LICENSE`](./DATA-LICENSE) ## 免责声明 ASN 信号图聚合公开可观察的基础设施信号，用于分析和运营目的。该项目不会将供应商分类为恶意，也不应被用作独立的强制执行或归属系统。

标签：ASN分析, DFIR, DROP列表分析, Homebrew安装, IP分析, JSONL导出, Tor可见性, Tor存在, VPN检测, VPN重叠, 信号处理, 公共ASN, 公共馈送暴露, 基础设施上下文, 基础设施分析, 多模态安全, 威胁情报, 开发者工具, 开源数据, 数据可视化, 数据工程, 数据聚合, 源多样性分析, 网络信号, 网络基础设施, 网络安全, 逆向工具, 防御性网络分析, 隐私保护