netlas-io/netlas-free-iocs
GitHub: netlas-io/netlas-free-iocs
基于Abuse.ch SSL证书黑名单与Netlas互联网扫描数据交叉比对,每日更新的恶意主机威胁情报数据库。
Stars: 11 | Forks: 0
# Netlas 免费 IOC
该仓库提供了一个免费且定期更新的恶意主机数据库,旨在支持安全研究人员和从业者的威胁情报工作。该数据通过利用 [Abuse.ch SSL 证书黑名单](https://sslbl.abuse.ch) 和 [Netlas 互联网扫描数据](https://netlas.io/features/iot_search_engine/) 生成。
**重要提示:** 该仓库的内容正在积极开发中。文件格式、脚本和结构在不久的将来可能会发生变化。
## 访问数据
由于数据库文件较大(约 50–100 MB),因此它托管在外部而非存储在本仓库中。您可以通过以下 URL 访问最新版本的恶意主机数据库:
[https://public.netlas.io/netlas_sslbl_malicious_hosts.csv](https://public.netlas.io/netlas_sslbl_malicious_hosts.csv) ([MD5](https://public.netlas.io/netlas_sslbl_malicious_hosts.csv.md5))
CSV 版本的数据库包含:
- `timestamp`:条目添加到数据集的时间。
- `host`:恶意主机的域名或 IP 地址。
- `port`:运行恶意服务的端口。
- `protocol`:服务使用的协议(例如 HTTPS)。
- `path`:指向恶意服务的具体路径,即 URI 中位于域名和端口之后的部分。例如,在 URI `https://malicious.example.com:443/phishing` 中,路径为 `/phishing`。
- `ip`:恶意主机的 IP 地址。在当前版本中,这始终是 IPv4 地址。
- `threat`:与此主机上发现的黑名单证书相关的威胁类型(例如 *CobaltStrike C&C*)。
- `netlas:fseen`:在 Netlas 数据中首次观测到该主机的时间戳。
- `netlas:link`:指向 Netlas 中关于该主机详细信息的链接。
- `x509:sha1`:SSL 证书的 SHA-1 哈希值。
- `x509:timestamp`:SSL 证书在源数据源中被标记的时间。
- `x509:link`:指向源数据源中关于该 SSL 证书详细信息的链接。
## 技术说明
1. **源数据**:
我们使用 [Abuse.ch SSL 证书黑名单](https://sslbl.abuse.ch),这是一个公开的 SSL 证书数据源,这些证书因涉及恶意活动(如恶意软件分发和僵尸网络操作)而被标记。
2. **搜索恶意主机**:
使用来自 Abuse.ch 数据源的 SSL 证书 SHA1 哈希值,查询最新的 Netlas 互联网扫描数据,以识别使用这些证书的活动主机。被识别为活动状态且匹配恶意证书的主机将被标记并添加到数据集中。
3. **数据库生成**:
在每次更新期间,脚本会检查数据库中的现有记录。如果找到匹配项,则会更新 `timestamp`(表示最后发现时间)。新记录将添加 Netlas 最近扫描该主机的时间。
4. **计划**:
数据库每天更新。
## 统计数据
有关详细的统计数据,请参阅 [STATS.md](STATS.md) 文件。
## 复现数据
如果您希望自己复现数据,请注意,由于需要大量的 API 请求和处理的数据量,您需要拥有付费的 Netlas 账户。
要复现数据,请按照以下步骤操作:
1. **克隆仓库**
将仓库下载到本地计算机:
git clone https://github.com/netlas-io/netlas-free-iocs.git
cd netlas-free-iocs
2. **安装依赖项**
确保已安装必要的依赖项:
pip install -r requirements.txt
3. **保存 Netlas API 密钥**
使用 Netlas SDK 配置您的 Netlas API 密钥:
netlas savekey YOUR_API_KEY
4. **运行脚本**
执行更新脚本以生成最新的数据集:
bash update.sh
## 许可证和使用条款
任何人都可以自由使用本仓库的内容。本仓库中的数据和脚本根据 [CC0 1.0 通用许可证](LICENSE) 授权。
[](http://creativecommons.org/publicdomain/zero/1.0/)
虽然不要求署名,但如果您在项目或出版物中使用此数据,我们恳请您注明 [Netlas.io](https://netlas.io)。例如:
## 免责声明
- 所有数据集均按“原样”提供,并尽最大努力维护。
- Netlas LLC 对因使用本数据集而产生的误报或损害不承担责任。
标签:AMSI绕过, C2服务器, CobaltStrike, DNS通配符暴力破解, ESC4, IOC, IP黑名单, OSINT, SSL证书, 信标, 域名黑名单, 失陷指标, 威胁情报, 威胁检测, 开发者工具, 恶意主机, 恶意软件防御, 网络安全, 自动化威胁分析, 逆向工具, 隐私保护, 黑名单