smicallef/spiderfoot

[](https://raw.githubusercontent.com/smicallef/spiderfoot/master/LICENSE) [](https://www.python.org) [](https://github.com/smicallef/spiderfoot/releases/tag/v4.0) [](https://github.com/smicallef/spiderfoot/actions?query=workflow%3A"Tests") [](https://github.com/smicallef/spiderfoot/commits/master) [](https://codecov.io/github/smicallef/spiderfoot) [](https://twitter.com/spiderfoot) [](https://discord.gg/vyvztrG) **SpiderFoot** 是一款开源情报 (OSINT) 自动化工具。它集成了几乎所有可用的数据源，并利用多种数据分析方法，使数据易于浏览。 SpiderFoot 拥有一个嵌入式 Web 服务器，用于提供简洁直观的 Web 界面，但也可以完全通过命令行使用。它使用 **Python 3** 编写，并采用 **MIT 许可协议**。 ### 功能 - 基于 Web 的 UI 或 CLI - 超过 200 个模块（见下文） - Python 3.7+ - 可通过 [37 pre-defined rules](/correlations) 进行 YAML 配置的 [correlation engine](/correlations/README.md) - CSV/JSON/GEXF 导出 - API 密钥导出/导入 - 用于自定义查询的 SQLite 后端 - 高度可配置 - 完整的文档 - 可视化 - 用于暗网搜索的 TOR 集成 - 用于基于 Docker 部署的 Dockerfile - 可以调用 DNSTwist、Whatweb、Nmap 和 CMSeeK 等其他工具 - [Actively developed since 2012!](https://medium.com/@micallst/lessons-learned-from-my-10-year-open-source-project-4a4c8c2b4f64) ### 用途 SpiderFoot 可用于进攻端（例如在红队演练或渗透测试中）对目标进行侦察，也可用于防御端，收集有关您或您的组织可能在互联网上暴露的信息。 您可以在 SpiderFoot 扫描中针对以下实体： - IP 地址 - 域名/子域名 - 主机名 - 网络子网 (CIDR) - ASN - 电子邮件地址 - 电话号码 - 用户名 - 姓名 - 比特币地址 SpiderFoot 的 200 多个模块以发布/订阅模型相互配合，以确保最大程度的数据提取，从而实现以下功能： - [Host/sub-domain/TLD enumeration/extraction](https://asciinema.org/a/295912) - [Email address, phone number and human name extraction](https://asciinema.org/a/295947) - [Bitcoin and Ethereum address extraction](https://asciinema.org/a/295957) - [Check for susceptibility to sub-domain hijacking](https://asciinema.org/a/344377) - DNS 区域传送 - [Threat intelligence and Blacklist queries](https://asciinema.org/a/295949) - 与 [SHODAN](https://asciinema.org/a/127601)、[HaveIBeenPwned](https://asciinema.org/a/128731)、[GreyNoise](https://asciinema.org/a/295943)、AlienVault、SecurityTrails 等进行 API 集成 - [Social media account enumeration](https://asciinema.org/a/295923) - [S3/Azure/Digitalocean bucket enumeration/scraping](https://asciinema.org/a/295941) - IP 地理定位 - 网页抓取、网页内容分析 - [Image, document and binary file meta data analysis](https://asciinema.org/a/296274) - 暗网搜索 - [Port scanning and banner grabbing](https://asciinema.org/a/295939) - [Data breach searches](https://asciinema.org/a/296145) - 以及更多... ### 安装与运行 要安装和运行 SpiderFoot，您至少需要 Python 3.7 以及一些可以通过 `pip` 安装的 Python 库。我们建议您安装打包好的发布版本，因为 master 分支通常包含尚未完全测试的前沿功能和模块。 #### 稳定版本（打包发布）： ``` wget https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz tar zxvf v4.0.tar.gz cd spiderfoot-4.0 pip3 install -r requirements.txt python3 ./sf.py -l 127.0.0.1:5001 ``` #### 开发版本（克隆 git master 分支）： ``` git clone https://github.com/smicallef/spiderfoot.git cd spiderfoot pip3 install -r requirements.txt python3 ./sf.py -l 127.0.0.1:5001 ``` 查看 [documentation](https://www.spiderfoot.net/documentation) 和我们的 [asciinema videos](https://asciinema.org/~spiderfoot) 以获取更多教程。 ### 编写关联规则 我们对 SpiderFoot 4.0 [here](/correlations/README.md) 中引入的关联规则集进行了全面的介绍和参考。 另外，请查看 [template.yaml](/correlations/template.yaml) 文件以获取演练。现有的 [37 rules](/correlations) 也非常易读，适合作为编写额外规则的起点。 ### 模块 / 集成 SpiderFoot 拥有超过 200 个模块，其中大多数 *不需要 API 密钥*，而许多需要 API 密钥的模块 *提供免费层级*。 | 名称 | 描述 | 类型 | |:---------| :-----------|:-------| [AbstractAPI](https://app.abstractapi.com/)|从 AbstractAPI 查询域名、电话和 IP 地址信息。|分级 API [abuse.ch](https://www.abuse.ch)|根据 Abuse.ch 检查主机/域名、IP 地址或网段是否为恶意。|免费 API [AbuseIPDB](https://www.abuseipdb.com)|根据 AbuseIPDB.com 黑名单检查 IP 地址是否为恶意。|分级 API [Abusix Mail Intelligence](https://abusix.org/)|检查网段或 IP 地址是否在 Abusix Mail Intelligence 黑名单中。|分级 API 账号查找器 (Account Finder)|在超过 500 个社交和其他网站（如 Instagram、Reddit 等）上查找可能关联的账号。|内置 [AdBlock Check](https://adblockplus.org/)|检查链接页面是否会被 AdBlock Plus 拦截。|分级 API [AdGuard DNS](https://adguard.com/)|检查主机是否会被 AdGuard DNS 拦截。|免费 API [Ahmia](https://ahmia.fi/)|在 Tor 'Ahmia' 搜索引擎中搜索提及目标的内容。|免费 API [AlienVault IP Reputation](https://cybersecurity.att.com/)|根据 AlienVault IP 信誉数据库检查 IP 或网段是否为恶意。|免费 API [AlienVault OTX](https://otx.alienvault.com/)|从 AlienVault Open Threat Exchange (OTX)

标签：BSD, ESC4, GitHub, OSINT, Python, TShark, Unix, 威胁情报, 实时处理, 开发者工具, 开源情报, 情报分析, 攻击面映射, 数字足迹, 数据挖掘, 无后门, 流量捕获, 网络安全, 网络拓扑, 网络诊断, 网络调试, 自动化, 请求拦截, 逆向工具, 隐私保护