laramies/theHarvester
GitHub: laramies/theHarvester
一款用于从各大公共资源收集电子邮件、子域名、主机和姓名等情报的 OSINT 开源侦察工具。
Stars: 15739 | Forks: 2431

 
[](https://inventory.raw.pm/)
[](https://repology.org/project/theharvester/versions)
## 关于
theHarvester 是一款简单易用但功能强大的工具,专为红队评估或渗透测试的侦查阶段而设计。它执行开源情报 (OSINT) 收集,以协助确定域的外部威胁态势。该工具通过使用多个公共资源来收集姓名、电子邮件、IP、子域和 URL,这些资源包括:
## 安装和依赖
* Python 3.12 或更高版本。
* https://github.com/laramies/theHarvester/wiki/Installation
安装 uv:
```
curl -LsSf https://astral.sh/uv/install.sh | sh
```
克隆仓库:
```
git clone https://github.com/laramies/theHarvester
cd theHarvester
```
安装依赖并创建虚拟环境:
```
uv sync
```
运行 theHarvester:
```
uv run theHarvester
```
## 开发
安装开发依赖:
```
uv sync --all-groups
```
运行测试:
```
uv run pytest
```
运行 linting 和格式化:
```
uv run ruff check
```
```
uv run ruff format
```
## 被动模块
* baidu: Baidu 搜索引擎
* bevigil: CloudSEK BeVigil 扫描移动应用程序以获取 OSINT 资产
* brave: Brave 搜索引擎 - 现在使用官方 Brave Search API (https://api-dashboard.search.brave.com)
* bufferoverun: IPv4 空间中 TLS 证书的快速域名查询 (https://tls.bufferover.run)
* builtwith: 查明网站使用的技术 (https://builtwith.com)
* censys: 使用证书搜索来枚举子域并收集电子邮件 (https://censys.io)
* certspotter: Cert Spotter 监控证书透明度日志
* criminalip: 专业的网络威胁情报 (CTI) 搜索引擎 (https://www.criminalip.io)
* crtsh: Comodo 证书搜索 (https://crt.sh)
* dehashed: 将您的数据安全提升到一个新的水平 (https://dehashed.com)
* dnsdumpster: 域研究工具,可以发现与域相关的主机 (https://dnsdumpster.com)
* duckduckgo: DuckDuckGo 搜索引擎
* fofa: FOFA 搜索引擎
* fullhunt: 下一代攻击面安全平台 (https://fullhunt.io)
* github-code: GitHub 代码搜索引擎
* hackertarget: 在线漏洞扫描器和网络情报,旨在帮助组织 (https://hackertarget.com)
* haveibeenpwned: 检查您的电子邮件地址是否卷入数据泄露
* hunter: Hunter 搜索引擎
* hunterhow: 面向安全研究人员的互联网搜索引擎
* intelx: Intelx 搜索引擎
* leakix: LeakIX 搜索引擎
* leaklookup: 数据泄露搜索引擎
* netlas: Shodan 或 Censys 的竞争对手 (https://app.netlas.io)
* onyphe: 网络防御搜索引擎 (https://www.onyphe.io)
* otx: AlienVault 开放威胁交换 (https://otx.alienvault.com)
* pentesttools: 用于攻击性安全测试的基于云的工具包,专注于 Web 应用程序和网络渗透测试 (https://pentest-tools.com)
* projecdiscovery: 主动收集和维护互联网范围的资产数据,以加强对 DNS 的研究和分析变化,从而获得更好的洞察力 (https://chaos.projectdiscovery.io)
* rapiddns: DNS 查询工具,使查询同一 IP 的子域或站点变得容易 (https://rapiddns.io)
* rocketreach: 访问实时验证的个人/专业电子邮件、电话号码和社交媒体链接 (https://rocketreach.co)
* securityscorecard: 帮助 TPRM 和 SOC 团队大规模检测、确定优先级并修复其整个供应商生态系统中的供应商风险 (https://securityscorecard.com)
* securityTrails: Security Trails 搜索引擎,世界上最大的历史 DNS 数据存储库 (https://securitytrails.com)
* -s, --shodan: Shodan 搜索引擎将搜索已发现主机的端口和 banners (https://shodan.io)
* subdomaincenter: 子域查找器工具,用于查找给定域的子域 (https://www.subdomain.center)
* subdomainfinderc99: 子域查找器是一种用于查找给定域的子域的工具 (https://subdomainfinder.c99.nl)
* thc: 无需 API 密钥的免费子域枚举服务 (https://ip.thc.org)
* threatminer: 威胁情报数据挖掘 (https://www.threatminer.org)
* tomba: Tomba 搜索引擎
* urlscan: 网络沙盒,是 URL 和网站扫描器 (https://urlscan.io)
* venacus: Venacus 搜索引擎
* virustotal: 域搜索 (https://www.virustotal.com)
* whoisxml: 子域搜索 (https://subdomains.whoisxmlapi.com/api/pricing)
* yahoo: Yahoo 搜索引擎
* windvane: Windvane 搜索引擎
* zoomeye: 中国版的 Shodan (https://www.zoomeye.org)
## 主动模块
* DNS 暴力破解:字典暴力破解枚举
* 截图:对发现的子域进行截图
## 需要 API 密钥的模块
设置 API 密钥的文档可以在以下位置找到 - https://github.com/laramies/theHarvester/wiki/Installation#api-keys
* bevigil - 每月 50 次免费查询。每月 1k 次查询 $50
* brave - 提供免费计划。Pro 计划具有更高的限制
* bufferoverun - 每月 100 次免费查询。每月 10k 次 $25
* builtwith - 共 50 次免费查询。$2950/年
* censys - 500 积分 $100
* criminalip - 每月 100 次免费查询。每月 700k 次 $59
* dehashed - 500 积分 $15, 5k 积分 $150
* dnsdumpster - 每天 50 次免费查询, $49
* fofa - 每月 10,000 次查询积分。每月 100k 结果 $25
* fullhunt - 50 次免费查询。200 次查询 $29/月, 500 次查询 $59
* github-code
* haveibeenpwned - 每分钟 10 次电子邮件搜索 $4.50, 每分钟 50 次电子邮件搜索 $22
* hunter - 每月 50 次免费积分。每年 12k 积分 $34
* hunterhow - 每 30 天 10k 次免费 API 结果。每 30 天 50k 次 API 结果 $10
* intelx - 免费帐户非常有限。商业帐户 $2900
* leakix - 免费 25 个结果页,每月 3000 次 API 请求。Bounty Hunter $29
* leaklookup - 20 积分 $10, 50 积分 $20, 140 积分 $50, 300 积分 $100
* netlas - 每天 50 次免费请求。1k 次请求 $49, 10k 次请求 $249
* onyphe - 每月 10M 结果 $587
* pentesttools - 5 个资产 netsec $95/月, 5 个资产 webnetsec $140/月
* projecdiscovery - 需要工作电子邮件。注册电子邮件域可免费进行每月发现和漏洞扫描,企业版 $
* rocketreach - 每月 100 次电子邮件查询 $48, 每月 250 次电子邮件查询 $108
* securityscorecard - 需要工作电子邮件
* securityTrails - 每月 50 次免费查询。每月 20k 次查询 $500
* shodan - 自由职业者 $69/月, 小型企业 $359/月
* tomba - 每月 25 次免费搜索。每月 1k 次搜索 $39, 每月 5k 次搜索 $89
* venacus - 每天 1 次免费搜索。每天 10 次搜索 $12, 每天 30 次搜索 $36
* virustotal - 每天 500 次免费查询, 每月 15.5k 次查询。商业帐户需要工作电子邮件
* whoisxml - 2k 次查询 $50, 5k 次查询 $105
* windvane - 100 次免费查询
* zoomeye - 每天 5 个免费结果。每天 30 个结果 $190/年
## 软件包版本
[](https://repology.org/project/theharvester/versions)
## 评论、错误和请求
* [](https://twitter.com/laramies) Christian Martorella @laramies
cmartorella@edge-security.com
* [](https://twitter.com/NotoriousRebel1) Matthew Brown @NotoriousRebel1
* [](https://twitter.com/jay_townsend1) Jay "L1ghtn1ng" Townsend @jay_townsend1
## 主要贡献者
* [](https://twitter.com/NotoriousRebel1) Matthew Brown @NotoriousRebel1
* [](https://twitter.com/jay_townsend1) Jay "L1ghtn1ng" Townsend @jay_townsend1
* [](https://twitter.com/discoverscripts) Lee Baird @discoverscripts
## 致谢
* John Matherly - Shodan 项目
* Ahmed Aboul Ela - 子域名字典(大和小)
标签:C2日志可视化, ESC4, Kali工具, OSINT, Python, theHarvester, 加密文件系统, 威胁情报, 子域名挖掘, 实时处理, 开发者工具, 开源网络情报, 指纹识别, 数据展示, 无后门, 红队, 请求拦截, 逆向工具, 邮箱采集