N1ckw1ck/Clear_OSINT

 # Clear Web OSINT 工具包 - 快速入门指南 ## 目录 - [设置](#setup) - [电话 OSINT 工具](#phone-osint-tool) - [域名 OSINT 工具](#domain-url-osint-tool) - [IP OSINT 工具](#ip-osint-tool) ## 免责声明 ##### 这些工具仅供授权（在适用情况下）和道德（始终）使用。 ##### 您有责任确保您的使用符合所有适用的法律、法规和服务条款。 ##### 毫不奇怪，作者（本 人）不对任何滥用行为承担责任。 ### 前言： #### 脚本命名非常直观，您可以全部下载，也可以选择性地下载。如果选择性地下载，请确保同时从 `requirements.txt` 中找到并安装所需的依赖项，每个工具都有标注。 #### `c_phone_osint.py` 需要两个免费 API 密钥才能生成完整报告，但没有它们也能运行（只是返回的数据较少）。下面有更详细的说明，也已注释在 `c_phone_osint.py` 中。 #### `c_ip_osint.py` 可以配合一个免费 API 密钥使用，同样没有它也能运行（只是返回的数据略少）。可选的付费 API 密钥集成可以获取更多数据，但这也不是必需的。下面有更详细的说明，也已注释在 `c_ip_osint.py` 中。 #### 您完全可以不创建任何 API 密钥就能运行所有这些工具，只是其中一些工具配合 API 密钥使用效果会更好。 ## 设置 #### 假设您的系统上已安装较新版本的 python： 1. 在您想要的位置创建一个新文件夹 2. 克隆此仓库或将所需的 `.py` 文件复制到该文件夹中 3. 在该文件夹内创建 Python 虚拟环境 4. 激活虚拟环境 5. 安装依赖： ``` pip install -r requirements.txt ``` 6. 运行工具： ``` python .py ``` ## 工具 | 工具 | 文件 | 描述 | |---|---|---| | 电话 OSINT | `c_phone_osint.py` | 电话号码情报、垃圾电话检测、地理编码、明网提及扫描 | | 域名 OSINT | `c_domain_osint.py` | DNS、WHOIS、SSL、HTTP 头、技术指纹、风险评分、页面爬取、WP 扫描 | | IP OSINT | `c_ip_osint.py` | IP 地理定位、ASN 和路由、被动 DNS、反向 IP、端口探测、滥用信誉 | ███████████████████████████████████████████████ ███████████████████████████████████████████████ ## 电话 OSINT 工具 ### 使用方法 ``` python c_phone_osint.py ``` ### 可选参数 ``` python c_phone_osint.py --save # Saves full report to JSON after scan completes ``` ### （某种程度上）实现完整功能的必要设置！！ #### 此工具支持两个可选 API 密钥以获取额外输出 #### 您可以在 `c_phone_osint.py` 中设置这些 1. 生成一个 IPQS API 密钥并设置 `IPQS_API_KEY: str = '' # 将其放入此处` 2. 生成一个 SerpAPI API 密钥并设置 `SERPAPI_KEY: str = '' # 将其放入此处` ### 使用流程 1. 系统将分别提示您输入国家代码、区号和电话号码的其余部分 2. 主报告会在输入后立即生成 3. 然后会询问您是否运行明网提及扫描 — 默认是 **否** 4. 如果扫描发现超过 10 个结果，系统将提示您是否将完整结果保存为 `.json` 文件 ### 工作原理 - 使用 phonenumbers 库评估号码有效性、国家/地区、线路类型、运营商信息和时区 - 通过对 SkipCalls 服务的外部查询确定垃圾电话可能性 - 通过对 Nominatim（openstreetmap）的外部查询获取大致地理坐标 - 如果提供了有效的 IPQS API 密钥，报告中将添加额外数据，如禁止来电列表状态 - 如果提供了有效的 SerpApi API 密钥且运行了明网提及扫描，该工具将查询 SerpAPIs 的 Google 和 DuckDuckGo 搜索 API，以不同格式搜索该号码在明网上的提及情况 ### 截图 #### 无有效 IPQS API 密钥时的报告：  #### IPQS 密钥为报告添加的内容：  #### 明网提及扫描（仅在有有效 SerpAPI 密钥时有效）：  #### 如果超过十个结果：  ### 注意事项： #### 使用 SkipCalls 进行垃圾电话可能性检查远非完美，会产生很多假阴性，但目前没有多少真正免费的服务提供对已知垃圾号码大型数据集的程序化访问，所以只能凑合着用，直到我找到更好的方法。 #### phonenumbers 库的运营商检测对美国号码尤其不准确，付费服务会做得更好。但需要付费。 #### 地理编码是区域/城市级别的，不是很精确（这是预期的） #### IPQS 可能是一个非常难缠的服务。他们使用激进的重复免费账户预防软件，可能会使访问 API 变得非常困难，除非向他们付费。我的建议是，首次创建账户时，在不连接 VPN 或公共 WiFi 网络的情况下进行，并使用 Google 或 Safari 等浏览器。 ## ███████████████████████████████████████████████ ## 域名（URL）OSINT 工具 ### 使用方法 ``` python c_domain_osint.py ``` ### 可选参数 ``` python c_domain_osint.py --save # Saves full report to JSON after scan completes ``` ### 使用流程 1. 系统将提示您输入目标域名和最大页面爬取限制（1-50，默认 20） 2. DNS、WHOIS、SSL、HTTP 头、技术指纹和计算的风险评分会自动运行 3. 系统将提示您是否运行 URL 威胁扫描 4. 系统将提示您是否运行端口扫描，该扫描通过原始套接字对解析后的 IP 检查 14 个常见端口 5. 系统将提示您是否运行页面爬取，该功能会访问目标域名上最多您指定限制的页面，收集电子邮件、内部链接和外部域名引用 6. 系统将提示您是否在最后保存报告，或传入 `--save` 跳过提示 ### 工作原理 - 通过 DNS 解析 A、PTR（反向 DNS）、MX、NS 和 TXT 记录 - 获取 WHOIS 注册数据，包括注册商、创建日期、到期日和名称服务器 - 检索并解析 SSL/TLS 证书，包括颁发者、到期日、剩余天数和主题备用名称 - 获取 HTTP 响应头并检查关键安全头的存在或缺失，映射漏洞 - 探测敏感路径并报告 HTTP 状态、暴露级别和上下文说明 - 评估内容安全策略 - 从头文件和 HTML 中识别 Web 技术，包括 Web 服务器、CMS、JS 框架、CDN 和托管提供商 - 如果检测到 WordPress，最多从 4 个来源提取版本，映射到已知 CVE，并检查暴露的端点 - 计算被动风险评分（0-100），来源于已收集的数据 - 可选对解析后的 IP 运行端口扫描，覆盖 14 个常见端口 - 可选抓取公共数据源以获取恶意软件、网络钓鱼、垃圾邮件和风险评分数据 - 可选横向爬取目标域名至页面限制，提取电子邮件，映射内部页面链接，并编目所有引用的外部域名 ### 截图 #### 初始提示：  #### 主扫描：    #### 敏感路径探测  #### 常见端口扫描及状态  #### 爬取结果（电子邮件、外部域名、内部链接）：  ### 注意事项 #### 爬取在请求之间使用 1 秒延迟，以对目标服务器保持礼貌。在页面较多的网站上，会达到 50 页的上限。如果检测到链接但由于页面限制导致爬取提前停止，工具会发出警告，您随时可以提高限制（请谨慎操作）。 #### 在互联网上爬取/抓取互联网上的特定网站可能不好/错误/违法/违反服务条款，这是一个主观问题 #### 截至 2026 年 4 月，此工具可以抓取受 Cloudflare 和其他 CDN 保护的网站，提取电子邮件和链接。 #### 技术指纹识别基于头文件和静态 HTML。客户端渲染的站点可能无法通过这种方式揭示其完整技术栈，如果站点主动抑制识别头文件，某些检测可能缺失或不准确。 #### URL 威胁扫描抓取公共网页而不是使用 API页面结构发生变化可能会失效，在这种情况下，工具应将该部分报告为不可用，但不影响扫描的其余部分。 #### WHOIS 数据可用性各异。隐私保护的域名将返回最少的注册人信息，某些 TLD 会对 WHOIS 查询进行限流或直接阻止。 #### 计算的风险评分是一个被动系统，来源于您自己的扫描数据。它不能替代专用的威胁情报源，应作为指标而非确定性评估。 ## ███████████████████████████████████████████████ ## IP OSINT 工具 ### 使用方法 ``` python c_ip_osint.py ``` ### 可选参数 ``` python c_ip_osint.py --save # Saves full report to JSON after scan completes ``` #### 此工具支持两个可选 API 密钥以获取额外输出 #### 您可以在 `c_ip_osint.py` 中设置这些 1. 生成一个 AbuseIPDB API 密钥并设置 `ABUSEIPDB_API_KEY: str = ''` 2. 生成一个 Shodan API 密钥并设置 `SHODAN_API_KEY: str = ''` ### 使用流程 1. 系统将提示您输入目标 IP 地址（IPv4 或 IPv6） 2. 如果 IP 是私有或回环地址，将运行本地接口扫描然后工具退出 3. 对于公共 IP，地理定位、ASN、路由、被动 DNS 和反向 IP 查询会自动运行 4. 如果设置了 API 密钥，AbuseIPDB 和 Shodan 丰富会自动运行（没有也可以） 5. 系统将提示您是否运行 10 个数据包的 ICMP ping 6. 系统将提示您是否运行常见端口探测 7. 系统将提示您是否保存报告，或传入 `--save` 跳过提示 #### 重要提示：此脚本每天每个 IP 可以运行 100 次，之后报告的反向 IP 部分可能停止工作；每天每个 IP 可以运行 1000 次，之后地理定位/ASN 解析部分将停止工作。这是因为 Hackertarget 和 Ipapi 免费套餐的限制。 #### 简而言之：一天内不要运行 `c_ip_osint.py` 超过 100 次。 ### 工作原理 - 对 IP 进行分类（公共/私有/回环，IPv4/IPv6）并进行反向 DNS 查询 - 对于私有或回环地址，收集并显示本地网络接口信息（IP、MAC、子网掩码）然后退出 - 从 ipapi.co 获取地理定位、时区和 ASN 数据 - 向 RIPEstat 查询 BGP 前缀、公告状态、RIR 分配、ASN 持有者、滥用联系人和路由对等方 - 从 RIPEstat 获取被动 DNS 记录，显示哪些域名历史上曾解析到目标 IP，创建递归 DNS 链 - 如果设置了有效的 AbuseIPDB 密钥，获取该 IP 的滥用置信度、总报告数、不同的报告者和使用类型 - 检查目标 IP 是否在 Tor 项目发布的大批量出口节点列表中 - 根据 ASN 名称、组织字符串和 BGP 前缀大小将主机分类为数据中心/云、住宅 ISP 或移动运营商，包含置信度和支持信号 - 通过查询 HackerTarget 执行反向 IP 查找，提取 TLS 证书 SAN，并交叉引用 Shodan 和被动 DNS 记录，以枚举托管在目标上的域。每个发现的域随后会使用伪造的 Host 头进行 HTTP 探测，以确认实时服务，显示页面标题和状态码 - 如果设置了有效的 Shodan 密钥，从 Shodan 的爬取数据中获取开放端口、服务横幅、主机名、操作系统和标签 - 可选发送 ICMP 请求以测量往返时间和抖动，将显示延迟和丢包情况，如果主机似乎在过滤 ICMP 会有说明 - 可选通过直接 TCP 连接并发探测约 24 个常见端口，对文本协议端口进行横幅抓取 通过 执行多源反向 IP 查找。 ### 截图 #### 初始扫描：  #### ASN 和 DNS 部分的扫描：   #### 反向 IP 和域名映射  #### ICMP ping  #### 端口扫描（和保存）：  ### 注意事项 #### 私有和回环 IP（例如 192.168.x.x、10.x.x.x、127.0.0.1）仅触发本地模式。 #### 地理定位精度是不完美的猜测，因 IP 和提供商而异。ISP 拥有的地址块可能仅解析到国家或地区级别。 #### 被动 DNS 覆盖率取决于 RIPEstat 观察到的内容。许多 IP，特别是与托管域名无关的 IP，将不返回任何记录。 #### DNS 链解析取决于可用的反向 DNS 主机名。如果反向 DNS 没有返回任何内容且被动 DNS 没有记录，则不会获取链。 #### 端口探测使用短 TCP 连接超时和并发线程以保持快速，结果是指示性的而非详尽的。丢弃数据包而不是拒绝数据包的防火墙将导致端口静默超时，可能导致假阴性。 #### 0 分并不能保证 IP 是干净的，100 分也不意味着它一定是恶意的

标签：ESC4, GitHub, IP地址查询, OSINT, Python, Spiderfoot, Splunk, 信息搜集, 商业软件, 域名查询, 威胁情报, 实时处理, 开发者工具, 情报收集, 数字取证, 无后门, 漏洞研究, 电话查询, 网络安全, 自动化脚本, 逆向工具, 隐私保护