DevaanshiV/automated-osint-scraper

# 🕵️ 自动化 OSINT 数据抓取工具 ## 📋 目录 - [概览](#high-level-overview) - [前置条件](#prerequisites) - [安装](#installation) - [用法](#usage) - [使用的 API 端点](#api-endpoints-used) - [输出示例](#output-example) - [项目结构](#project-structure) - [故障排除](#troubleshooting) ## 🔍 概览 **自动化 OSINT 数据抓取工具**可对给定的域名执行被动侦察。它遵循模块化的情报工作流： 1. **输入** – 通过 regex 进行域名验证（支持子域名和多级 TLD）。 2. **DNS 枚举** – 查询 A、MX、TXT 和 NS 记录。如果可用，使用 `dnspython`；如果不可用，则平滑回退到内置的 `socket` 进行 A 记录解析。 3. **WHOIS 查询** – 提取注册商、创建/过期日期、名称服务器、注册人国家/地区以及联系邮箱。 4. **地理定位** – 通过免费的 **ip‑api.com** 服务解析首个 A 记录 IP，以获取国家/地区、区域、城市、坐标、ISP 和组织信息。 5. **报告** – 所有发现结果都将以带有时间戳标题的简洁 ASCII 格式终端报告呈现。 该脚本具有很高的弹性：所有外部调用均设置了超时（5–10 秒）并配备了平滑的错误处理机制。缺少可选依赖项不会中断执行，只会相应缩减功能集。 ## 📦 前置条件 | 依赖项 | 用途 | 安装命令 | |------------|---------|----------------------| | **Python 3.6+** | 运行环境 | [下载](https://python.org) | | `dnspython` | 高级 DNS 查询（A、MX、TXT、NS） | `pip install dnspython` | | `python‑whois` | WHOIS 注册数据 | `pip install python-whois` | ## 🚀 安装 ``` # 1. Clone 仓库 git clone https://github.com/yourusername/osint-scraper.git cd osint-scraper # 2. （推荐）创建并激活 virtual environment python3 -m venv venv source venv/bin/activate # On Windows: venv\Scripts\activate # 3. 安装可选依赖（如果您倾向于使用有限的功能，请跳过） pip install dnspython python-whois ```

标签：DNS枚举, GitHub, Python, WHOIS查询, 协议探测, 威胁情报, 安全侦察, 实时处理, 开发者工具, 无后门, 网络安全工具