# 🛡️ OMNISCIENT V3
### 终极侦察与对抗模拟框架
[](LICENSE)
[]()
[]()
[](https://www.gnu.org/software/bash/)
[]()
[]()
[]()
[]()
[]()
[]()
## 📖 目录
- [🌟 为什么选择 Omniscient？](#-why-omniscient)
- [🚀 核心功能](#-key-features)
- [📸 可视化流水线](#-visual-pipeline)
- [⚡ 快速开始](#-quick-start)
- [📦 环境要求](#-requirements)
- [🔧 安装指南](#-installation)
- [⚙️ 配置说明](#️-configuration)
- [📘 用法与示例](#-usage--examples)
- [🔄 侦察阶段](#-reconnaissance-phases)
- [🧠 AI 与机器学习](#-ai--machine-learning)
- [🌐 分布式执行](#-distributed-execution)
- [📊 报告与可视化](#-reporting--visualisation)
- [📂 输出结构](#-output-structure)
- [🔐 安全、隐私与合规](#-security-privacy--compliance)
- [❓ 故障排除](#-troubleshooting)
- [🤝 贡献与支持](#-contributing--support)
- [📜 许可证](#-license)
- [❗ 最终免责声明](#-final-disclaimer)
## 🌟 为什么选择 Omniscient？
现代攻击面是**庞大的**、**动态的**，并且**日益复杂**。传统的侦察工作流存在以下问题：
- **碎片化** – 需要同时操作数十种工具，每种工具都有自己的输出格式。
- **缓慢** – 顺序执行浪费时间和资源。
- **不完整** – 在云、IoT、供应链和暗网方面存在盲点。
- **不可审计** – 没有不可变的操作记录用于合规性或红队报告。
**Omniscient V3** 通过以下方式解决这些挑战：
- **统一了 130 多种顶级安全工具**，整合到单一、连贯的流水线中。
- **利用 AI 增强结果** – 使用 GAN、强化学习和深度神经网络来预测子域、endpoint、漏洞和漏洞利用链。
- **跨 Kubernetes、AWS Lambda、Docker Swarm 或 Slurm 分发工作负载**，以实现**大规模并行化**。
- **嵌入高级隐蔽技术** – Tor、代理链、后量子加密 (Kyber-1024) 和隐写术，用于模拟复杂的对手。
- **通过区块链锚定日志（Ethereum 智能合约）提供不可变的审计跟踪** – 这对于红队演练和法规合规性至关重要。
- **自我修复编排**，具备动态线程扩展、eBPF 内核监控和 Apache Airflow 集成功能。
无论您是 **bug bounty 猎人**、**红队专家**、**安全研究员**，还是 **DevSecOps 工程师**，Omniscient 都能让您比以往更快、更深、更可靠地发现漏洞，从而获得竞争优势。
## 🚀 核心功能
|
#### 🔍 **超深度侦察**
- **子域枚举** – 20 多种工具（Amass、Subfinder、Chaos、Shodan、Censys 等）
- **URL/endpoint 发现** – GAU、Katana、Wayback、ParamSpider、Arjun、API-Scout 等
- **网络扫描** – Nmap、Masscan、Rustscan、Zmap、DNSRecon、WAFW00F 等
- **漏洞扫描** – Nuclei（60 多个模板）、Dalfox、Nikto、ZAP、Xray、Arachni 等
- **云与容器** – CloudSploit、Trivy、ScoutSuite、Kube-Hunter、Docker Bench 等
- **IoT/OT 发现** – Shodan、Censys、Fingerprintx、SCADA 脚本
- **暗网与深网** – 通过 Tor 支持抓取 .onion 泄露网站和市场
- **供应链分析** – SBOM 生成（Grype、Syft）、依赖风险评分
- **区块链情报** – Bitcoin/Ethereum 地址追踪、交易分析
|
#### 🧠 **AI 增强分析**
- **基于 GAN 的子域排列** – 生成逼真的、未见过的子域
- **endpoint 预测** – 基于 ML 的 API 路径和参数猜测
- **Zero-day 优先级排序** – 预测可利用性的强化学习模型
- **自动化漏洞利用链** – AI 将多个漏洞关联起来以进行多步攻击
- **动态风险评分** – 结合 CVSS、暗网提及、供应链风险的上下文感知评分
- **Deepfake OSINT 检测** – 识别合成媒体威胁
- **资源优化** – 根据系统负载实时扩展线程/GPU
|
|
#### 🚀 **分布式与高性能**
- **编排后端**：Kubernetes、Slurm、AWS Lambda、Docker Swarm、Airflow
- **GPU/TPU 加速** – CUDA、TensorRT、Coral，实现极速 AI 推理
- **基于 Redis 的分布式缓存** – 去重与加速
- **eBPF 内核级监控** – 容器和网络洞察
- **自适应线程** – 自动扩展并发任务，同时避免系统过载
|
#### 🛡️ **隐蔽与规避**
- **Tor 与代理链** – 随机的高匿名代理，支持自动轮换
- **Anti-WAF 与指纹混淆** – Header 随机化、JA3/JARM 伪造
- **后量子加密** – 使用 Kyber-1024 进行密钥交换，AES-384 用于数据
- **隐写渗出** – 将数据隐藏在图像或网络流量中
- **签名混淆** – 实时 payload 变异（教育模式）
|
|
#### 📜 **区块链审计与合规**
- **JSONL 结构化日志**，带有信任链哈希 (SHA-512)
- **Ethereum 智能合约** – 为防篡改的审计跟踪锚定哈希
- **自动范围验证** – 针对 HackerOne、Bugcrowd、Intigriti、YesWeHack 进行验证
- **预置合规性报告** – 符合 NIST 800-53、GDPR、CCPA、ISO 27001 标准
|
#### 📊 **多格式报告**
- **导出格式**：PDF、JSON、CSV、HTML、交互式图表、VR (Blender)
- **实时仪表盘** – 基于 Web、3D 拓扑图
- **SIEM 与协作**：Slack、Discord、Teams、Splunk、ELK webhooks
|
## 📸 可视化流水线
```
┌─────────────────────────────────────────────────────────────────────┐
│ OMNISCIENT V3 PIPELINE │
├─────────────────────────────────────────────────────────────────────┤
│ [Phase 1] Setup & Tool Check → Install missing tools, load plugins, init cache │
│ [Phase 2] Compliance Check → Validate against bug bounty scopes │
│ [Phase 3] Subdomain Enum → 20+ tools + AI GAN permutations │
│ [Phase 4] URL Discovery → Live hosts, endpoints, JS analysis, API guessing│
│ [Phase 5] Network Recon → Port scan, service detection, WAF fingerprint │
│ [Phase 6] Vulnerability Scan → Nuclei, Dalfox, Nikto, ZAP, CVE correlation │
│ [Phase 7] Cloud/Container → CloudSploit, Trivy, Scout, Kube‑Hunter │
│ [Phase 8] Exploit Validation → SQLi, RCE, Metasploit, C2 (if enabled) │
│ [Phase 9] Threat Intelligence → OTX, VT, GreyNoise, Censys, Recorded Future │
│ [Phase 10] OSINT & Social → TheHarvester, Maltego, Deepfake detection │
│ [Phase 11] Code Repo Scan → TruffleHog, Gitleaks, Semgrep, dependency scan │
│ [Phase 12] Dark Web → Tor‑enabled leak and marketplace searches │
│ [Phase 13] IoT/OT Discovery → Shodan/Censys for ICS/SCADA │
│ [Phase 14] Supply Chain & Block → SBOM, dependency risks, crypto tracking │
│ [Phase 15] Reporting & Stegano → Generate encrypted reports, optional exfil │
└─────────────────────────────────────────────────────────────────────┘
```
所有阶段在可能的情况下并行运行，并具有动态线程分配和基于 Redis 的缓存，以实现最佳速度。
## ⚡ 快速开始
```
# 1. Clone 并设置权限
git clone https://github.com/your-org/omniscient.git
cd omniscient && chmod +x recon1.sh
# 2. 导出你的 API 密钥（可选但推荐）
source /path/to/api_keys.conf # or use Vault/YubiKey
# 3. 对单个 domain 运行全面扫描
./recon1.sh example.com
# 4. 在多个 targets 上运行并禁用 stealth（内部 lab）
TOR_ENABLED=false STEALTH_MODE=false ./recon1.sh internal.example.com
```
首次运行时，脚本将尝试自动安装缺失的工具。
如需受控安装，请按照以下完整步骤操作。
📦 环境要求
· 操作系统：Linux（Kali、Ubuntu 20.04+、Parrot、Debian）– WSL2 在有限制的情况下受支持。
· 架构：x86_64（大多数工具支持 ARM64）。
· 依赖项：130 多种外部工具 – 请参阅脚本内部的 REQUIRED_TOOLS。脚本会自动安装缺失的工具。
· API 密钥（可选，但强烈建议配置以获得全部功能）：
· Shodan、ZoomEye、Censys、SecurityTrails、VirusTotal、GreyNoise、OTX、BinaryEdge、Netlas、Recorded Future、ThreatConnect、Dark Web API 等。
· 硬件最低要求：8 GB 内存，4 个 CPU 核心，50 GB 可用磁盘空间。
· GPU（可选）：具备 CUDA 11+ 的 NVIDIA GPU，用于 AI 加速。
· Tor（可选）：用于匿名路由和暗网模块。
· 字典列表：将您的自定义字典放置在 /opt/wordlists 中（子域、排列、目录、用户名/密码列表）。
🔧 安装指南
1. 系统依赖项
```
sudo apt update && sudo apt upgrade -y
sudo apt install -y curl wget git jq nmap masscan whois dnsutils parallel tor proxychains redis-tools
```
2. 安装 Go（许多现代安全工具必需）
```
wget https://go.dev/dl/go1.22.5.linux-amd64.tar.gz
sudo rm -rf /usr/local/go && sudo tar -C /usr/local -xzf go1.22.5.linux-amd64.tar.gz
echo 'export PATH=$PATH:/usr/local/go/bin:$HOME/go/bin' >> ~/.bashrc
source ~/.bashrc
```
3. 安装核心侦察工具（示例子集）
脚本会自动安装大多数工具，但您可以预先安装必需的工具：
```
# ProjectDiscovery suite
go install -v github.com/projectdiscovery/subfinder/v2/cmd/subfinder@latest
go install -v github.com/projectdiscovery/httpx/cmd/httpx@latest
go install -v github.com/projectdiscovery/nuclei/v3/cmd/nuclei@latest
go install -v github.com/projectdiscovery/katana/cmd/katana@latest
go install -v github.com/projectdiscovery/naabu/v2/cmd/naabu@latest
go install -v github.com/projectdiscovery/dnsx/cmd/dnsx@latest
# 其他必备工具
go install -v github.com/tomnomnom/assetfinder@latest
go install -v github.com/lc/gau/v2/cmd/gau@latest
go install -v github.com/hakluke/hakrawler@latest
```
4. Python AI 依赖项
```
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # if CUDA 11.8
pip3 install numpy pandas scikit-learn tensorflow onnx redis hiredis
```
5. API 密钥配置
创建一个安全文件（例如，/etc/recon_api_keys.conf），并将权限设为 600：
```
export SHODAN_API_KEY="your_key"
export ZOOMEYE_API_KEY="your_key"
export OTX_API_KEY="your_key"
export VT_API_KEY="your_key"
export CENSYS_API_ID="id"
export CENSYS_API_SECRET="secret"
export SECURITYTRAILS_API_KEY="..."
export HIBP_API_KEY="..."
export WPSCAN_API_TOKEN="..."
export HACKERONE_API_TOKEN="..."
export BUGCROWD_API_TOKEN="..."
export RECORDEDFUTURE_API_TOKEN="..."
export THREATCONNECT_API_TOKEN="..."
export NETLAS_API_KEY="..."
export BINARYEDGE_API_KEY="..."
export DARKWEB_API_KEY="..."
# ... 根据需要添加更多
```
然后 source 它：source /etc/recon_api_keys.conf。
或者，使用 HashiCorp Vault（设置 VAULT_ADDR 和 VAULT_TOKEN）或 YubiKey OATH-TOTP（设置 YUBIKEY_ID）。脚本将尝试从选定的来源加载密钥。
⚙️ 配置说明
所有行为均通过环境变量控制。在执行前导出它们或以内联方式设置。
变量 描述 默认值
THREADS 并行线程数 50000
RESOLVERS 逗号分隔的 DNS 解析器 8.8.8.8,1.1.1.1,9.9.9.9,…
OUTPUT_DIR 基础输出目录 recon-
ENCRYPT_DUMPS 使用 AES-384 加密敏感输出 true
ENCRYPT_KEY AES 密钥（如未设置则自动生成） 随机 48 字节
POST_QUANTUM_KEY 用于量子安全操作的 Kyber-1024 密钥 自动生成
SLACK_WEBHOOK Slack 接收 webhook 的 URL (空)
DISCORD_WEBHOOK Discord webhook URL (空)
SIEM_WEBHOOK 用于实时事件的 SIEM/Webhook endpoint (空)
API_KEYS_FILE API 密钥文件路径 /etc/recon_api_keys.conf
VAULT_ADDR HashiCorp Vault 地址 http://127.0.0.1:8200
VAULT_TOKEN Vault 身份验证令牌 (空)
KEYBASE_USER 用于密钥交换的 Keybase 用户 (空)
YUBIKEY_ID 用于 TOTP 的 YubiKey OATH ID (空)
HSM_DEVICE HSM 设备路径 /dev/hsm0
TOR_ENABLED 通过 Tor 路由所有流量 true
STEALTH_MODE 启用反检测（随机 UA、代理轮换） true
OBFUSCATE_FINGERPRINT 随机化 TLS/JA3 指纹 true
DISTRIBUTED_MODE 在集群中分发任务 true
GPU_ENABLED 为 AI 模型使用 GPU true
TPU_ENABLED 使用 TPU (Coral) 进行 AI 加速 false
AI_MODEL_DIR 自定义 AI 模型脚本路径 /opt/ai_models
C2_SERVER 用于 beaconing 的 C2 服务器（红队）(空，已禁用)
PERSISTENCE_ENABLED 启用持久化机制（教育目的） false
SUPPLY_CHAIN_SCAN 执行供应链分析 true
QUANTUM_SIGN 使用 Kyber-1024 量子安全签名 true
STEGANOGRAPHY_ENABLED 启用隐写渗出 true
CVE_LOOKUP 执行 CVE 关联 true
COMPLIANCE_CHECK 针对 bug bounty 范围验证目标 true
SIGN_LOGS 对所有日志进行加密签名 true
SIGN_KEY RSA-8192 签名密钥（自动生成） 自动生成
CACHE_DIR Redis 缓存目录 /tmp/recon_cache
REDIS_HOST Redis 主机 localhost
REDIS_PORT Redis 端口 6379
REDIS_CLUSTER 启用 Redis 集群模式 true
RATE_LIMIT 扫描工具的速率限制 1000
TIMEOUT 命令超时时间 60s
RETRY_COUNT 失败时的重试次数 10
REPORT_FORMATS 逗号分隔的报告格式 pdf,json,csv,html,graph,vr
BLIND_XSS Blind XSS 回调 URL https://your.interact.sh
BLOCKCHAIN_NODE Ethereum 节点 RPC URL http://localhost:8545
SMART_CONTRACT_ADDR 用于审计日志记录的智能合约 (空)
SCHEDULE_MODE 通过 Airflow/cron 计划扫描 false
AIRFLOW_HOST Apache Airflow 主机:端口 localhost:8080
PLUGIN_DIR 自定义插件目录 /opt/recon_plugins
📘 脚本头部记录了 60 多个可调参数的完整列表。
📘 用法与示例
基础扫描
```
./recon1.sh example.com
```
高级示例
🛑 警告：C2_SERVER、PERSISTENCE_ENABLED 和 EXPLOIT_MODE 量会激活主动攻击模块。未经书面法律授权，切勿使用。
计划扫描
如果 SCHEDULE_MODE=true，脚本将在 Airflow 中注册一个 DAG 以进行循环扫描。然后您可以通过 Airflow UI 或 API 触发它。
🔄 侦察阶段
脚本执行一个包含 14 个阶段的综合流水线（外加报告），每个阶段都包含多个并行任务：
阶段 名称 描述
1 设置与工具检查 自动安装缺失的工具，加载插件，初始化目录和 Redis 缓存。
2 合规性检查 针对 HackerOne、Bugcrowd、Intigriti、YesWeHack 范围验证目标。
3 子域枚举 20 多种工具，包括基于 AI 的 GAN 排列。
4 URL 与 endpoint 发现 实时主机探测、历史 URL 提取、JS 分析、API endpoint 猜测。
5 网络侦察 大规模端口扫描、服务检测、WAF 指纹识别、traceroute。
6 漏洞扫描 多种扫描器（Nuclei、Dalfox、Nikto、Zap 等）以及 CVE 关联。
7 云与容器扫描 CloudSploit、Trivy、ScoutSuite、Kube-Hunter、Docker 基准测试。
8 漏洞验证与恶意操作 SQLi、RCE 验证；C2 beaconing 和持久化（如果启用）。
9 威胁情报 OTX、VirusTotal、GreyNoise、Censys、Recorded Future、ThreatConnect、暗网。
10 OSINT 与社交媒体侦察 TheHarvester、Recon-NG、Maltego、Deepfake 检测。
11 代码仓库扫描 TruffleHog、Gitleaks、Semgrep、依赖项扫描。
12 暗网扫描 通过 Tor 搜索泄露和市场提及。
13 IoT/OT 发现 使用 Shodan/Censys 查找 ICS/SCADA、Modbus 枚举。
14 供应链与区块链分析 SBOM 生成、依赖项漏洞检查、加密货币地址追踪。
15 报告与隐写术 生成多格式的加密报告；可选的发现结果的隐写渗出。
所有阶段在可能的情况下并行运行，并具有动态线程分配和基于 Redis 的缓存，以实现最佳速度。
🧠 AI 与机器学习
Omniscient 在多个层面集成了 AI/ML：
模块 技术 目的
子域排列 生成对抗网络 (GAN) 从种子数据生成逼真的、从未见过的子域。
endpoint 预测 神经网络 预测 API endpoint、参数和隐藏路径。
漏洞优先级排序 强化学习 根据可利用性和业务影响对漏洞进行排序。
漏洞利用链 图神经网络 将漏洞链接为多步攻击路径。
风险评分 集成模型 结合 CVSS、暗网提及和供应链数据。
Deepfake OSINT 卷积神经网络 (CNN) 检测被篡改的媒体（图像、音频）。
资源优化 回归模型 根据负载自动扩展线程、GPU/TPU 使用率。
自定义 AI 模型可以放入 AI_MODEL_DIR 中，如果它们与预期的文件名匹配，将被自动调用。通过 GPU_ENABLED 和 TPU_ENABLED 启用 GPU/TPU 加速。
🌐 分布式执行
Omniscient 可以跨集群进行水平扩展：
· Kubernetes – 包含 Helm chart；生成并行 pod。
· Slurm – 适用于 HPC 环境。
· AWS Lambda – 无服务器函数执行。
· Docker Swarm – 容器化 worker。
· Apache Airflow – 编排复杂的 DAG。
设置 DISTRIBUTED_MODE=true 并通过 DISTRIBUTED_BACKEND 选择后端（默认：自动检测）。
任务在阶段级别进行分发，每个 worker 负责处理一部分目标或工具。
📊 报告与可视化
Omniscient 生成多种格式的丰富报告：
· PDF – 包含执行摘要的专业、可打印报告。
· HTML – 带有过滤器和下钻功能的交互式仪表盘。
· JSON/CSV – 机器可读，用于 SIEM 摄取和进一步分析。
· 图表 – 网络拓扑图（Neo4j 导出）。
· VR – 攻击面的 Blender 3D 可视化。
实时通知可以通过 webhook 推送到 Slack、Discord、Teams 或任何 SIEM endpoint。
📂 输出结构
所有结果都整齐地组织在带有时间戳的目录中：
```
recon-20260116-120000/
├── subdomains/ # Enumerated subdomains, AI-generated permutations
├── urls/ # Live URLs, endpoints, JS files, API paths
├── vulns/ # All vulnerabilities (Nuclei, XSS, Nikto, etc.)
├── network/ # Port scans, service banners, WAF data, traceroutes
├── cloud/ # Cloud misconfigurations (AWS, GCP, Azure)
├── containers/ # Docker/K8s security reports
├── threat_intel/ # OTX, VirusTotal, GreyNoise, etc.
├── exploits/ # Verified exploits, SQLMap dumps, Metasploit sessions
├── osint/ # Emails, social profiles, deepfake reports
├── repos/ # Leaked secrets, dependency vulnerabilities
├── iot/ # IoT device fingerprints
├── ot/ # SCADA/ICS discovery
├── darkweb/ # Tor‑scraped mentions
├── supply_chain/ # SBOM, dependency risks
├── blockchain/ # Crypto transaction analysis
├── logs/ # Signed JSONL audit trail, blockchain hashes
├── screenshots/ # Web page screenshots (Aquatone/Gowitness)
├── reports/ # Final reports (PDF, JSON, CSV, HTML, VR)
└── recon.jsonl # Structured event log with chain‑of‑trust hashing
```
🔐 安全、隐私与合规
· 静态加密：所有敏感输出（报告、转储、密钥）均使用 AES-384 加密。关键的交换使用量子安全的 Kyber-1024 签名。
· 不可变的审计日志：每个操作都经过哈希处理 (SHA-512)，并且该链可以锚定到 Ethereum 智能合约，从而提供防篡改的证据。
· 凭据管理：API 密钥绝不以明文形式存储。使用 HashiCorp Vault、YubiKey TOTP、HSM 或基于文件的模式（600），并带有可选的 GPG 加密。
· 密钥交换：通过 Keybase 或 HSM 支持的通道安全地共享会话密钥。
· 隐写渗出：结果可以隐藏在看起来无害的图像中，并发送到 C2 服务器（教育目的）。
· 无主动回传：该工具不传输任何遥测数据。所有数据都保留在本地或您控制的基础设施内。
· 合规性：针对 bug bounty 平台进行自动范围验证，并内置符合 NIST 800-53、GDPR、CCPA、ISO 27001 的对齐。
❓ 故障排除
问题 解决方案
缺失工具 脚本会尝试自动安装。如果工具失败，请手动安装并确保其在 $PATH 中。
Redis 连接被拒绝 确保 Redis 正在运行：sudo systemctl start redis-server。如果使用集群，请检查配置。
Tor 无法正常工作 验证 Tor 是否已安装并正在运行：sudo systemctl start tor。对于暗网模块，请确保 torify 正常工作。
未检测到 GPU 检查 NVIDIA 驱动程序和 CUDA 版本。设置 GPU_ENABLED=false 以回退到 CPU。
内存不足 减少 THREADS 或通过 RATE_LIMIT 限制并发。
API 密钥错误 验证密钥是否已正确导出并具有必要的权限。使用 log_json 查看详细的错误。
权限被拒绝 确保脚本和输出目录具有适当的所有权：sudo chown -R $USER:$USER ..
性能缓慢 启用分布式模式，增加 Redis 缓存大小，或者在不需要时减少阶段数。
如需进一步的帮助，请在 GitHub 上提交 issue 或查阅内部日志 (logs/recon.log)。
1. Fork 代码仓库。
2. 创建一个功能分支 (git checkout -b feature/AmazingFeature)。
3. 提交您的修改 (git commit -m 'Add some AmazingFeature')。
4. Push 到分支 (git push origin feature/AmazingFeature)。
5. 发起一个 Pull Request。
请确保您的代码有良好的文档记录，并在适用的情况下包含测试用例。
· 📧 电子邮件：aliheydari1381doc@gmail.com
· 💬 github：Ali-hey-0
· 🐛 telegram：ali_heyda
· 📚 文档：Wiki
📜 许可证
在 MIT 许可证下分发。有关更多信息，请参阅 LICENSE。
本项目仅供教育和授权研究目的使用。
❗ 最终免责声明
```
THIS TOOL IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED.
THE AUTHORS AND CONTRIBUTORS DISCLAIM ALL LIABILITY FOR ANY DAMAGES OR MISUSE.
USAGE OF THIS TOOL FOR UNAUTHORISED ACCESS TO SYSTEMS IS ILLEGAL AND STRICTLY PROHIBITED.
BY USING THIS SOFTWARE, YOU AGREE THAT YOU ARE SOLELY RESPONSIBLE FOR YOUR ACTIONS
AND WILL COMPLY WITH ALL APPLICABLE LAWS AND REGULATIONS.
```
🧠 祝您（符合道德地）愉快地进行黑客活动！