ketaminepop/OpenIntel-Darkweb-and-Surface-Web-Monitoring.

## 📌 什么是 OPEN INTEL？ **OPEN INTEL** 是一个为安全研究人员和威胁分析师构建的综合性开源 OSINT（开源情报）平台。它将**通过 Tor 进行的暗网监控**、**表网情报收集**和**AI 驱动的威胁分析**结合到一个统一的 Streamlit 仪表板中。 本项目作为网络安全研究项目构建，旨在演示与 **SOC 分析师操作**相一致的实际威胁情报工作流。 ## ✨ 特性 | 模块 | 描述 | |--------|-------------| | 🧅 **暗网扫描** | 并发查询 17 个 Tor 搜索引擎以获取目标情报 | | 📋 **粘贴监视器** | 监控 Pastebin、GitHub 和 IntelX 以发现泄露的数据 | | 🔐 **泄露验证器** | 多源电子邮件泄露检查 (HIBP, LeakLookup, 本地数据库) | | 📡 **实时监视器** | 持续后台扫描并提供实时警报 | | 🌐 **表网 OSINT** | WHOIS、DNS 侦察、子域名枚举、技术指纹识别 | | 🔍 **域名和 IP 情报** | IP 情报、ASN 信誉、区域传送检查 | | 👤 **身份 OSINT** | 跨 50+ 平台的用户名追踪、电子邮件/电话分析 | | 🦠 **威胁情报** | 通过 AlienVault OTX、URLhaus、MalwareBazaar、ThreatFox 进行 IOC 扩充 | | 🤖 **AI 分析** | 通过 Groq（免费套餐）使用 LLaMA-3.3-70B 进行威胁分析 | | 📄 **报告导出** | 将完整情报报告下载为 Markdown 或 JSON | ## 🚀 快速开始 ### 前置条件 - Python 3.8+ - 已安装并正在运行 Tor - Git ### 1. 克隆仓库 ``` git clone https://github.com/namanvaishnav/openintel.git cd openintel ``` ### 2. 安装依赖 ``` pip install -r requirements.txt ``` ### 3. 设置环境变量 ``` # 复制示例 env 文件 cp .env.example .env # 编辑 .env 并添加您的 API 密钥 nano .env ``` 你的 `.env` 文件应如下所示： ``` GROQ_API_KEY=your_groq_api_key_here ``` ### 4. 启动 Tor ``` # Linux / WSL sudo service tor start # macOS (Homebrew) brew services start tor # 验证 Tor 正在运行 curl --socks5-hostname 127.0.0.1:9050 https://check.torproject.org/api/ip ``` ### 5. 运行应用 ``` streamlit run app.py ``` 在浏览器中打开 `http://localhost:8501` ## 🔑 API 密钥配置 OPEN INTEL 支持两种提供你的 Groq API 密钥的方式： ### 选项 A — 侧边栏 UI（无需设置） 只需在应用加载时将密钥粘贴到侧边栏的 **🤖 AI 配置**部分。密钥绝不会被存储。 ### 选项 B — .env 文件（推荐常规使用） ``` cp .env.example .env # 将您的密钥添加到 .env GROQ_API_KEY=gsk_your_key_here ``` ## 📁 项目结构 ``` openintel/ ├── app.py # Main Streamlit application & UI ├── search.py # Dark web search engine queries via Tor ├── scrape.py # Web scraping, paste monitoring, breach check ├── surface_web.py # Surface web OSINT modules (12 functions) ├── requirements.txt # Python dependencies ├── .env.example # Environment variable template ├── .gitignore # Git ignore rules (protects .env) └── README.md # This file ``` ## 🛠️ 技术栈 | 技术 | 用途 | |------------|---------| | **Streamlit** | Web UI 框架 | | **Tor / SOCKS5** | 暗网匿名化和路由 | | **BeautifulSoup4** | HTML 解析与抓取 | | **Requests + PySocks** | 通过 Tor 代理发起 HTTP 请求 | | **Stem** | Tor 控制协议（身份轮换） | | **Groq API + LLaMA 3.3 70B** | AI 驱动的威胁分析 | | **Agno** | AI 代理框架 | | **ThreadPoolExecutor** | 并发扫描 | | **python-dotenv** | 环境变量管理 | ## 🔒 安全与隐私 - 所有暗网查询均通过 **Tor** 路由 (`socks5h://127.0.0.1:9050`) - 支持 **Tor 身份轮换**（按需建立新电路） - API 密钥**绝不会被记录、存储或传输**到 API 调用之外 - `.env` 包含在 `.gitignore` 中 — 你的密钥永远不会传到 GitHub - 仅为**经授权的安全研究**而构建 ## ⚙️ 配置选项 | 设置 | 默认值 | 描述 | |---------|---------|-------------| | 抓取线程 | 20 | 并发抓取工作线程数 | | 最大链接数 | 15 | 每次扫描抓取的最大链接数 | | 搜索工作线程 | 12 | 并发搜索引擎查询数 | | 粘贴监控 | ✅ | 启用粘贴站点扫描 | | AI 分析 | ✅ | 启用 LLaMA 威胁分析 | | 过滤重复项 | ✅ | 对 onion 域名进行去重 | | 生成报告 | ✅ | 自动生成可下载报告 | ## 📖 模块详情 ### 🧅 暗网扫描 并发查询 **17 个基于 Tor 的搜索引擎**，包括 Ahmia、Tor66、DarkSearch 等。对结果进行抓取、去重，并分析其关键字相关性。相关发现将被送入 AI 分析流水线。 ### 📋 粘贴监视器 使用以下多源粘贴监控： - **Psbdmp** — Pastebin 索引搜索 - **GitHub Code Search** — 公开代码仓库扫描 - **IntelX Phonebook** — Intelligence X 公开搜索 ### 🔐 泄露验证器 三层泄露检测： 1. HIBP 非官方统一搜索 2. LeakLookup 免费公共 API 3. 基于本地域的泄露数据库（离线备用） ### 🌐 表网 OSINT（12 个模块） WHOIS/RDAP · DNS 侦察 · 子域名枚举 · IP 情报 · 用户名追踪 (50+ 平台) · Google Dorking · Wayback Machine · 电子邮件 OSINT · 电话情报 · 证书透明度 · 技术指纹识别 · 安全审计 ### 🦠 威胁情报 — IOC 扩充 支持：**IP · 域名 · URL · 哈希 (MD5/SHA1/SHA256)** 来源：AlienVault OTX · URLhaus · MalwareBazaar · ThreatFox ## ⚠️ 免责声明 ## 👤 作者 **Naman Vaishnav** 网络安全研究员 | CEH 认证 | TryHackMe 前 3% | B.Tech IT — CHARUSAT 大学 [](https://linkedin.com/in/ketaminepop) [](https://tryhackme.com/p/KetaminePop) [](mailto:vaishnavnaman150@gmail.com) ## 📄 许可证 MIT 许可证 — 详见 [LICENSE](LICENSE)。

标签：AI安全分析, Atomic Red Team, DInvoke, DLL 劫持, ESC4, Kubernetes, LLaMA 3.3 70B, OSINT, Python, SOC分析师, Streamlit, Sysdig, Tor网络, Web仪表盘, 大语言模型, 威胁分析, 威胁情报, 字符串匹配, 安全分析师, 安全运营中心, 实时处理, 开发者工具, 情报收集, 数据泄露, 数据泄露检测, 无后门, 暗网扫描, 暗网监控, 漏洞研究, 网络安全, 网络映射, 自动化侦查工具, 表面网络, 访问控制, 逆向工具, 防御监控, 隐私保护