ATHARV107/OSINT-Intelligence-Dashboard
GitHub: ATHARV107/OSINT-Intelligence-Dashboard
一个集成多源 API 与自动化抓取的 OSINT 情报平台,通过跨源数据对比为 IP 地址和域名生成一致性分析报告。
Stars: 0 | Forks: 0
# OSINT 情报仪表板
一个综合性的 OSINT (Open Source Intelligence) 平台,结合官方 API 和自动化网络抓取来分析 IP 地址和域名。
## 功能
* **Web 仪表板:** 基于 Flask 的界面,便于交互。
* **多源情报:** 汇总来自 VirusTotal、IPInfo、AbuseIPDB、SecurityTrails 等的数据。
* **隐身抓取:** 针对 IPQualityScore、Scamalytics 和 ProxyCheck 的自动化模块。
* **一致性报告:** 比较多个来源的数据以突出差异。
* **数据库集成:** 将所有搜索历史和报告存储在 PostgreSQL 中。
## 前置条件
* **Python 3.8+**
* **PostgreSQL** (数据库)
* **Microsoft Edge 浏览器** (抓取模块必需)
* **Microsoft Edge WebDriver** (必须与您的浏览器版本匹配)
## 安装指南
### 1. 数据库设置
1. 确保已安装并运行 PostgreSQL。
2. 创建一个新数据库(例如 `osint_db`)。
3. 运行设置脚本以创建必要的表:
psql -U postgres -d osint_db -f db_setup.sql
### 2. 环境设置
1. 创建一个虚拟环境:
python -m venv venv
source venv/bin/activate # 在 Windows 上:venv\Scripts\activate
2. 安装依赖项:
pip install -r requirements.txt
### 3. 配置
1. 打开 `config.ini`。
2. **数据库部分:** 使用您的数据库凭据(主机、用户、密码、数据库名称)更新 `[POSTGRESQL]` 部分。
3. **API 密钥:** 在 `[API_KEYS]` 部分输入您的 API 密钥。该工具需要 VirusTotal、IPInfo 等服务的有效密钥才能全面运行。
### 4. WebDriver 设置
1. 检查您的 Edge 浏览器版本(设置 > 关于 Microsoft Edge)。
2. 从以下位置下载匹配的 **Edge WebDriver**:[Microsoft Edge WebDriver](https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/)
3. 将 `msedgedriver.exe` 文件放在项目根目录中,或者将其添加到您的系统 PATH 中。
## 用法
### 方法 1:Web 界面(推荐)
运行 Flask 应用程序以使用图形化仪表板。
```
python app.py
### 方法 2:Command Line Interface (CLI)
You can run specific scans directly from the terminal.
**Standard Scan (APIs only):**
```bash
python osint_tool.py --task all --targets 8.8.8.8
Command :
Deep Scan (APIs + Web Scraping):
python osint_tool.py --task all --targets 8.8.8.8 --scrape
Project Structure
app.py: Main Flask web server.
osint_tool.py: Core logic controller.
scraper_manager.py: Manages sequential execution of Selenium scrapers.
db_handler.py: Handles PostgreSQL database interactions.
data_normalizer.py: Standardizes data formats from different APIs.
templates/: HTML frontend templates.
output/: Directory where CSV reports are generated.
Troubleshooting
Browser Errors: Ensure msedgedriver matches your installed Edge version.
Database Connection: Verify credentials in config.ini and ensure the PostgreSQL service is running.
Missing Data: Check that your API keys in config.ini are valid and have quota remaining.
```
标签:ESC4, Flask, GitHub, IP分析, OSINT, PostgreSQL, Ubuntu, Web爬虫, 威胁情报, 安全研发, 实时处理, 开发者工具, 测试用例, 网络情报, 逆向工具