ATHARV107/OSINT-Intelligence-Dashboard

GitHub: ATHARV107/OSINT-Intelligence-Dashboard

一个集成多源 API 与自动化抓取的 OSINT 情报平台,通过跨源数据对比为 IP 地址和域名生成一致性分析报告。

Stars: 0 | Forks: 0

# OSINT 情报仪表板 一个综合性的 OSINT (Open Source Intelligence) 平台,结合官方 API 和自动化网络抓取来分析 IP 地址和域名。 ## 功能 * **Web 仪表板:** 基于 Flask 的界面,便于交互。 * **多源情报:** 汇总来自 VirusTotal、IPInfo、AbuseIPDB、SecurityTrails 等的数据。 * **隐身抓取:** 针对 IPQualityScore、Scamalytics 和 ProxyCheck 的自动化模块。 * **一致性报告:** 比较多个来源的数据以突出差异。 * **数据库集成:** 将所有搜索历史和报告存储在 PostgreSQL 中。 ## 前置条件 * **Python 3.8+** * **PostgreSQL** (数据库) * **Microsoft Edge 浏览器** (抓取模块必需) * **Microsoft Edge WebDriver** (必须与您的浏览器版本匹配) ## 安装指南 ### 1. 数据库设置 1. 确保已安装并运行 PostgreSQL。 2. 创建一个新数据库(例如 `osint_db`)。 3. 运行设置脚本以创建必要的表: psql -U postgres -d osint_db -f db_setup.sql ### 2. 环境设置 1. 创建一个虚拟环境: python -m venv venv source venv/bin/activate # 在 Windows 上:venv\Scripts\activate 2. 安装依赖项: pip install -r requirements.txt ### 3. 配置 1. 打开 `config.ini`。 2. **数据库部分:** 使用您的数据库凭据(主机、用户、密码、数据库名称)更新 `[POSTGRESQL]` 部分。 3. **API 密钥:** 在 `[API_KEYS]` 部分输入您的 API 密钥。该工具需要 VirusTotal、IPInfo 等服务的有效密钥才能全面运行。 ### 4. WebDriver 设置 1. 检查您的 Edge 浏览器版本(设置 > 关于 Microsoft Edge)。 2. 从以下位置下载匹配的 **Edge WebDriver**:[Microsoft Edge WebDriver](https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/) 3. 将 `msedgedriver.exe` 文件放在项目根目录中,或者将其添加到您的系统 PATH 中。 ## 用法 ### 方法 1:Web 界面(推荐) 运行 Flask 应用程序以使用图形化仪表板。 ``` python app.py ### 方法 2:Command Line Interface (CLI) You can run specific scans directly from the terminal. **Standard Scan (APIs only):** ```bash python osint_tool.py --task all --targets 8.8.8.8 Command : Deep Scan (APIs + Web Scraping): python osint_tool.py --task all --targets 8.8.8.8 --scrape Project Structure app.py: Main Flask web server. osint_tool.py: Core logic controller. scraper_manager.py: Manages sequential execution of Selenium scrapers. db_handler.py: Handles PostgreSQL database interactions. data_normalizer.py: Standardizes data formats from different APIs. templates/: HTML frontend templates. output/: Directory where CSV reports are generated. Troubleshooting Browser Errors: Ensure msedgedriver matches your installed Edge version. Database Connection: Verify credentials in config.ini and ensure the PostgreSQL service is running. Missing Data: Check that your API keys in config.ini are valid and have quota remaining. ```
标签:ESC4, Flask, GitHub, IP分析, OSINT, PostgreSQL, Ubuntu, Web爬虫, 威胁情报, 安全研发, 实时处理, 开发者工具, 测试用例, 网络情报, 逆向工具