amanyadav889/Simple-Web-Scraper-for-Threat-Intel

# 威胁情报简易 Web Scraper **实习 ID：** CITS7652 ## 概述 一款轻量级的 Python 工具，从两个公开的、合法的来源获取当前真实的威胁情报，并将其汇编成一份单一的报告： 1. **[URLhaus](https://urlhaus.abuse.ch/)**（由 abuse.ch 提供）—— 近期报告的、用于分发恶意软件的恶意 URL。 2. **[CISA 已知被利用漏洞 (KEV) 目录](https://www.cisa.gov/known-exploited-vulnerabilities-catalog)** —— 已确认在野外被积极利用的 CVE。 该 Scraper 通过 HTTPS 获取数据，对其进行解析（CSV 和 JSON），打印控制台摘要，并将带有时间戳的完整 JSON 报告保存到磁盘。 ## 功能特点 - 从两个独立的威胁情报源获取实时数据 - 解析 CSV (URLhaus) 和 JSON (CISA KEV) 格式 - 标记被已知勒索软件活动使用的 CVE - 可通过 CLI 配置结果数量限制 - 保存结构化的 JSON 报告以供进一步分析 - 当数据源无法访问时进行平滑的错误处理 ## 环境要求 - Python 3.8+ - `requests` 库 ## 安装说明 ``` git clone https://github.com/amanyadav889/Port-Scanner.git cd Port-Scanner pip install -r requirements.txt ``` ## 使用方法 使用默认配置运行（每个数据源 20 条记录）： ``` python threat_intel_scraper.py ``` 自定义记录数量和输出文件： ``` python threat_intel_scraper.py --limit 15 --output my_threat_report.json ``` ### CLI 选项 | 标志 | 描述 | 默认值 | |------------|---------------------------------------------------|-----------------------------------| | `--limit` | 每个数据源获取的最大记录数 | `20` | | `--output` | 保存 JSON 报告的路径 | `threat_report_.json` | ## 示例输出 ``` ======================================================= THREAT INTEL SUMMARY ======================================================= Generated: 2026-07-24T17:42:54+00:00 Malicious URLs collected : 20 Known exploited CVEs : 20 --- Sample Malicious URLs --- [malware_download] http://example-malicious-site.com/payload.exe (added 2026-07-24) ... --- Sample Known Exploited Vulnerabilities --- CVE-2026-XXXXX - Vendor Product [RANSOMWARE] ... ======================================================= ``` ## 项目结构 ``` Port-Scanner/ ├── threat_intel_scraper.py # Main scraper script ├── requirements.txt # Python dependencies └── README.md # Project documentation ``` ## 免责声明 本工具仅出于教育和防御目的查询公开的、免费提供的威胁情报源。它不会扫描、利用或与其报告的任何恶意基础设施进行交互。

标签：Python, 威胁情报, 开发者工具, 数据泄露, 数据解析, 文档结构分析, 无后门, 逆向工具