yousefalhwety/Sentinel-OSINT-Pipeline

# 🛡️ Sentinel-OSINT-Pipeline ## 📖 概述 本项目是一个高级的、去中心化的开源情报（OSINT）pipeline。它可以自主聚合、过滤并语义分析来自受 WAF 保护的高价值源的网络安全新闻、零日漏洞报告和操作安全（OpSec）指南。该系统旨在以最少的人工干预提供可操作的情报。 ## 🏗️ 架构与技术栈 - **执行引擎：** 无状态、通过 **GitHub Actions** 编排的计划任务（Cron 触发）。 - **规避与提取：** - `curl_cffi`：实现 **动态 TLS/JA3 指纹模拟**，以绕过 Cloudflare 和 Datadome 等高级 Web 应用防火墙（WAF）。 - `trafilatura`：用于高保真度的纯文本内容提取，剥离 DOM 噪声、广告和跟踪器。 - `BeautifulSoup4`：用于使用自定义 CSS 选择器在不支持 RSS 的平台上进行精准的目标抓取。 - **AI/LLM 分析：** 集成 **GPT-OSS 120B**（通过 Groq API），用于语义处理、去重以及生成本地化格式的结构化技术情报报告。 - **状态持久化：** 在 `data/` 目录内进行基于 Git 的持久状态管理，与核心逻辑隔离，以确保 100% 的 serverless 运行。 - **OpSec 加固：** 实现执行抖动（随机分配的间隔），以混淆自动化流量模式并规避启发式机器人检测。 ## 🚀 快速开始（部署） 要部署您自己的 pipeline 实例： 1. **Fork** 本仓库（点击页面右上角的“Fork”按钮将其复制到您的账户）。 2. 导航至 **Settings > Secrets and variables > Actions** 并添加以下 Secrets： - `GROQ_API_KEY`：从 [Groq 控制台](https://console.groq.com/keys)获取您的免费 API 密钥。 - `TELEGRAM_BOT_TOKEN`：在 Telegram 上通过 [@BotFather](https://t.me/botfather) 创建一个新 bot 并复制生成的 token。 - `TELEGRAM_CHAT_ID`：在 Telegram 上向 [@userinfobot](https://t.me/userinfobot) 发送消息以获取您的数字 Chat ID。 3. 在 `Actions` 标签页中启用 **GitHub Actions**。 4. （可选）手动触发 workflow 以验证设置。 ## 📂 项目结构 ``` ├── .github/workflows/ │ └── bot.yml # CI/CD orchestration & automation logic ├── data/ │ ├── sent_urls.txt # Persistent state: tracks processed intelligence │ └── keepalive.txt # System heartbeat to maintain runner activity ├── opsec_news.py # Core Python intelligence & analysis engine ├── requirements.txt # Project dependency manifest └── .gitignore # Operational security exclusions ``` ## 🔒 安全与披露说明 此公开仓库提供了 pipeline 的**核心引擎和架构**。为了维护私人监控操作的完整性，特定的高价值情报源和详细的历史执行日志保存在单独的私有生产环境中。这确保了针对不断演进的 anti-bot 对抗措施的长期持久性，同时与社区共享该工具的功能。 *专为专业级安全研究和自动化威胁监控而开发。*

标签：DLL 劫持, Sysdig, 反爬虫绕过, 大语言模型, 威胁情报, 实时处理, 开发者工具, 网络安全, 网络调试, 自动化, 逆向工具, 隐私保护