tashfeentipu/OSINT-Agent
GitHub: tashfeentipu/OSINT-Agent
一个基于多智能体架构的 AI 威胁情报系统，自动采集开源情报并利用 NLP 和 LLM 进行威胁检测、风险评估与报告生成。
Stars: 0 | Forks: 0
# 🚨 AI 威胁情报智能体 (OSINT)
## 📌 概述
本项目是一个 AI 驱动的威胁情报系统，旨在自动化开源情报 (OSINT) 监控和风险评估。它使用混合 NLP 和基于智能体的架构，将非结构化的公共数据转化为可操作的商业洞察。
该系统通过摄取外部数据源、检测潜在威胁、分配风险等级以及为决策者生成可解释的摘要，模拟了现实世界中的网络情报处理流程。
## 🧠 核心功能
- 🌍 OSINT 数据摄取（RSS 订阅源、外部数据源）
- 🔍 基于 NLP 的威胁检测和实体提取
- 🤖 用于模块化决策的 Agentic AI 流水线
- ⚠️ 带有置信度的风险评分引擎
- 📊 面向业务的情报摘要
- ⚖️ 伦理 AI 层（透明度、偏见缓解、可解释性）
- ⚛️ 全栈实现（FastAPI + Next.js）
## 🏗️ 架构
该系统遵循模块化的基于智能体的设计：
- **Collector Agent**
- 从外部数据源获取并预处理 OSINT 数据
- **Analyzer Agent**
- 应用 NLP 技术和 LLM 推理来检测威胁并提取关键实体
- **Risk Agent**
- 使用基于规则的评分评估严重程度并分配风险等级
- **Reporter Agent**
- 生成人类可读的摘要和建议的操作
- **Orchestrator**
- 协调智能体交互并管理整个流水线的数据流
### 智能体流程图
```
flowchart TD
A[RSS/OSINT Sources] --> B[Collector Agent]
B --> C[Ethical AI Layer
Redaction + Transparency Note] C --> D[Analyzer Agent
Threat Type + Entities + Indicators] D --> E[Risk Agent
Rule-based Scoring] E --> F[Reporter Agent
Summary + Recommended Action] F --> G[Orchestrator] G --> H[FastAPI /threats] H --> I[Next.js Dashboard] ``` ## ⚙️ 技术栈 ### 后端 - Python - FastAPI - pandas - spaCy（可选 NLP 层） - OpenAI API（LLM 推理） ### 前端 - Next.js (React) - Axios / Fetch API ### 数据源 - RSS 订阅源（例如：网络安全新闻） - 模拟的 OSINT 输入（用于测试） ## 🔄 系统工作流程 1. **数据摄取** - 从 RSS 订阅源或 API 收集 OSINT 数据 2. **威胁分析** - 使用 NLP + LLM 提取实体并识别威胁模式 3. **风险评估** - 根据严重程度、频率和上下文分配风险等级 4. **报告生成** - 生成面向业务的摘要和建议 5. **输出** - 通过 API 和仪表板返回结构化、可解释的结果 ## 📊 示例输出 ``` { "source": "Cyber News", "threat": "Phishing attack targeting financial sector", "risk_level": "High", "confidence": 0.87, "summary": "A phishing campaign is targeting financial institutions...", "recommendation": "Increase monitoring of authentication systems" } ```
Redaction + Transparency Note] C --> D[Analyzer Agent
Threat Type + Entities + Indicators] D --> E[Risk Agent
Rule-based Scoring] E --> F[Reporter Agent
Summary + Recommended Action] F --> G[Orchestrator] G --> H[FastAPI /threats] H --> I[Next.js Dashboard] ``` ## ⚙️ 技术栈 ### 后端 - Python - FastAPI - pandas - spaCy（可选 NLP 层） - OpenAI API（LLM 推理） ### 前端 - Next.js (React) - Axios / Fetch API ### 数据源 - RSS 订阅源（例如：网络安全新闻） - 模拟的 OSINT 输入（用于测试） ## 🔄 系统工作流程 1. **数据摄取** - 从 RSS 订阅源或 API 收集 OSINT 数据 2. **威胁分析** - 使用 NLP + LLM 提取实体并识别威胁模式 3. **风险评估** - 根据严重程度、频率和上下文分配风险等级 4. **报告生成** - 生成面向业务的摘要和建议 5. **输出** - 通过 API 和仪表板返回结构化、可解释的结果 ## 📊 示例输出 ``` { "source": "Cyber News", "threat": "Phishing attack targeting financial sector", "risk_level": "High", "confidence": 0.87, "summary": "A phishing campaign is targeting financial institutions...", "recommendation": "Increase monitoring of authentication systems" } ```
标签：Agentic AI, AI驱动, AMSI绕过, AV绕过, DLL 劫持, ESC4, FastAPI, LLM, LSASS转储, NLP, OSINT, Petitpotam, Python, spaCy, Unmanaged PE, 业务洞察, 人工智能, 可解释性AI, 基于代理的架构, 大语言模型, 威胁情报, 威胁检测, 安全运营, 实体提取, 实时处理, 密码管理, 开发者工具, 情报收集, 扫描框架, 无后门, 漏洞研究, 用户模式Hook绕过, 网络安全, 自动化监控, 逆向工具, 道德AI, 隐私保护, 风险评分