vardzz/ghostnet-ai
GitHub: vardzz/ghostnet-ai
一款自动化品牌威胁情报智能体,利用 Bright Data 和 Gemini 实时检测钓鱼与品牌冒充,并自动生成法律级下架证据报告。
Stars: 0 | Forks: 2
## 项目功能
GhostNet AI 旨在捕捉品牌冒充行为,防止其演变为客户
事件。它将 Bright Data 的实时网络基础设施与基于 Gemini 的
分析相结合,实现整个威胁分诊流程的自动化:
## 架构概述
User -> Next.js API routes -> Bright Data (SERP, Web Unlocker, Scraping Browser) -> Supabase (Postgres + Storage) -> Gemini (Google AI) 分析 -> 实时仪表板。
## 核心功能
- 跨搜索引擎和公共网络界面进行实时发现。
- 使用字符替换、添加单词和同形异义字进行域名拼写错误检测。
- 通过结构化评分进行钓鱼和伪造资料分析。
- 为法律审查提供基于截图的证据包。
- 自动起草下架通知和滥用联系方式提示。
- 专为实时监控而非静态报告构建的仪表板。
## 技术栈
- Next.js 16 结合 React 19 和 TypeScript。
- 使用 Bright Data SERP API、Web Unlocker 和 Scraping Browser 进行网络访问。
- 使用 Gemini (Google AI) 进行威胁分类、紧急性评分和报告生成。
- 使用 Supabase 进行持久化、存储和操作元数据管理。
## 了解更多
5. 将标准化的证据包发送给 Gemini 2.0 Flash (Google AI) 以进行威胁评分和
报告起草。
6. 将调查结果保留在仪表板中,使下一步操作一目了然。
## 检测工作流
GhostNet AI 遵循一条严谨的、专业级的分诊流水线:
1. 输入品牌标识:品牌名称、官方域名以及已知的社交媒体
账号。
2. 运行有针对性的 SERP 搜索,以呈现可疑结果和域名
异常情况。
3. 使用 Web Unlocker 检查那些难以通过常规方式
获取的页面和个人资料界面。
4. 通过 Scraping Browser 捕获带有时间戳的截图作为证据。
## 快速开始
首先,运行开发服务器:
```
npm run dev
# 或
yarn dev
# 或
pnpm dev
# 或
bun dev
```
## 运行测试
本项目使用 Jest 进行测试。你可以使用以下命令在本地运行测试套件:
- 运行所有测试:`npm test`
- 以 watch 模式运行测试(非常适合开发期间使用):`npm run test:watch`
## 结语
GhostNet AI 的构建旨在使针对冒充行为的响应变得即时、可靠,
且操作规范。它能提取正确的证据,对其进行妥善打包,并为安全或法律团队做好下一步决策的准备。
```
██████╗ ██╗ ██╗ ██████╗ ██████╗ ████████╗██████╗ ██╗███████╗ ████████╗ █████╗ ██████╗
██╔════╝ ██║ ██║ ██╔══██╗ ██╔════╝ ╚══██╔══╝██╔══██╗██║██╔════╝ ╚══██╔══╝ ██╔══██╗ ╚═██╔═╝
██║ ███╗███████║ ██║ ██║ ╚█████╗ ██║ ██║ ██║██║█████╗ ██║ ███████║ ██║
██║ ██║██╔══██║ ██║ ██║ ╚═══██╗ ██║ ██║ ██║██║██╔═══╝ ██║ ██╔══██║ ██║
╚██████╔╝██║ ██║ ██████╔╝ ██████╔╝ ██║ ██║ ╚████║███████╗ ██║ ██║ ██║ ██████╗
╚═════╝ ╚═╝ ╚═╝ ╚═════╝ ╚═════╝ ╚═╝ ╚═╝ ╚═══╝╚══════╝ ╚═╝ ╚═╝ ╚═╝ ╚═════╝
```
GhostNet AI 是“Web Data UNLOCKED”黑客松项目,属于安全与合规赛道。它是一个证据优先、耗时不到两分钟的威胁监控流水线,利用 Bright Data 发现可疑的相似仿冒物,捕获证据,并运行结构化分析以支持人工审查的 takedown 工作流。
## 黑客松契合度
- 赛道:安全与合规
- Bright Data 用途:使用 SERP API 进行发现,使用 Web Unlocker 进行原始 HTML 获取,使用 Scraping Browser 进行渲染后的证据捕获
- 目标:快速检测冒充和钓鱼目标,存储可验证的证据,并生成经审查的下架草案
## 项目功能
GhostNet AI 旨在捕捉品牌冒充行为,防止其演变为客户
事件。它将 Bright Data 的实时网络基础设施与基于 Gemini 的
分析相结合,实现整个威胁分诊流程的自动化:
- 搜索 Google 和 Bing 以查找高信号的品牌滥用查询,例如登录、
支持和官方网站变体。
- 解锁可疑页面和社交媒体界面,以揭露 typosquat、
同形异义字仿冒和克隆的资料。
- 捕获全页截图和页面快照作为证据。
- 按类型、置信度和紧急程度对每个威胁进行评分。
- 生成可随时用于发送停止侵权函的报告,并附带滥用联系方式和支持性
工件。
最终成果是一个实时威胁仪表板,它将过去需要数天时间的手动搜索压缩成了一个快速、可重复的工作流。
## 架构概述
User -> Next.js API routes -> Bright Data (SERP, Web Unlocker, Scraping Browser) -> Supabase (Postgres + Storage) -> Gemini 分析 -> 实时仪表板。
执行过程被限制在 120 秒内,并在时间不足时优先以部分结果保留证据。
## 重要性
现代冒充活动传播迅速且隐藏在众目睽睽之下。GhostNet AI
专为需要基于证据的响应,而不是一份松散的
URL 列表的团队而设计。
- 安全团队可以更快地检测到钓鱼和欺诈企图。
- 品牌保护团队可以获得结构化的证据,而不是原始的搜索噪音。
- 法律团队可以获得已经与 takedown 工作流对接的报告草案。
- 合规团队可以获得针对截图、HTML 和
时间戳的可追溯证据保管链。
## 检测工作流
GhostNet AI 遵循一条严谨的、专业级的分诊流水线:
1. 输入品牌标识:品牌名称、官方域名以及已知的社交媒体
账号。
2. 运行有针对性的 SERP 搜索,以呈现可疑结果和域名
异常情况。
3. 使用 Web Unlocker 检查那些难以通过常规方式
获取的页面和个人资料界面。
4. 通过 Scraping Browser 捕获带有时间戳的截图作为证据。
## 快速开始
首先,运行开发服务器:
```
npm run dev
# 或
yarn dev
# 或
pnpm dev
# 或
bun dev
```
在浏览器中打开 [http://localhost:3000](http://localhost:3000) 查看结果。
## 运行测试
本项目使用 Jest 进行测试。你可以使用以下命令在本地运行测试套件:
- 运行所有测试:`npm test`
- 以 watch 模式运行测试(非常适合开发期间使用):`npm run test:watch`
## 了解更多
5. 将标准化的证据包发送给 Gemini 2.0 Flash (Google AI) 以进行威胁评分和
报告起草。
6. 将调查结果保留在仪表板中,使下一步操作一目了然。
## 核心功能
- 跨搜索引擎和公共网络界面进行实时发现。
- 使用字符替换、添加单词和同形异义字进行 typosquat 检测。
- 通过结构化评分进行钓鱼和伪造资料分析。
- 为法律审查提供基于截图的证据包。
- 自动起草 takedown 通知和滥用联系方式提示。
- 专为实时监控而非静态报告构建的仪表板。
## 技术栈
- Next.js 16 结合 React 19 和 TypeScript。
- 使用 Bright Data SERP API、Web Unlocker 和 Scraping Browser 进行网络访问。
- 使用 Gemini 进行威胁分类、紧急性评分和报告生成。
- 使用 Supabase 进行持久化、存储和操作元数据管理。
## 项目结构
- `src/app` - 应用程序外壳、全局样式以及落地页/仪表板 UI。
- `docs/architecture.md` - 系统设计和数据流概述。
- `docs/implementation.md` - 流水线逻辑、环境变量和
操作规则。
- `scripts/env-check.js` - 构建时的环境验证。
## 演示与提交(黑客松)
- 仓库:公开的 GitHub 链接(在此添加)
- 演示 URL:在线部署链接(在此添加)
- 推介视频:链接(在此添加)
- 幻灯片:链接(在此添加)
## 结语
GhostNet AI 的构建旨在使针对冒充行为的响应变得即时、可靠,
且操作规范。它能提取正确的证据,对其进行妥善打包,并为安全或法律团队做好下一步决策的准备。
## 许可证
MIT标签:Supabase, 仿冒检测, 品牌保护, 威胁情报, 实时处理, 开发者工具, 自动化攻击, 配置审计, 钓鱼检测