reconurge/flowsint
GitHub: reconurge/flowsint
一款开源的图谱化 OSINT 调查平台,通过可视化图形界面和自动化数据丰富器帮助安全分析师探索和关联各类实体之间的关系。
Stars: 2629 | Forks: 318
# Flowsint
[](./LICENSE)
[](./ETHICS.md)
Flowsint 是一款开源的 OSINT 图谱探索工具,专为符合道德规范调查、透明度和验证而设计。
**道德声明:** 请阅读 [ETHICS.md](./ETHICS.md) 以了解负责任的使用指南。
## 开始使用
不想阅读文档?没问题。以下是您的安装说明:
#### 1. 安装前置条件
- Docker
- Make
#### 2. 运行安装命令
```
git clone https://github.com/reconurge/flowsint.git
cd flowsint
make prod
```
然后访问 [http://localhost:5173/register](http://localhost:5173/register) 并创建一个账户。默认情况下没有任何凭据或账户。
## 这是什么?
Flowsint 是一款专注于侦察和 OSINT(开源情报)的基于图谱的调查工具。它允许您通过可视化图形界面和自动化 enrichers 来探索实体之间的关系。
### 可用的 Enrichers
**Domain Enrichers**
- Reverse DNS Resolution - 查找指向 IP 的域名
- DNS Resolution - 将域名解析为 IP 地址
- Subdomain Discovery - 枚举子域名
- WHOIS Lookup - 获取域名注册信息
- Domain to Website - 将域名转换为 Website 实体
- Domain to Root Domain - 提取根域名
- Domain to ASN - 查找与域名关联的 ASN
- Domain History - 检索历史域名数据
**IP Enrichers**
- IP Information - 获取地理位置和网络详细信息
- IP to ASN - 查找 IP 地址对应的 ASN
**ASN Enrichers**
- ASN to CIDRs - 获取 ASN 的 IP 范围
**CIDR Enrichers**
- CIDR to IPs - 枚举范围内的 IP
**Social Media Enrichers**
- Maigret - 跨社交平台的用户名搜索
**Organization Enrichers**
- Organization to ASN - 查找组织拥有的 ASN
- Organization Information - 获取公司详细信息
- Organization to Domains - 查找组织拥有的域名
**Cryptocurrency Enrichers**
- Wallet to Transactions - 获取交易历史
- Wallet to NFTs - 查找钱包拥有的 NFT
**Website Enrichers**
- Website Crawler - 爬取并映射网站结构
- Website to Links - 提取所有链接
- Website to Domain - 从 URL 提取域名
- Website to Webtrackers - 识别跟踪脚本
- Website to Text - 提取文本内容
**Email Enrichers**
- Email to Gravatar - 查找 Gravatar 个人资料
- Email to Breaches - 检查数据泄露数据库
- Email to Domains - 查找关联域名
**Phone Enrichers**
- Phone to Breaches - 检查电话号码是否出现在泄露中
**Individual Enrichers**
- Individual to Organization - 查找组织从属关系
- Individual to Domains - 查找与个人关联的域名
**Integration Enrichers**
- N8n Connector - 连接到 N8n workflows
## 项目结构
项目被组织为独立的模块:
### 核心模块
- **flowsint-core**: 核心实用程序、orchestrator、vault、celery tasks 和基类
- **flowsint-types**: Pydantic models 和类型定义
- **flowsint-enrichers**: Enricher 模块、扫描逻辑和工具
- **flowsint-api**: FastAPI 服务器、API 路由和 schemas
- **flowsint-app**: Frontend 应用程序
### 模块依赖
```
flowsint-app (frontend)
↓
flowsint-api (API server)
↓
flowsint-core (orchestrator, tasks, vault)
↓
flowsint-enrichers (enrichers & tools)
↓
flowsint-types (types)
```
## 开发设置
### 前置条件
- Docker
### 运行
确保您已安装 **Make**。
```
make dev
```
### 开发
应用程序可通过 [http://localhost:5173](http://localhost:5173) 访问。
## 模块详情
### flowsint-core
所有其他模块使用的核心实用程序和基类:
- 数据库连接 (PostgreSQL, Neo4j)
- 身份验证和授权
- 日志记录和事件处理
- 配置管理
- enrichers 和工具的基类
- 实用函数
### flowsint-types
所有数据类型的 Pydantic models:
- Domain, IP, ASN, CIDR
- Individual, Organization, Email, Phone
- Website, Social profiles, Credentials
- Crypto wallets, Transactions, NFTs
- 以及更多...
### flowsint-enrichers
处理数据的 Enricher 模块:
- Domain enrichers (子域名, WHOIS, 解析)
- IP enrichers (地理位置, ASN 查询)
- Social media enrichers (Maigret, Sherlock)
- Email enrichers (泄露, Gravatar)
- Crypto enrichers (交易, NFTs)
- 以及更多...
### flowsint-api
提供以下功能的 FastAPI 服务器:
- REST API endpoints
- 身份验证和用户管理
- Graph database 集成
- Real-time event streaming
### flowsint-app
Frontend 应用程序。
- 现代且友好的用户界面
- 为性能而构建(即使有数千个节点也无延迟)
## 开发工作流
1. **添加新类型**: 添加到 `flowsint-types` 模块
2. **添加新 enrichers**: 添加到 `flowsint-enrichers` 模块
3. **添加新 API endpoints**: 添加到 `flowsint-api` 模块
4. **添加新实用程序**: 添加到 `flowsint-core` 模块
## 测试
每个模块都有其自己的(不完整的)测试套件:
```
# 测试 core 模块
cd flowsint-core
poetry run pytest
# 测试 types 模块
cd ../flowsint-types
poetry run pytest
# 测试 enrichers 模块
cd ../flowsint-enrichers
poetry run pytest
# 测试 API 模块
cd ../flowsint-api
poetry run pytest
```
## ⚖️ 法律与道德使用
**道德声明:** 请阅读 [ETHICS.md](./ETHICS.md) 以了解负责任的使用指南。
Flowsint **严格用于合法、符合道德规范的调查和研究目的**。
创建它是为了协助:
- Cybersecurity 研究人员和分析师
- 记者和 OSINT 调查员
- 执法部门或欺诈调查团队
- 进行内部威胁情报或数字风险分析的组织
**Flowsint 严禁用于:**
- 未经授权的入侵、监控或数据收集
- 骚扰、人肉搜索或针对个人
- 政治操纵、虚假信息或侵犯隐私法
任何滥用本软件的行为均被严格禁止,并违反 [ETHICS.md](./ETHICS.md) 中定义的道德原则。
## 开始使用
不想阅读文档?没问题。以下是您的安装说明:
#### 1. 安装前置条件
- Docker
- Make
#### 2. 运行安装命令
```
git clone https://github.com/reconurge/flowsint.git
cd flowsint
make prod
```
然后访问 [http://localhost:5173/register](http://localhost:5173/register) 并创建一个账户。默认情况下没有任何凭据或账户。
## 这是什么?
Flowsint 是一款专注于侦察和 OSINT(开源情报)的基于图谱的调查工具。它允许您通过可视化图形界面和自动化 enrichers 来探索实体之间的关系。
### 可用的 Enrichers
**Domain Enrichers**
- Reverse DNS Resolution - 查找指向 IP 的域名
- DNS Resolution - 将域名解析为 IP 地址
- Subdomain Discovery - 枚举子域名
- WHOIS Lookup - 获取域名注册信息
- Domain to Website - 将域名转换为 Website 实体
- Domain to Root Domain - 提取根域名
- Domain to ASN - 查找与域名关联的 ASN
- Domain History - 检索历史域名数据
**IP Enrichers**
- IP Information - 获取地理位置和网络详细信息
- IP to ASN - 查找 IP 地址对应的 ASN
**ASN Enrichers**
- ASN to CIDRs - 获取 ASN 的 IP 范围
**CIDR Enrichers**
- CIDR to IPs - 枚举范围内的 IP
**Social Media Enrichers**
- Maigret - 跨社交平台的用户名搜索
**Organization Enrichers**
- Organization to ASN - 查找组织拥有的 ASN
- Organization Information - 获取公司详细信息
- Organization to Domains - 查找组织拥有的域名
**Cryptocurrency Enrichers**
- Wallet to Transactions - 获取交易历史
- Wallet to NFTs - 查找钱包拥有的 NFT
**Website Enrichers**
- Website Crawler - 爬取并映射网站结构
- Website to Links - 提取所有链接
- Website to Domain - 从 URL 提取域名
- Website to Webtrackers - 识别跟踪脚本
- Website to Text - 提取文本内容
**Email Enrichers**
- Email to Gravatar - 查找 Gravatar 个人资料
- Email to Breaches - 检查数据泄露数据库
- Email to Domains - 查找关联域名
**Phone Enrichers**
- Phone to Breaches - 检查电话号码是否出现在泄露中
**Individual Enrichers**
- Individual to Organization - 查找组织从属关系
- Individual to Domains - 查找与个人关联的域名
**Integration Enrichers**
- N8n Connector - 连接到 N8n workflows
## 项目结构
项目被组织为独立的模块:
### 核心模块
- **flowsint-core**: 核心实用程序、orchestrator、vault、celery tasks 和基类
- **flowsint-types**: Pydantic models 和类型定义
- **flowsint-enrichers**: Enricher 模块、扫描逻辑和工具
- **flowsint-api**: FastAPI 服务器、API 路由和 schemas
- **flowsint-app**: Frontend 应用程序
### 模块依赖
```
flowsint-app (frontend)
↓
flowsint-api (API server)
↓
flowsint-core (orchestrator, tasks, vault)
↓
flowsint-enrichers (enrichers & tools)
↓
flowsint-types (types)
```
## 开发设置
### 前置条件
- Docker
### 运行
确保您已安装 **Make**。
```
make dev
```
### 开发
应用程序可通过 [http://localhost:5173](http://localhost:5173) 访问。
## 模块详情
### flowsint-core
所有其他模块使用的核心实用程序和基类:
- 数据库连接 (PostgreSQL, Neo4j)
- 身份验证和授权
- 日志记录和事件处理
- 配置管理
- enrichers 和工具的基类
- 实用函数
### flowsint-types
所有数据类型的 Pydantic models:
- Domain, IP, ASN, CIDR
- Individual, Organization, Email, Phone
- Website, Social profiles, Credentials
- Crypto wallets, Transactions, NFTs
- 以及更多...
### flowsint-enrichers
处理数据的 Enricher 模块:
- Domain enrichers (子域名, WHOIS, 解析)
- IP enrichers (地理位置, ASN 查询)
- Social media enrichers (Maigret, Sherlock)
- Email enrichers (泄露, Gravatar)
- Crypto enrichers (交易, NFTs)
- 以及更多...
### flowsint-api
提供以下功能的 FastAPI 服务器:
- REST API endpoints
- 身份验证和用户管理
- Graph database 集成
- Real-time event streaming
### flowsint-app
Frontend 应用程序。
- 现代且友好的用户界面
- 为性能而构建(即使有数千个节点也无延迟)
## 开发工作流
1. **添加新类型**: 添加到 `flowsint-types` 模块
2. **添加新 enrichers**: 添加到 `flowsint-enrichers` 模块
3. **添加新 API endpoints**: 添加到 `flowsint-api` 模块
4. **添加新实用程序**: 添加到 `flowsint-core` 模块
## 测试
每个模块都有其自己的(不完整的)测试套件:
```
# 测试 core 模块
cd flowsint-core
poetry run pytest
# 测试 types 模块
cd ../flowsint-types
poetry run pytest
# 测试 enrichers 模块
cd ../flowsint-enrichers
poetry run pytest
# 测试 API 模块
cd ../flowsint-api
poetry run pytest
```
## ⚖️ 法律与道德使用
**道德声明:** 请阅读 [ETHICS.md](./ETHICS.md) 以了解负责任的使用指南。
Flowsint **严格用于合法、符合道德规范的调查和研究目的**。
创建它是为了协助:
- Cybersecurity 研究人员和分析师
- 记者和 OSINT 调查员
- 执法部门或欺诈调查团队
- 进行内部威胁情报或数字风险分析的组织
**Flowsint 严禁用于:**
- 未经授权的入侵、监控或数据收集
- 骚扰、人肉搜索或针对个人
- 政治操纵、虚假信息或侵犯隐私法
任何滥用本软件的行为均被严格禁止,并违反 [ETHICS.md](./ETHICS.md) 中定义的道德原则。标签:DNS解析, Docker, ESC4, GitHub, IP分析, Mutation, OSINT, Sigma 规则, WHOIS查询, 二进制发布, 协议探测, 可视化, 图形化调查, 域名分析, 威胁情报, 子域名挖掘, 安全防御评估, 实时处理, 开发者工具, 开源工具, 开源项目, 搜索引擎查询, 测试用例, 网络安全, 自动化丰富, 自动化攻击, 请求拦截, 调查平台, 逆向工具, 隐私保护