ankaboot-source/thedig
GitHub: ankaboot-source/thedig
TheDig 是一款基于 OSINT 的开源个人与企业信息补全工具，通过姓名和邮箱从公开数据源挖掘并验证结构化信息，同时注重隐私保护和 GDPR 合规。
Stars: 0 | Forks: 1
[](LICENSE)
[](https://www.scientificamerican.com/article/long-live-the-web/)
# TheDig 🧩➜👤
使用 OSINT 和 IA 通过电子邮件和全名挖掘公开数据。
[功能](#-features) ♦ [隐私优先设计](#-privacy-by-design) ♦ [使用方法](#️-how-to-use) ♦ [贡献指南](#-how-to-contribute) ♦ [支持](#️-support) ♦ [许可证](#-license)
## ✨ 功能
TheDig 会尽可能在返回任何结果之前，验证挖掘出的数据是否属于该用户。在其社交资料中带有 #OptOut 标签的用户将不会被进行数据扩充。
### 人员
从电子邮件地址和全名中挖掘的字段：
- 名字、姓氏
- 职位
- 社交网络 URL 和 LinkedIn URL
- 个人资料头像
- 公司姓名
- 工作地点
### 公司
从域名中挖掘的公司信息：
- 名称
- 网站 URL
- 别名
- 所属行业
- 法定名称
- 描述
- 员工人数
- 成立日期
- 创始人
- 电子邮件
- 电话
- 社交网络 URL
## 🛡️ 隐私优先设计
本程序旨在积极遵守 GDPR，并尊重被挖掘者的隐私。我们的初衷是帮助用户对现有联系人进行数据扩充，而不是出于恶意目的去监视或收集某人的数据。
我们在代码中主动实施了一些 GDPR 原则
- 退出权：如果被挖掘者在其社交资料中使用 #OptOut 标签，则不会进行任何数据扩充。
- 合法性、公平性和透明度：我们的数据源仅限于用户已同意公开分享的公开数据。例如，我们不会挖掘数据泄露的数据或进行人肉搜索。
- 目的和准确性：我们宁愿不使用可疑信息进行扩充，也不愿冒着产生误报的风险。例如，我们会在可能的范围内，检查找到的社交资料是否属于该用户本人。我们不会挖掘与营销目的无关的社交网络或网站。
使用此应用程序时，您必须遵守当地、国际和道德隐私规则。例如，强烈建议告知被进行数据扩充的对象，他已成为此次挖掘的目标。此功能不在当前的开源代码库范围内。如需进一步咨询，请联系 contact@ankaboot.fr。
## 🏗️ 使用方法
### 配置
要运行此项目，您需要设置一些环境变量，其中包含来自 Google 的部分 API 密钥。
您需要几个 API 密钥，具体取决于您希望使用哪个搜索引擎，但 Google Vision（反向图片搜索）是必选项。请查看 [default.env](default.env) 了解有关如何创建它们、填写它们并将文件重命名为 `.env` 的说明。
为了帮助您顺利上手，我们提供了一个用于 Google 的脚本 `setup_googlecloud.sh`。运行它即可自动设置 Google Vision API。默认情况下，项目名称将为 `thedig`，API 密钥也是如此。如果您希望更改默认设置，请自行修改该脚本。
### 启动
下载并运行：
```
docker-compose up -d
```
然后打开 http://localhost:8080/docs
### 使用 `uv` 启动
```
uv venv .venv
uv sync --frozen --extra vision
uv run patchright install chrome
uv run uvicorn main:app --reload
```
对于需要浏览器自动化的高级反机器人目标，必须执行 `patchright install chrome`。
## MCP server
提供了一个 MCP server，以便从 AI 聊天机器人调用 TheDig。
1. 启动 TheDig API（使用 Docker 或 `uv run uvicorn main:app --reload`）。
2. 导出 MCP 进程使用的 API 设置：
```
export THEDIG_API_BASE_URL="http://localhost:8080"
export THEDIG_API_KEY="CHANGE-THIS"
export THEDIG_API_KEY_HEADER="X-API-KEY"
```
3. 通过 stdio 运行 MCP server：
```
uv run thedig-mcp
```
可用的 MCP 工具：
- `enrich_person_email(email, name?)`：通过电子邮件扩充人员信息。如果省略了 `name`，则会从电子邮件的本地部分（local-part）中推断。
MCP 客户端配置示例：
```
{
"mcpServers": {
"thedig": {
"command": "uv",
"args": ["run", "thedig-mcp"],
"env": {
"THEDIG_API_BASE_URL": "http://localhost:8080",
"THEDIG_API_KEY": "CHANGE-THIS",
"THEDIG_API_KEY_HEADER": "X-API-KEY"
}
}
}
}
```
## ⚠️ 支持
如需支持，请通过电子邮件 contact@ankaboot.io 联系获取商业支持，或创建 issue 获取社区支持。
## 📃 许可证
本软件是一款免费（开源）软件，采用 [双许可证](DUAL-LICENSE) 模式，即 [AGPL](LICENSE)（无 SLA，无担保）和[商业许可证](DUAL-LICENSE)。基本上，这意味着如果您的衍生作品本身也是开源的（经 OSI 批准），您就可以自由使用、修改和分发本软件。例如，如果您的软件是 SaaS，那么您的 SaaS 本身必须是开源的。如果您希望在非 OSI 批准的许可证（即专有软件）下使用本软件，您必须向本产品的编辑者（即 ankaboot.io - contact@ankaboot.io）购买商业许可证。
标签：BSD, ESC4, OSINT, 个人信息收集, 数据丰富, 数据挖掘, 网络测绘, 请求拦截, 逆向工具