eosphoros-ai/DB-GPT

# DB-GPT: 基于 AWEL 和 Agents 的 AI 原生数据应用开发框架

## 什么是 DB-GPT? 🤖 **DB-GPT 是一个开源的 AI 原生数据应用开发框架，采用 AWEL（智能体工作流表达语言）和 Agents。** 其目的是在大模型领域构建基础设施，通过开发多模型管理 (SMMF)、Text2SQL 效果优化、RAG 框架与优化、Multi-Agents 框架协作、AWEL（智能体工作流编排）等多种技术能力，让大模型与数据的应用变得更简单、更便捷。 🚀 **在 Data 3.0 时代，基于模型和数据库，企业和开发者可以用更少的代码构建定制化的应用程序。** ### 介绍 DB-GPT 的架构如下图所示：

核心能力包括以下几个部分： - **RAG (检索增强生成)**：RAG 是目前实施最切实、最紧迫的领域。DB-GPT 已经实现了基于 RAG 的框架，允许用户利用 DB-GPT 的 RAG 能力构建基于知识的应用。 - **GBI (生成式商业智能)**：生成式 BI 是 DB-GPT 项目的核心能力之一，提供构建企业报表分析和商业洞察的基础数据智能技术。 - **微调框架**：模型微调是任何企业在垂直和细分领域落地不可或缺的能力。DB-GPT 提供了与项目无缝集成的完整微调框架。在近期的微调工作中，基于 Spider 数据集的准确率已达到 82.5%。 - **数据驱动的 Multi-Agents 框架**：DB-GPT 提供了一个数据驱动的自进化多智能体框架，旨在基于数据持续做出决策并执行。 - **数据工厂**：数据工厂主要是在大模型时代清洗和处理可信的知识与数据。 - **数据源**：整合多种数据源，将生产业务数据无缝连接到 DB-GPT 的核心能力。 #### 子模块 - [DB-GPT-Hub](https://github.com/eosphoros-ai/DB-GPT-Hub) 通过对大型语言模型 进行监督微调 (SFT) 来实现高性能的 Text-to-SQL 工作流。 - [dbgpts](https://github.com/eosphoros-ai/dbgpts) dbgpts 是官方仓库，包含基于 DB-GPT 构建的一些数据应用、AWEL 算子、AWEL 工作流模板和 Agents。 #### DeepWiki - [DB-GPT](https://deepwiki.com/eosphoros-ai/DB-GPT) - [DB-GPT-HUB](https://deepwiki.com/eosphoros-ai/DB-GPT-Hub) - [dbgpts](https://deepwiki.com/eosphoros-ai/dbgpts) #### Text2SQL 微调 | LLM | 支持 | |:-----------:|:-----------:| | LLaMA | ✅ | | LLaMA-2 | ✅ | | BLOOM | ✅ | | BLOOMZ | ✅ | | Falcon | ✅ | | Baichuan | ✅ | | Baichuan2 | ✅ | | InternLM | ✅ | | Qwen | ✅ | | XVERSE | ✅ | | ChatGLM2 | ✅ | [更多关于 Text2SQL 微调的信息](https://github.com/eosphoros-ai/DB-GPT-Hub) - [DB-GPT-Plugins](https://github.com/eosphoros-ai/DB-GPT-Plugins) 可直接运行 Auto-GPT 插件的 DB-GPT 插件 - [GPT-Vis](https://github.com/eosphoros-ai/GPT-Vis) 可视化协议 ### AI 原生数据应用 - 🔥🔥🔥 [发布 V0.7.0 | 一系列重大升级](http://docs.dbgpt.cn/blog/db-gpt-v070-release) - [支持 MCP 协议](https://github.com/eosphoros-ai/DB-GPT/pull/2497) - [支持 DeepSeek R1](https://github.com/deepseek-ai/DeepSeek-R1) - [支持 QwQ-32B](https://huggingface.co/Qwen/QwQ-32B) - [重构基础模块]() - [dbgpt-app](./packages/dbgpt-app) - [dbgpt-core](./packages/dbgpt-core) - [dbgpt-serve](./packages/dbgpt-serve) - [dbgpt-client](./packages/dbgpt-client) - [dbgpt-accelerator](./packages/dbgpt-accelerator) - [dbgpt-ext](./packages/dbgpt-ext)     ## 安装 / 快速开始     [**使用教程**](http://docs.dbgpt.cn/docs/overview) - [**安装**](http://docs.dbgpt.cn/docs/installation) - [Docker](http://docs.dbgpt.cn/docs/installation/docker) - [源码安装](http://docs.dbgpt.cn/docs/installation/sourcecode) - [**快速开始**](http://docs.dbgpt.cn/docs/quickstart) - [**应用**](http://docs.dbgpt.cn/docs/operation_manual) - [开发指南](http://docs.dbgpt.cn/docs/cookbook/app/data_analysis_app_develop) - [应用使用](http://docs.dbgpt.cn/docs/application/app_usage) - [AWEL 流程使用](http://docs.dbgpt.cn/docs/application/awel_flow_usage) - [**调试**](http://docs.dbgpt.cn/docs/operation_manual/advanced_tutorial/debugging) - [**进阶用法**](http://docs.dbgpt.cn/docs/application/advanced_tutorial/cli) - [SMMF](http://docs.dbgpt.cn/docs/application/advanced_tutorial/smmf) - [微调](http://docs.dbgpt.cn/docs/application/fine_tuning_manual/dbgpt_hub) - [AWEL](http://docs.dbgpt.cn/docs/awel/tutorial) ## 特性 目前，我们引入了几个关键特性来展示我们的能力： - **私有领域问答与数据处理** DB-GPT 项目提供了一系列旨在改进知识库构建的功能，并支持高效存储和检索结构化及非结构化数据。这些功能包括内置支持上传多种文件格式、集成自定义数据提取插件的能力，以及用于有效管理大量信息的统一向量存储和检索能力。 - **多数据源与 GBI(生成式商业智能)** DB-GPT 项目支持与多种数据源（包括 Excel、数据库和数据仓库）进行无缝自然语言交互。它简化了从这些来源查询和检索信息的过程，使用户能够进行直观的对话并获得洞察。此外，DB-GPT 支持生成分析报告，为用户提供有价值的数据摘要和解读。 - **多智能体与插件** 它支持自定义插件以执行各种任务，并原生集成了 Auto-GPT 插件模型。Agents 协议遵守 Agent Protocol 标准。 - **自动化微调 Text2SQL** 我们还开发了一个以大语言模型、Text2SQL 数据集、LoRA/QLoRA/Pturning 及其他微调方法为中心的自动化轻量级微调框架。该框架简化了 Text-to-SQL 微调，使其像流水线过程一样简单。[DB-GPT-Hub](https://github.com/eosphoros-ai/DB-GPT-Hub) - **SMMF(服务化多模型管理框架)** 我们提供广泛的模型支持，包括来自开源和 API 代理的数十种大语言模型，如 LLaMA/LLaMA2、Baichuan、ChatGLM、文心、通义、智谱等。 - 新闻

提供商	支持	模型
DeepSeek	✅	🔥🔥🔥 DeepSeek-R1-0528 🔥🔥🔥 DeepSeek-V3-0324 🔥🔥🔥 DeepSeek-R1 🔥🔥🔥 DeepSeek-V3 🔥🔥🔥 DeepSeek-R1-Distill-Llama-70B 🔥🔥🔥 DeepSeek-R1-Distill-Qwen-32B 🔥🔥🔥 DeepSeek-Coder-V2-Instruct
Qwen	✅	🔥🔥🔥 Qwen3-235B-A22B 🔥🔥🔥 Qwen3-30B-A3B 🔥🔥🔥 Qwen3-32B 🔥🔥🔥 QwQ-32B 🔥🔥🔥 Qwen2.5-Coder-32B-Instruct 🔥🔥🔥 Qwen2.5-Coder-14B-Instruct 🔥🔥🔥 Qwen2.5-72B-Instruct 🔥🔥🔥 Qwen2.5-32B-Instruct
GLM	✅	🔥🔥🔥 GLM-Z1-32B-0414 🔥🔥🔥 GLM-4-32B-0414 🔥🔥🔥 Glm-4-9b-chat
Llama	✅	🔥🔥🔥 Metalama-3.1-405B-Instruct 🔥🔥🔥 Meta-Llama-3.1-70B-Instruct 🔥🔥🔥 Meta-Llama-3.1-8B-Instruct 🔥🔥🔥 Meta-Llama-3-70B-Instruct 🔥🔥🔥 Meta-Llama-3-8B-Instruct
Gemma	✅	🔥🔥🔥 gemma-2-27b-it 🔥🔥🔥 gemma-2-9b-it 🔥🔥🔥 gemma-7b-it 🔥🔥🔥 gemma-2b-it
Yi	✅	🔥🔥🔥 Yi-1.5-34B-Chat 🔥🔥🔥 Yi-1.5-9B-Chat 🔥🔥🔥 Yi-1.5-6B-Chat 🔥🔥🔥 Yi-34B-Chat
Starling	✅	🔥🔥🔥 Starling-LM-7B-beta
SOLAR	✅	🔥🔥🔥 SOLAR-10.7B
Mixtral	✅	🔥🔥🔥 Mixtral-8x7B
Phi	✅	🔥🔥🔥 Phi-3

- [更多支持的 LLMs](http://docs.dbgpt.site/docs/modules/smmf) - **隐私与安全** 我们通过实施多种技术来确保数据的隐私和安全，包括私有化部署的大模型和代理脱敏。 - 支持数据源 - [数据源](http://docs.dbgpt.cn/docs/modules/connections) ## 镜像 🌐 [AutoDL 镜像](https://www.codewithgpu.com/i/eosphoros-ai/DB-GPT/dbgpt) ## 许可证 The MIT License (MIT) ## 免责声明 - [免责声明](./DISCKAIMER.md) ## 引用 如果您想了解 DB-GPT 的整体架构，请引用 论文 和 论文 如果您想了解如何使用 DB-GPT 进行 Agent 开发，请引用 论文 ``` @article{xue2023dbgpt, title={DB-GPT: Empowering Database Interactions with Private Large Language Models}, author={Siqiao Xue and Caigao Jiang and Wenhui Shi and Fangyin Cheng and Keting Chen and Hongjun Yang and Zhiping Zhang and Jianshan He and Hongyang Zhang and Ganglin Wei and Wang Zhao and Fan Zhou and Danrui Qi and Hong Yi and Shaodong Liu and Faqiang Chen}, year={2023}, journal={arXiv preprint arXiv:2312.17449}, url={https://arxiv.org/abs/2312.17449} } @misc{huang2024romasrolebasedmultiagentdatabase, title={ROMAS: A Role-Based Multi-Agent System for Database monitoring and Planning}, author={Yi Huang and Fangyin Cheng and Fan Zhou and Jiahui Li and Jian Gong and Hongjun Yang and Zhidong Fan and Caigao Jiang and Siqiao Xue and Faqiang Chen}, year={2024}, eprint={2412.13520}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2412.13520}, } @inproceedings{xue2024demonstration, title={Demonstration of DB-GPT: Next Generation Data Interaction System Empowered by Large Language Models}, author={Siqiao Xue and Danrui Qi and Caigao Jiang and Wenhui Shi and Fangyin Cheng and Keting Chen and Hongjun Yang and Zhiping Zhang and Jianshan He and Hongyang Zhang and Ganglin Wei and Wang Zhao and Fan Zhou and Hong Yi and Shaodong Liu and Hongjun Yang and Faqiang Chen}, year={2024}, booktitle = "Proceedings of the VLDB Endowment", url={https://arxiv.org/abs/2404.10209} } ``` ## 联系方式 感谢所有为 DB-GPT 做出贡献的人！您的想法、代码、评论，甚至在活动和社交平台上的分享，都能让 DB-GPT 变得更好。 我们正在努力建设社区，如果您对建设社区有任何想法，请随时联系我们。 - [Github Issues](https://github.com/eosphoros-ai/DB-GPT/issues) ⭐️：关于使用 DB-GPT 的问题，请参阅 CONTRIBUTING。 - [Github Discussions](https://github.com/orgs/eosphoros-ai/discussions) ⭐️：分享您的经验或独特的应用程序。 - [Twitter](https://x.com/DBGPT_AI) ⭐️：欢迎与我们交流。 [](https://star-history.com/#csunny/DB-GPT)

标签：Agent, AI原生开发, AWEL, ChatDB, ChatGPT, DBGPT, DLL 劫持, LLM, Promptflow, Python, RAG, Text-to-SQL, Unmanaged PE, 人工智能, 代码示例, 向量数据库, 多智能体, 大语言模型, 工作流编排, 开源框架, 持续集成, 数据分析, 数据库交互, 数据应用开发, 无后门, 检索增强生成, 用户模式Hook绕过, 私有化部署, 请求拦截, 逆向工具, 防御规避