etechlead/token-map
GitHub: etechlead/token-map
一款跨平台桌面应用，通过树状图和矩形树图以 token 数、行数和文件大小为维度直观呈现代码库资源消耗分布。
Stars: 1 | Forks: 0
# TokenMap
TokenMap 是一款用于探索代码库中资源消耗大户的桌面应用程序。
打开本地文件夹，通过 token 数、非空行数或文件大小作为度量标准，以树状图和矩形树图的形式检视同一项目。
## 为什么选择 TokenMap？
- 直观查看哪些文件夹和文件实际占据了仓库的主导地位，而不是仅凭文件数量进行猜测。
- 在将代码提供给 LLM 工作流之前，比较 token 消耗密集的区域。
- 在进行重构、代码清理或架构讨论之前，精准定位问题热点。
## 工作原理
- TokenMap 会将本地文件夹扫描为一个快照。
- `.gitignore`、全局排除规则以及文件夹排除规则决定了哪些内容会被纳入。
- 只有被包含的文件才会被度量并显示。
- 文本文件会获取本地 token 计数、非空行数以及字节大小。
- 文件夹的权重由其子项聚合得出。
## 安装
最新版本可在 [GitHub Releases](https://github.com/etechlead/token-map/releases) 中获取。
### Windows
- 安装版：从最新版本中下载 Windows 安装程序并运行。它按用户进行安装，不需要管理员权限。
- 便携版：下载 Windows 便携版压缩包，将其解压，然后从解压后的文件夹中启动 TokenMap。
### macOS
- DMG：从最新版本中下载 macOS 磁盘镜像，打开它，然后将 `TokenMap.app` 拖入 `Applications`。
- 便携版：下载 macOS 便携版压缩包，将其解压，然后将 `TokenMap.app` 移动到 `Applications` 中。
### Linux
- Debian 软件包：
```
cd ~/Downloads
sudo apt install ./.deb
tokenmap
```
- 便携版：下载 Linux 便携版压缩包，将其解压，然后从解压后的文件夹中运行内附的启动器。
## 从源码构建
前置条件：相同功能波段（feature band）下的 .NET SDK `10.0.201` 或更新版本。
```
dotnet restore Clever.TokenMap.sln
dotnet build Clever.TokenMap.sln
dotnet run --project .\src\Clever.TokenMap.App\Clever.TokenMap.App.csproj
```
运行测试：
```
dotnet test Clever.TokenMap.sln --no-build
```
有关仓库约定和架构细节，请参阅 `docs/architecture.md` 和 `docs/workflow.md`。
## 技术栈
- .NET 10
- C#
- Avalonia
- CommunityToolkit.Mvvm
- Microsoft.ML.Tokenizers
## 许可证
TokenMap 采用 [MIT 许可证](LICENSE)。
## 为什么选择 TokenMap？
- 直观查看哪些文件夹和文件实际占据了仓库的主导地位，而不是仅凭文件数量进行猜测。
- 在将代码提供给 LLM 工作流之前，比较 token 消耗密集的区域。
- 在进行重构、代码清理或架构讨论之前，精准定位问题热点。
## 工作原理
- TokenMap 会将本地文件夹扫描为一个快照。
- `.gitignore`、全局排除规则以及文件夹排除规则决定了哪些内容会被纳入。
- 只有被包含的文件才会被度量并显示。
- 文本文件会获取本地 token 计数、非空行数以及字节大小。
- 文件夹的权重由其子项聚合得出。
## 安装
最新版本可在 [GitHub Releases](https://github.com/etechlead/token-map/releases) 中获取。
### Windows
- 安装版：从最新版本中下载 Windows 安装程序并运行。它按用户进行安装，不需要管理员权限。
- 便携版：下载 Windows 便携版压缩包，将其解压，然后从解压后的文件夹中启动 TokenMap。
### macOS
- DMG：从最新版本中下载 macOS 磁盘镜像，打开它，然后将 `TokenMap.app` 拖入 `Applications`。
- 便携版：下载 macOS 便携版压缩包，将其解压，然后将 `TokenMap.app` 移动到 `Applications` 中。
macOS：未签名构建版本的首次启动
TokenMap 目前作为未签名的应用程序分发，因此 macOS 可能会阻止其首次启动。 UI 操作路径： 1. 将 `TokenMap.app` 移动到 `Applications`。 2. 尝试打开它一次，然后关闭警告提示。 3. 打开 `System Settings > Privacy & Security`（系统设置 > 隐私与安全性）。 4. 找到关于 `TokenMap` 被阻止的消息，然后点击 `Open Anyway`（仍然允许）。 5. 确认后续提示并再次启动该应用程序。 终端替代方案： ``` xattr -dr com.apple.quarantine /Applications/TokenMap.app ``` 然后再次启动 `TokenMap.app`。标签：LLM工作流, Mutation, Token统计, Treemap, WebSocket, 代码分析, 代码复杂度分析, 代码库分析, 代码度量, 代码重构, 依赖分析, 凭证管理, 可视化, 威胁情报, 开发者工具, 开源, 数据管道, 文件大小分析, 本地文件夹, 架构分析, 桌面应用, 目录结构可视化, 软件工程