SAGAR-TAMANG/ultron-by-sagar-builds

GitHub: SAGAR-TAMANG/ultron-by-sagar-builds

基于 Next.js、Three.js 与 MediaPipe 手势追踪构建的交互式 3D 全息 Orb 界面,支持通过摄像头徒手控制三维场景。

Stars: 171 | Forks: 42

# ULTRON Orb UI 一个灵感源自钢铁侠的全息 Orb,基于 **Next.js**、**Three.js** 和 **MediaPipe** 手势追踪构建——通过你的网络摄像头,徒手即可对其进行控制。 ![ULTRON Orb UI](https://static.pigsec.cn/wp-content/uploads/repos/cas/fb/fbf9afc7c62529890df5b7e58118f2e13deb43720af7284ef7e32605825ac862.png) https://github.com/user-attachments/assets/91578a83-9a27-44e8-84b0-96defcfd7366 ## 快速开始 ``` npm install npm run dev ``` 打开 [http://localhost:3000](http://localhost:3000)。 ## 操作说明 ### 鼠标 / 触摸 | 输入 | 动作 | | --- | --- | | 拖动 | 旋转 Orb | | 滚动 / 捏合 | 放大和缩小 | ### 手势(网络摄像头) 点击 **GESTURES OFF**(或按下 `G`)并允许访问摄像头,然后: | 手势 | 动作 | | --- | --- | | 单手捏合(拇指 + 食指)并移动 | 旋转 Orb | | **双手**捏合,张开 / 靠拢 | 放大 / 缩小 | ### 键盘 | 按键 | 动作 | | --- | --- | | `G` | 切换手势控制 | | `R` | 重置视图 | | `+` / `−` | 放大 / 缩小 | ## 工作原理 - **`lib/orbScene.ts`** — Three.js 场景:包含多层线框外壳、螺旋状内核、漂浮的代码文本 sprite、轨道碎片、粉尘粒子、扫描环,以及 bloom + chromatic-aberration 后期处理栈。 - **`lib/handTracker.ts`** — 在网络摄像头画面上运行的 MediaPipe HandLandmarker。带有滞后阈值的捏合检测:单手捏合可旋转 Orb,双手捏合则通过张开或靠拢进行缩放。 - **`components/JarvisOrb.tsx`** — 负责连接场景、追踪器和输入的 HUD 中枢组件。 ## 许可证 MIT
标签:MediaPipe, Three.js, Web 3D可视化, 人机交互, 手势追踪, 自动化攻击