Ronak-IIITD/ScholarDevClaw

# ScholarDevClaw v2 🚀 [](https://opensource.org/licenses/MIT) [](https://www.python.org/downloads/) [](https://www.typescriptlang.org/) [](https://arxiv.org/) **ScholarDevClaw** 是一个自主的 research-to-code AI agent，能够将机器学习研究论文转化为可用于生产环境的代码实现。 ## 🌟 核心功能 - **AI 驱动的研究分析**：自动分析 arXiv 论文并提取算法 - **代码生成**：将研究转化为可用于生产环境的实现 - **多语言支持**：Python、JavaScript/TypeScript、Go、Rust、Java - **基准测试自动化**：使用 PyTorch benchmarks 进行真实的性能测试 - **验证循环**：带有重试机制的自动 patch 愈合 - **智能映射**：基于 AST 的代码与研究匹配 - **网络研究**：集成 GitHub、Papers with Code、Stack Overflow - **灵活部署**：CLI、TUI、REST API 或 TypeScript agent ## 🚀 快速开始 ``` # 一行安装（推荐） curl -fsSL https://ronak-iiitd.github.io/ScholarDevClaw/install.sh | bash # 或通过 pip pip install scholardevclaw # 或从源码安装 git clone https://github.com/Ronak-IIITD/ScholarDevClaw.git cd ScholarDevClaw/core pip install -e ".[arxiv,ml,tui]" # 测试安装 scholardevclaw --help scholardevclaw demo ``` ## 🧭 Core + TUI 入门指南（分步说明） 本节介绍使用 CLI 命令或交互式 TUI 在您自己的项目中运行 ScholarDevClaw 的最快方法。 ### 1) 一次性设置 ``` git clone https://github.com/Ronak-IIITD/ScholarDevClaw.git cd ScholarDevClaw/core python3 -m venv .venv source .venv/bin/activate pip install -e ".[arxiv,ml,tui,dev]" ``` ### 2) 验证安装 ``` scholardevclaw --help scholardevclaw specs --list ``` ### 3) 启动 TUI 在激活虚拟环境的情况下，从 `core/` 目录运行： ``` scholardevclaw tui ``` 目前在 TUI 中您可以获得： - 用于 `analyze`、`suggest`、`search`、`specs`、`map`、`generate`、`validate`、`integrate` 的工作流向导 - workflow 运行时的实时执行日志 - 运行状态（`Running`、`Done`、`Failed`） - 包含 run ID、操作、持续时间和快速重跑的运行历史记录 - 任何历史运行的运行详情检查器（输入、输出、artifacts、错误、耗时） - Artifact 查看器，用于检查生成的文件和历史运行的转换摘要 - 运行详情中的验证记分卡亮点（通过/失败摘要、加速/损失增量） - Payload schema 元数据以及 integrate/validate 流程中的兼容性警告 - 确定性 schema 策略（主要版本不匹配会阻止兼容性；次要/补丁版本偏移会发出迁移说明） - Agent 编排运行持久化，支持可恢复的阶段检查点和心跳恢复 - Agent 阶段防护机制：在 patch 阶段阻断受保护分支 + 在 validation 阶段进行确定性重试/退避预算 - 在低置信度映射或高风险验证增量时强制执行审批关卡，并持久化记录防护原因 ### 4) TUI workflow 示例（真实项目） 1. 使用 `scholardevclaw tui` 打开 TUI。 2. 将 **Repository path** 设置为您的目标代码库（例如 `/home/user/my-model-repo`）。 3. 选择 **Analyze repository** 并运行。 4. 切换到 **Suggest improvements** 并运行。 5. 选择一个规范（例如 `rmsnorm`）并运行 **Map spec to repository**。 6. 运行 **Generate patch artifacts** 并可选择设置输出目录。 7. 运行 **Validate repository**。 8. 使用 **Run History** 面板快速重新运行任何之前的工作流。 ### 5) CLI workflow 示例（相同结果，命令优先） ``` # 前往你的代码库 cd /path/to/your/repo # 分析项目结构 scholardevclaw analyze . # 获取改进建议 scholardevclaw suggest . # 将 paper spec 映射到你的代码位置 scholardevclaw map . rmsnorm # 生成 patch artifacts（基于 spec 的生成需要 --use-specs） scholardevclaw generate . rmsnorm --use-specs --output-dir ./integration-patch # 验证 scholardevclaw validate . ``` ### 6) 搜索 workflow 示例 ``` # 本地 + arXiv + 网络搜索 scholardevclaw search "layer normalization" --arxiv --web # 分类探索 scholardevclaw specs --categories ``` ### 7) 常见问题 - 如果 `scholardevclaw tui` 失败，请确保您使用了 `.[tui]` 进行安装并激活了 `.venv`。 - 如果 arXiv/网络搜索速度较慢，请先从本地流程（`analyze`、`suggest`、`specs`）开始。 - 当您需要机器可读的输出时，请在 CLI 命令上使用 `--output-json`。 ## 📖 用法 所有命令都通过统一的 `scholardevclaw` CLI 运行： ``` # 查看所有命令 scholardevclaw --help # 分析任何代码库（自动检测语言） scholardevclaw analyze /path/to/your/repo # 搜索研究论文 scholardevclaw search "layer normalization" --arxiv --web # 获取 AI 驱动的改进建议 scholardevclaw suggest /path/to/your/repo # 完整集成工作流 scholardevclaw integrate /path/to/your/repo rmsnorm # 列出可用的 paper specs scholardevclaw specs --list # 运行演示 scholardevclaw demo # 可选：安装并启动 TUI pip install -e ".[tui]" scholardevclaw tui ``` ## 🛠️ 架构 ``` ┌─────────────────────────────────────────────────────────────┐ │ ScholarDevClaw v2 │ ├─────────────────────────────────────────────────────────────┤ │ Unified CLI Interface │ │ • One command for all operations │ │ • Multi-language support │ │ • Web + arXiv research │ └─────────────────────────────────────────────────────────────┘ │ ┌─────────────────────┼─────────────────────┐ ▼ ▼ ▼ ┌───────────────┐ ┌───────────────┐ ┌───────────────┐ │ Code │ │ Research │ │ Code │ │ Analyzer │ │ Engine │ │ Generator │ │ (tree-sitter)│ │(arXiv + Web)│ │ (multi-lang) │ └───────────────┘ └───────────────┘ └───────────────┘ │ ┌─────────────────────────────────────────────────────────────┐ │ Validation + Patch Artifacts │ │ • Mapping confidence • Generated files • Outcome checks │ └─────────────────────────────────────────────────────────────┘ ``` ## 🌍 支持的语言 | 语言 | 状态 | 框架 | |----------|--------|------------| | Python | ✅ 完整 | PyTorch, TensorFlow, Django, Flask, FastAPI | | JavaScript | ✅ 完整 | Express, React, Vue, Angular | | TypeScript | ✅ 完整 | Next.js, NestJS | | Go | ✅ 基本 | Gin, Echo | | Rust | ✅ 基本 | Actix, Rocket | | Java | ✅ 基本 | Spring, Maven | | C/C++ | 🚧 计划中 | - | | Ruby | 🚧 计划中 | Rails | ## 📚 研究来源 - **arXiv**：计算机科学、机器学习、物理学领域的 240 万多篇论文 - **GitHub**：搜索实现 - **Papers with Code**：机器学习实现 - **Stack Overflow**：技术讨论 - **技术博客**：即将推出 ## 🏗️ 部署选项 ### 自托管（本地） ``` # 开发栈（core-api + agent + convex） cp docker/.env.example docker/.env bash scripts/runbook.sh dev up bash scripts/runbook.sh dev health # 生产栈（nginx + web-ui + core-api + agent + 监控） cp docker/.env.example docker/.env # 在 docker/.env 中设置所需变量： # SCHOLARDEVCLAW_API_AUTH_KEY # SCHOLARDEVCLAW_ALLOWED_REPO_DIRS bash scripts/runbook.sh prod preflight bash scripts/runbook.sh prod up bash scripts/runbook.sh prod health # Systemd 服务 sudo systemctl start scholardevclaw # PM2 pm2 start ecosystem.config.js ``` ### 云端 - **Fly.io**：`fly deploy` - **Railway**：`railway up` - **AWS EC2**：参见 docs/DEPLOYMENT.md ## 📖 文档 - [快速入门指南](demo.md) - [部署指南](docs/DEPLOYMENT.md) - [架构概览](AGENTS.md) - [API 参考](docs/API.md) ## 🎯 Workflow 示例 ### 改进 Python ML 项目 ``` # 1. 分析 cd my-ml-project scholardevclaw analyze . # 2. 获取建议 scholardevclaw suggest . # 3. 集成 RMSNorm scholardevclaw integrate . rmsnorm ``` ### 改进 JavaScript 后端 ``` # 分析 Express.js 应用 scholardevclaw analyze ./my-api # 搜索 caching 论文 scholardevclaw search "api caching" --web # 获取建议 scholardevclaw suggest ./my-api ``` ## 🔧 配置 ``` # 环境变量 cat > .env << 'EOF' CORE_API_URL=http://localhost:8000 GITHUB_TOKEN=your_github_token ANTHROPIC_API_KEY=your_anthropic_key # core API 生产环境加固 SCHOLARDEVCLAW_API_AUTH_KEY=replace-with-strong-random-key SCHOLARDEVCLAW_ALLOWED_REPO_DIRS=/absolute/path/to/allowed/repos SCHOLARDEVCLAW_ENABLE_HSTS=true EOF ``` ## 🧪 测试 ``` # 运行测试 cd core pytest # 运行演示 scholardevclaw demo # 使用你的代码库进行测试 scholardevclaw analyze /path/to/repo ``` ## 🤝 贡献 1. Fork 本仓库 2. 创建一个 feature 分支 3. 进行您的更改 4. 运行测试 5. 提交 PR ## 📄 许可证 MIT License - 参见 [LICENSE](LICENSE) ## 🙏 致谢 - tree-sitter 用于多语言解析 - arXiv 用于论文访问 - Papers with Code 用于提供实现 ## 📞 支持 - GitHub Issues: https://github.com/Ronak-IIITD/ScholarDevClaw/issues - Discussions: https://github.com/Ronak-IIITD/ScholarDevClaw/discussions **用 ❤️ 为研究人员和开发者打造** 利用尖端研究自动转化您的代码库。🚀

标签：AI代码分析, Apex, arXiv, Go, IP 地址批量处理, MIT协议, ML论文, Python, PyTorch, REST API, Ruby工具, Rust, TUI, TypeScript, 人工智能, 代码生成, 凭据扫描, 多语言支持, 安全插件, 安全测试框架, 开源, 性能测试, 数据管道, 无后门, 机器学习, 渗透测试工具, 用户模式Hook绕过, 研究自动化, 算法提取, 网络流量审计, 自动代码审查, 自动修复, 自动化编程, 补丁生成, 论文复现, 请求拦截, 软件工程, 逆向工具