MLNeurosurg/neurovfm

# NeuroVFM ## 卫生系统学习赋能通用神经影像模型 [**论文**](https://www.nature.com/articles/s41591-026-04497-1) / [**交互式 Demo**](https://neurovfm.mlins.org) / [**模型**](https://huggingface.co/collections/mlinslab/neurovfm) / [**MLiNS Lab**](https://mlins.org) **NeuroVFM** 是一个用于多模态神经影像的立体基础模型，基于 Michigan Medicine 长达 **20 多年**常规临床护理中的 **524 万** MRI/CT 体积（**56.7 万**份研究）进行了自监督训练。  NeuroVFM 技术栈包括： - **3D ViT encoder**，用于*任何*临床神经影像（T1、T2、FLAIR、DWI、CT 等）的通用表示 - **研究级别的诊断头**，涵盖适用于*任何*神经影像研究的 **74 种 MRI** / **82 种 CT** 专家定义诊断 - **Findings LLM**，根据*任何*神经影像研究及临床背景生成初步发现 - **Reasoning API**，将输出传递给前沿推理模型以执行更高阶任务（例如分诊） 所有预训练模型均托管在 [Hugging Face](https://huggingface.co/collections/mlinslab/neurovfm) 上。权重需要使用机构邮箱进行访问审批。 ## 快速开始 ### 安装 ``` git clone https://github.com/MLNeurosurg/neurovfm.git cd neurovfm pip install -e . ``` 训练和推理均需使用从源码构建的 [FlashAttention-2 v2.6.3](https://github.com/Dao-AILab/flash-attention)（必须启用融合 dense/MLP 和 DropAddNorm 内核）。有关 GPU、CUDA 和 PyTorch 的兼容性，请参阅 flash-attn 的 README。 ### Pipeline ``` from neurovfm.pipelines import load_encoder, load_diagnostic_head, load_vlm, interpret_findings encoder, preprocessor = load_encoder("mlinslab/neurovfm-encoder") dx_head = load_diagnostic_head("mlinslab/neurovfm-dx-ct") generator, gen_preproc = load_vlm("mlinslab/neurovfm-llm") batch = preprocessor.load_study("/path/to/ct/study/", modality="ct") embeddings = encoder.embed(batch) # [N_tokens, 768] predictions = dx_head.predict(embeddings, batch) # [(label, prob, pred), ...] vols = gen_preproc.load_study("/path/to/ct/study/", modality="ct") findings = generator.generate(vols, clinical_context="LOC and nausea.") # （可选）用于 triage 的 External reasoning model triage = interpret_findings(findings, "LOC and nausea.", api_key="...") ``` 有关每个阶段的完整可运行脚本，请参见 `examples/`。 ## 训练 我们为 encoder 预训练（Vol-JEPA）、诊断头训练（MIL）和 findings 模型微调（SFT）提供了配置文件和参考脚本。详情请参见 [`neurovfm/train/README.md`](neurovfm/train/README.md)。 ## 仓库结构 ``` neurovfm/ ├── data/ # Data loading & preprocessing (NIfTI, DICOM, caching) ├── datasets/ # PyTorch datasets, samplers, collators, data modules ├── models/ # 3D ViT, MIL poolers, VLM, Perceiver connector ├── systems/ # Lightning training: Vol-JEPA, classification, SFT ├── pipelines/ # Inference APIs (encoder, diagnostic, VLM, triage) ├── optim/ # Optimizers and LR schedulers ├── train/ # Training scripts (Vol-JEPA pretraining, classification heads, LLM fine-tuning) examples/ # End-to-end example scripts ``` ## 使用 NeuroVFM 的项目 | 论文 | 描述 | 链接 | |---|---|---| | Heras Rivera, Low, et al. "CoRe-BT: A Multimodal Radiology-Pathology-Text Benchmark for Robust Brain Tumor Typing." (2026) | 在多模态脑肿瘤分型中使用 NeuroVFM encoder 生成 MRI embeddings | [arXiv:2603.03618](https://arxiv.org/abs/2603.03618) | ## 许可证 代码在 **MIT License** 下发布。模型权重在 [Hugging Face](https://huggingface.co/collections/mlinslab/neurovfm) 上依据 **CC-BY-NC-SA 4.0** 提供。部分权重需要使用机构邮箱进行访问审批。 ## 引用 ``` @misc{kondepudi2025healthlearningachievesgeneralist, title={Health system learning achieves generalist neuroimaging models}, author={Akhil Kondepudi and Akshay Rao and Chenhui Zhao and Yiwei Lyu and Samir Harake and Soumyanil Banerjee and Rushikesh Joshi and Anna-Katharina Meissner and Renly Hou and Cheng Jiang and Asadur Chowdury and Ashok Srinivasan and Brian Athey and Vikas Gulani and Aditya Pandey and Honglak Lee and Todd Hollon}, year={2025}, eprint={2511.18640}, archivePrefix={arXiv}, primaryClass={cs.CV}, } ```

标签：3D视觉Transformer, IaC 扫描, 凭据扫描, 医学影像分析, 医疗AI, 基础模型, 多模态大语言模型, 神经影像, 计算机视觉, 逆向工具