原创 生物世界 生物世界
撰文丨王聪
编辑丨王多鱼
排版丨水成文
在许多临床和研究环境中，缺乏高质量的医学成像数据集阻碍了人工智能（AI）临床应用的潜力。这一问题在不太常见的情况、代表性不足的人群和新兴的成像方式中尤为突出，在这些情况下，各种综合数据集的可用性往往不足。
2024年12月11日，温州医科大学瞿佳、张康、北京大学未来技术学院王劲卓等人在国际顶尖医学期刊 Nature Medicine 上发表了题为：Self-improving generative foundation model for synthetic medical image generation and clinical applications 的研究论文。
为了解决这一挑战，数据增扩（Data Augmentation）和使用生成式人工智能（Generative AI）的合成图像已成为关键解决方案。生成式AI在医学影像学研究中取得了重大突破，增强了对病历和图像的分析，改善了诊疗计划。
生成式对抗网络（GAN）已被广泛用于生成合成医学图像，在提高AI模型的数据可用性方面取得了显著进展。此外，建立在GAN基础上的新管线还纳入了分割技术，以进一步减少所需的训练数据集数量，特别适用于数据稀缺场景（例如罕见病）。这些研究表明，在单一的医学成像模式中，生成式AI可以生成高质量的合成图像，这些图像可作为支持医学成像研究的宝贵资产。
然而，传统的基于GAN的图像生成难以生成不同维度的图像，因此，往往限于单一成像模式。对单一模式的有限探索和对不同医学影像模式之间关系的缺乏研究，进一步阻碍了广泛的多模态医学影像数据集的充分利用和通用医学生成式模型的发展。
为了解决上述问题，研究团队开发了一种统一的医学图像-文本生成模型——MINIM。MINIM集成了医学图像与文本描述，涵盖了多种模式和器官，包括光学相干断层扫描（OCT）、眼底、胸部X光和胸部计算机断层扫描（CT）等。
MINIM模型能够基于文本指令在不同的成像模式下合成不同器官的医学图像。研究团队评估了MINIM基于文本输入生成合成图像的性能，并在不同的医学影像场景中与其他最新生成模型进行了性能测试。临床医师的评估和严格的客观测量验证了MINIM模型生成的合成图像的高质量。
研究团队还通过纳入额外的脑部和乳腺磁共振成像（MRI）数据集，探索了MINIM模型的适应性，从而评估MINIM模型在持续学习和整合新医学知识方面的潜力。
MINIM在数据域上表现出更强的生成能力，显示出其作为通用医学人工智能（generalist medical AI，GMAI）的潜力。
论文链接：
https://www.nature.com/articles/s41591-024-03359-y
原标题：《Nature Medicine：瞿佳/张康/王劲卓团队开发全球首个通用大型生成式AI医学影像模型，帮助提高癌症患者生存率》