扩散模型在生成用于医学图像翻译的高质量图像以帮助疾病诊断、定位和治疗方面已表现出巨大的潜力。然而，当前的扩散模型在实现忠实的图像转换（可以准确地保留医学图像的解剖结构）方面取得的成功有限，特别是对于不配对的数据集。保留结构和解剖细节对于可靠的医疗诊断和治疗计划至关重要，因为结构不匹配可能导致疾病误识别和治疗错误。在这项研究中，我们引入了频率解耦扩散模型（FDDM），这是一种新颖的框架，可以在翻译过程中解耦傅里叶域中医学图像的频率分量，以实现结构保留的高质量图像转换。 FDDM应用无监督频率转换模块将源医学图像转换为特定于频率的输出，然后使用特定于频率的信息来指导后续的扩散模型以实现最终的源到目标图像转换。我们使用公共大脑 MR 到 CT 翻译数据集对 FDDM 进行了广泛的评估，显示了其相对于其他基于 GAN、VAE 和扩散的模型的优越性能。评估的指标包括FID、峰值信噪比 (PSNR) 和结构相似性指数测量 (SSIM)。 FDDM的 FID 为 29.88，不到第二好的一半。这些结果证明了 FDDM 在生成高度真实的目标域图像同时保持翻译解剖结构的忠实度方面的能力。
最近，扩散模型已经成为一种优越的生成模型，可以产生高质量和逼真的图像。然而，对于医学图像翻译，现有的扩散模型缺乏准确保留结构信息，因为源域图像的结构细节在正向扩散过程中丢失，不能通过学习的反向扩散完全恢复，而解剖结构的完整性在医学图像中非常重要。例如，图像翻译中的错误可能会扭曲、移位甚至删除结构和肿瘤，导致诊断不正确，治疗不足。使用配对源图像和目标图像与匹配解剖进行训练和调节扩散模型会有所帮助。然而，这种配对数据很难获得且成本高昂，并且还可能会降低开发模型对分布外测试数据的鲁棒性。我们提出了一种频率引导的扩散模型(FGDM)，该模型使用频域滤波器来指导扩散模型进行结构保持图像平移。基于其设计，FGDM 允许零样本学习，因为它可以仅在来自目标域的数据上进行训练，并直接用于源到目标域翻译，而无需在训练期间暴露于源域数据。我们在不同解剖部位的三个锥束 CT (CBCT) 到 CT 翻译任务以及跨机构 MR 成像翻译任务上评估了它。FGDM在FID、峰值信噪比 (PSNR) 和结构相似性指数度量 (SSIM) 指标方面优于最先进的方法（基于GAN、基于VAE 和基于扩散的），显示出其在零样本医学图像翻译中显着优势。
跨模态数据翻译在图像计算中引起了极大的兴趣。深度生成模型（例如 GAN）在处理这些问题方面表现出性能改进。然而，作为图像翻译的一个基本挑战，具有保真度的零样本学习跨模态数据翻译问题仍未得到解答。本文提出了一种新的无监督零样本学习方法，称为互信息引导扩散跨模态数据翻译模型 (MIDiffusion)，它学习将看不见的源数据翻译成目标域。MIDiffusion 利用基于分数匹配的生成模型，该模型学习目标域中的先验知识。我们提出了一种可微局部-MI-Layer (LM I)，用于调节迭代去噪采样。LM I 在统计域中捕获相同的跨模态特征以进行扩散引导；因此，当源域发生变化时，我们的方法不需要重新训练，因为它不依赖于源域和目标域之间的任何直接映射。这一优势对于在实践中应用跨模态数据翻译方法至关重要，因为合理数量的源域数据集并不总是可用于监督训练。与有影响力的生成模型组（包括基于对抗和其他基于分数的模型）相比，我们凭经验展示了 MIDiffusion 的卓越性能。
通过源到目标模态转换对缺失图像进行插补可以促进医学成像中的下游任务。合成目标图像的一种普遍方法涉及通过生成对抗网络（GAN）进行一次性映射。然而，隐式表征图像分布的 GAN 模型可能会受到样本保真度和多样性有限的影响。在本文当中提出了一种基于对抗扩散建模的新方法——SynDiff，以提高医学图像合成的可靠性。为了捕获图像分布的直接关联，SynDiff 利用条件扩散过程逐步将噪声和源图像映射到目标图像上。为了在推理过程中快速准确地进行图像采样，大的扩散步骤与反向扩散方向上的对抗性投影相结合。为了能够对不成对的数据集进行训练，设计了一种循环一致的架构，它具有两个耦合的扩散过程来合成目标给定源和源给定目标。在多对比 MRI 和 MRI-CT 翻译中，SynDiff 相对于竞争性 GAN 和扩散模型的实用性进行了广泛的评估。论文演示表明，SynDiff 在定性和定量方面都比竞争基线提供了卓越的性能。
由于短期（例如心跳）和长期（例如衰老）因素的复杂组合，人体器官不断经历解剖学变化。显然，在对它们的未来状态进行建模（即通过图像生成）时，对这些因素的先验知识将是有益的。然而，大多数医学图像生成任务仅依赖于单个图像的输入，因此即使纵向数据可用，也忽略了顺序依赖性。序列感知深度生成模型（模型输入是一系列有序且带时间戳的图像）在医学成像领域仍处于探索之中，该领域面临着几个独特的挑战：1）具有不同长度的序列； 2) 丢失数据或帧，以及 3) 高维。为此，我们提出了一种用于生成纵向医学图像的序列感知扩散模型（SADM）。最近，扩散模型在高保真图像生成方面显示出了有希望的结果。我们的方法通过引入序列感知变压器作为扩散模型中的条件模块来扩展这项新技术。即使在训练期间丢失数据，这种新颖的设计也能够学习纵向依赖性，并允许在推理期间自回归生成图像序列。我们对 3D 纵向医学图像进行的广泛实验证明了 SADM 与基线和替代方法相比的有效性。
多模态图像在医学图像分析的综合评估中发挥着至关的重要作用，为识别临床重要的生物标志物提供补充信息。然而，在临床实践中，由于扫描成本、有限的扫描时间和安全考虑等原因，获取多种模式可能具有挑战性。在本文中，我们提出了一种基于潜在扩散模型 (LDM) 的模型，该模型利用可切换块(switchable blocks)对3D医学图像进行图像到图像的转换，而无需进行补丁裁剪。3D LDM 与使用目标模态的调节相结合，可以在 3D 中生成高质量的目标模态，克服 2D 生成方法中丢失切片外信息的缺点。可切换块被称为多个可切换空间自适应归一化（MS-SPADE），它动态地将源潜伏转换为目标潜伏的所需风格，以帮助扩散过程。MS-SPADE 块允许我们使用一个模型来处理一种源模态到各种目标的许多翻译任务，从而消除了针对不同场景的许多翻译模型的需要。我们的模型在不同的源-目标模态场景中展示了成功的图像合成，并且在四种不同模态的多模态脑磁共振成像数据集和独立的 IXI 数据集上测试的定量评估中超越了其他模型。我们的模型展示了跨各种模态的成功图像合成，甚至允许一对多模态转换。此外，它在定量评估中优于其他一对一翻译模型。
