生成模型有望彻底改变医学教育、机器人辅助手术和机器学习的数据增强。尽管在生成 2D 医学图像方面取得了进展，但临床视频生成的复杂领域在很大程度上仍未得到开发。本文介绍了 Endora，这是一种生成模拟临床内窥镜检查场景的医学视频的创新方法。我们提出了一种新颖的生成模型设计，它将精心制作的时空视频转换器与先进的 2D 视觉基础模型先验集成在一起，在视频生成过程中显式地建模时空动态。我们还开创了第一个使用视频生成模型进行内窥镜模拟的公共基准，并采用了现有的最先进方法来实现这一目标。 Endora 在生成内窥镜视频方面展示了卓越的视觉质量，在广泛的测试中超越了最先进的方法。此外，我们还探讨了该内窥镜模拟器如何支持下游视频分析任务，甚至生成具有多视图一致性的 3D 医疗场景。简而言之，Endora 标志着临床内窥镜研究中生成人工智能部署的显着突破，为医疗内容生成的进一步发展奠定了坚实的基础。
本次主题将要介绍DDIM inversion技术，它常用于文生图、基于文本的图像编辑和视频编辑。给定一个输入图像和描述该图像的源prompt，DDIM inversion的目标是仅修改prompt对原始输入图像进行编辑，它不仅能够将源prompt提供给模型来对输入图像进行近乎完美的重建，同时保留了直观的基于文本引导编辑能力。
生成对抗网络（GAN）和生成扩散模型（DM）已广泛应用于现实世界图像超分辨率（Real-ISR）中，以增强图像感知质量。然而，这些生成模型很容易产生视觉伪影和错误的图像结构，从而导致不自然的 Real-ISR 结果。基于自然图像表现出高自相似性的事实，即局部补丁在整个图像中可以有许多与其相似的补丁，在这项工作中，我们提出了一种简单而有效的自相似性损失（SSL）来提高生成的性能真实 ISR 模型，增强结构和纹理细节的幻觉，同时减少令人不快的视觉伪影。具体来说，我们计算真实图像的自相似图（SSG），并强制 Real-ISR 输出的 SSG 接近它。为了降低训练成本并关注边缘区域，我们从真实图像生成边缘掩模，并仅在掩模像素上计算 SSG。提议的 SSL 作为一般的即插即用的惩罚，可以轻松应用于现成的 Real-ISR 模型。我们的实验表明，通过与 SSL 结合，许多最先进的 Real-ISR 模型（包括基于 GAN 和 DM 的模型）的性能可以得到大幅提高，再现更加感知真实的图像细节，并消除许多错误的重建和视觉效果。
本篇文章主要是记录自己所看到的有关于自己项目相关的一些论文，主要是有关于如何利用GAN模型从平扫ct图像生成不同时期的增强ct的图像。
本文将介绍两篇GAN与配准网络结合的相关工作，分别是《Breaking the Dilemma of Medical Image-to-image Translation》 以及 《Multi-phase Liver-Specific DCE-MRI Translation via A Registration-Guided GAN》
非增强 CT （NCCT） 成像可能会降低图像对比度和解剖可见性，从而可能增加诊断的不确定性。相比之下，对比增强 CT （CECT） 有助于观察感兴趣区域 （ROI）。领先的生成模型，尤其是条件扩散模型，在医学图像模态变换方面表现出了卓越的能力。典型的条件扩散模型通常在分割标签的指导下生成图像，用于医疗模态变换。获得真实指导的机会有限且其基数低，可能会对条件扩散模型的实际临床应用构成挑战。为了实现生成质量和临床实践的平衡，我们提出了一种基于医学图像翻译潜在扩散模型（S2LDM）的新型Syncretic生成模型，该模型可以在推理过程中无需额外条件即可实现高保真重建。S2LDM通过融合编码和扩散增强了不同模态图像的相似性，促进了潜在空间中的融合信息，并在对比增强区域生成了具有更多细节的医学图像。然而，频域中的融合潜空间往往有利于较低频率，通常位于相同的解剖结构中。因此，S2LDM在整个训练过程中应用自适应相似性损失和动态相似性来指导生成，并补充高频细节的不足。定量实验验证了该方法在医学图像翻译中的有效性。
