PhoenixPeng's blog.

PhoenixPeng's blog.

it's better to burn out than to fade away

扩散模型——6.Classifier-free guidance
本篇文章主要是对《Classifier-free diffusion guidance》文章的介绍以及笔记总结,介绍了Classifier-free针对Classifier Guidance遇到的问题提出了一个无需分类器就能使得FID与IS到达权衡的一个思想。并与其进行对比,再针对饱和度问题进行探讨。
扩散模型——5.Classifier guidance
本篇文章主要是对《Diffusion Models Beat GANs on Image Synthesis》文章的介绍以及笔记总结,另外介绍了该文章所改进的架构,使用了分类器指导思想以及上采样提高图像生成的分辨率。
扩散模型代码篇——1.Gaussian Diffusion
本篇是扩散模型实战代码编写的第一篇,写这篇文章的初衷是在复现DDPM时,有些公式不能在pycharm中很好的用文字表达出来。故想着在markdown上可以把代码与公式给对应起来,方便自己理解与查看。本篇第一篇是将编写扩散模型当中加噪、去噪、训练以及采样所需要的公式或函数。后续将会更新扩散模型所用到的UNet等编写。这个系列也会逐步更新一系列扩散模型的代码,尽请期待。
扩散模型——4.分数模型(SDEs)
本文依据《Score-Based Generative Modeling through Stochastic Differential Equations》的方法原理以及实验结论进行笔记以及总结。本篇文章先是介绍了何为分数以及基于朗之万动力学的采样过程。对后续的SDE模型的讲解进行一定的铺垫,文章提出了一个随机微分方程(SDE),通过缓慢注入噪声将复杂的数据分布平滑地转换为已知的先验分布,以及相应的逆时间SDE,通过缓慢去除噪声将先验分布转换回数据分布。
扩散模型——3.Improved DDPM
本文依据《Improved Denoising Diffusion Probabilistic Models》的方法原理以及实验结论进行笔记以及总结。本篇文章证明了通过一些修改,DDPM可以更快地采样并实现更好的对数似然,而对样本质量的影响很小。此外,作者还研究了 DDPM 如何随着可用训练计算量的变化而扩展,并发现更多的训练计算会带来更好的样本质量和对数似然。这些结果的结合使DDPM成为生成建模的一个有吸引力的选择,因为它们将良好的对数似然、高质量样本和相当快的采样与基础良好的固定训练目标结合起来,该目标可以通过训练计算轻松扩展。这些结果表明DDPMs是未来研究的一个有希望的方向。
扩散模型——2.DDIM加速采样
本篇文章主要介绍扩散模型的加速采样的思想DDIM,本文依据《Denoising Diffusion Implicit Models》的公式推导,方法原理以及实验结论进行笔记以及总结。
avatar
PhoenixPeng
witness me