生成扩散模型漫谈(二十):从ReFlow到WGAN-GP
By 苏剑林 | 2023-06-28 | 29327位读者 | 引用上一篇文章《生成扩散模型漫谈(十九):作为扩散ODE的GAN》中,我们介绍了如何将GAN理解为在另一个时间维度上的扩散ODE,简而言之,GAN实际上就是将扩散模型中样本的运动转化为生成器参数的运动!然而,该文章的推导过程依赖于Wasserstein梯度流等相对复杂和独立的内容,没法很好地跟扩散系列前面的文章连接起来,技术上显得有些“断层”。
在笔者看来,《生成扩散模型漫谈(十七):构建ODE的一般步骤(下)》所介绍的ReFlow是理解扩散ODE的最直观方案,既然可以从扩散ODE的角度理解GAN,那么必定存在一个从ReFlow理解GAN的角度。经过一番尝试,笔者成功从ReFlow推出了类似WGAN-GP的结果。
理论回顾
之所以说“ReFlow是理解扩散ODE的最直观方案”,是因为它本身非常灵活,以及非常贴近实验代码——它能够通过ODE建立任意噪声分布到目标数据分布的映射,而且训练目标非常直观,不需要什么“弯弯绕绕”就可以直接跟实验代码对应起来。
百科翻译:盐酸的历史(氯化氢,HCl)
By 苏剑林 | 2009-07-08 | 40431位读者 | 引用古老的火山爆发造成地球冰期?
By 苏剑林 | 2009-07-08 | 34117位读者 | 引用三次方程的根式求解(通俗版本)
By 苏剑林 | 2009-07-19 | 66902位读者 | 引用广东珠海之旅(图片)
By 苏剑林 | 2009-08-11 | 18604位读者 | 引用我并非一个出色的人物,但在学习上也取得了一点微小的成就,考试也得到了心中理想的成绩。
相对于同龄人来说,我是一个相对优秀的人物。也许很多人会认为,我付出了很多的努力,肯定很用功,肯定“不会放过放假的时间来学习”......
不论你是孩子的家长,还是本身在学习的孩子,都请你们听一下:我不刻苦,我不用功,反而,我很懒。
的确,我没有糊弄大家。说点实际的情况,人们都说,初三(相对于初一、初二)是一个紧张的阶段,因为要迎来中考。而我,在初三,对于理科,我几乎没有做过一点作业,上课的时候也是一边听讲,一边在做自己的事情。从这个角度来讲,很多和我一样的学生,都是班级的落后生。而我,在中考中,考得了全县的第7名。
几何-算术均值不等式的一般证明
By 苏剑林 | 2009-08-24 | 48858位读者 | 引用本证明是站长经过很长时间独立研究得出,望转载者要注明原作者和出处,否则定追究版权责任! (公式很多,推荐使用火狐浏览器)
关于这个不等式由来已久,从a+b2≥√ab开始,人们逐渐地发现,只要a1,a2,...,an≥0,那么就一定会有a1+a2+...+ann≥n√a1a2...an。对于比较小的n,人们已经可以证明上式成立,但是,一般形式的证明则是近年来的事情。
我自己很早就接触到了这个不等式(好像是3年前,我读六年级),从那个时候开始,我就一直寻找这个不等式的证明,但是除了n=2的情况外,其余一直未果。直到三个月前的一节数学课,在发愣之余就想出来了(^_^)。一开始证明了n=3的情况,然后就势如破竹,证明了对于任何的n,这条不等式都成立。
最近评论