生成扩散模型漫谈(十九):作为扩散ODE的GAN
By 苏剑林 | 2023-06-24 | 30442位读者 | 引用在文章《生成扩散模型漫谈(十六):W距离 ≤ 得分匹配》中,我们推导了Wasserstein距离与扩散模型得分匹配损失之间的一个不等式,表明扩散模型的优化目标与WGAN的优化目标在某种程度上具有相似性。而在本文,我们将探讨《MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows》中的研究成果,它进一步展示了GAN与扩散模型之间的联系:GAN实际上可以被视为在另一个时间维度上的扩散ODE!
这些发现表明,尽管GAN和扩散模型表面上是两种截然不同的生成式模型,但它们实际上存在许多相似之处,并在许多方面可以相互借鉴和参考。
思路简介
我们知道,GAN所训练的生成器是从噪声$\boldsymbol{z}$到真实样本的一个直接的确定性变换$\boldsymbol{g}_{\boldsymbol{\theta}}(\boldsymbol{z})$,而扩散模型的显著特点是“渐进式生成”,它的生成过程对应于从一系列渐变的分布$p_0(\boldsymbol{x}_0),p_1(\boldsymbol{x}_1),\cdots,p_T(\boldsymbol{x}_T)$中采样(注:在前面十几篇文章中,$\boldsymbol{x}_T$是噪声,$\boldsymbol{x}_0$是目标样本,采样过程是$\boldsymbol{x}_T\to \boldsymbol{x}_0$,但为了便于下面的表述,这里反过来改为$\boldsymbol{x}_0\to \boldsymbol{x}_T$)。看上去确实找不到多少相同之处,那怎么才能将两者联系起来呢?
太阳帆技术的粗浅分析
By 苏剑林 | 2010-10-24 | 36742位读者 | 引用微积分学习(二):导数
By 苏剑林 | 2009-09-12 | 20177位读者 | 引用自从上次写了关于微积分中的极限学习后,就很长的时间没有与大家探讨微积分的学习了(估计有20多天了吧)。启事,我自己也是从今年的9月下旬才开始系统地学习微积分的,到现在也就一个月的时间吧。学习的内容有:集合、函数、极限、导数、微分、积分。不过都是一元微积分,多元的微积分正在紧张地进修中......
现在不妨和大家探讨一下关于微积分中的最基本内容——“导数”的学习。
其实,用最简单的说法,如果存在函数$f(x)$,那么它的导数(一阶导数)为
$$\lim_{\Delta x->0} f'(x)=\frac{f(x+\Delta x)-f(x)}{\Delta x}$$
《方程与宇宙》:活力积分和开普勒方程(二)
By 苏剑林 | 2010-03-27 | 57287位读者 | 引用在上一回的讨论中,我们已经解决了大部分的问题,并且表达了找到r或者$\theta$关于时间t的函数的希望。在最后的内容中,我们做了以下工作:
由(7)得到$\dot{\theta}=h/r^2$,代入(6)得到:
$$\ddot{r} -h^2/r^3=-\frac{\mu}{r^2}\tag{10}$$这是一个二阶微分方程,它的解很容易找出,但是这个积分太复杂:
$$\dot{r}\frac{d\dot{r}}{dr}=h^2/r^3-\frac{\mu}{r^2}$$
$\dot{r}d\dot{r}=(h^2/r^3-\frac{\mu}{r^2})dr$,两端积分
$$\dot{r}^2={2\mu}/r-h^2/r^2+K_1\tag{11}$$$$\Rightarrow {dt}/{dr}=\frac{r}{\sqrt{K_1 r^2+2\mu r-h^2}}$$
$t=\int \frac{r}{\sqrt{K_1 r^2+2\mu r-h^2}}dr$
《方程与宇宙》:三体问题和它的初积分(六)
By 苏剑林 | 2011-01-20 | 62291位读者 | 引用The Three Body Problem and its Classical Integration
很多天文爱好者都已经接触到了“二体问题”(我们在高中学习到的“开普勒三定律”就是内容之一),由于在太阳系中行星质量相对较小而且距离相对较远,应用“二体问题”的解对天体进行计算、预报等能够满足一定的近似需求。不过,如果需要更高精度的计算,就不能把其他行星的引力给忽略掉了,于是就产生了所谓N体问题(N-Body Problem),即N个质点尽在它们各自引力的相互作用下的运动规律问题。最简单的二体已经被彻底解决,而三体或更多体的问题则与二体大相径庭,因为庞加莱证明了,三体问题不能严格求解,而且这是一个混沌系统,任何微小的扰动都会造成不可预期的效果。
根据牛顿力学,选择惯性参考系,设三个质点分别为$M_1,M_2,M_3$,向径分别为$\vec{r_1},\vec{r_2},\vec{r_3}$,可以列出运动方程(以下的导数都默认是对时间t求导)
费曼积分法——积分符号内取微分(1)
By 苏剑林 | 2012-06-10 | 79085位读者 | 引用费曼积分法——积分符号内取微分(3)
By 苏剑林 | 2012-06-23 | 51618位读者 | 引用由于自行车之旅的原因,这篇文章被搁置了一个星期,其实应该在一个星期前就把它写好的。这篇文章继续讲讲费曼积分法的一些例子。读者或许可以从这些不同类型的例子中,发现它应用的基本方向和方法,从而提升对它的认识。
例子2:
$$\int_0^{\infty} \frac{\sin x}{x}dx$$
这也是一种比较常见的类型,它的形式为$\int \frac{f(x)}{x}dx$,对于这种形式,我们的第一感觉就是将其改写成参数形式$\int \frac{f(ax)}{x}dx$,这样的目的很简单,就是把分母给消去了,与$\int \frac{x}{f(x)}dx$的求积思想是一致的。但是深入一点研究就会发现,纵使这样能够消去分母,使得第一次积分变得简单,但是到了第二次积分的时候,我们发现,它又会变回$\int \frac{f(x)}{x}dx$的积分,使我们不能继续进行下去,因此这个取参数的方法大多数情况下都是不行的。
最近评论