24 Jun

生成扩散模型漫谈(十九):作为扩散ODE的GAN

在文章《生成扩散模型漫谈(十六):W距离 ≤ 得分匹配》中,我们推导了Wasserstein距离与扩散模型得分匹配损失之间的一个不等式,表明扩散模型的优化目标与WGAN的优化目标在某种程度上具有相似性。而在本文,我们将探讨《MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows》中的研究成果,它进一步展示了GAN与扩散模型之间的联系:GAN实际上可以被视为在另一个时间维度上的扩散ODE!

这些发现表明,尽管GAN和扩散模型表面上是两种截然不同的生成式模型,但它们实际上存在许多相似之处,并在许多方面可以相互借鉴和参考。

思路简介

我们知道,GAN所训练的生成器是从噪声$\boldsymbol{z}$到真实样本的一个直接的确定性变换$\boldsymbol{g}_{\boldsymbol{\theta}}(\boldsymbol{z})$,而扩散模型的显著特点是“渐进式生成”,它的生成过程对应于从一系列渐变的分布$p_0(\boldsymbol{x}_0),p_1(\boldsymbol{x}_1),\cdots,p_T(\boldsymbol{x}_T)$中采样(注:在前面十几篇文章中,$\boldsymbol{x}_T$是噪声,$\boldsymbol{x}_0$是目标样本,采样过程是$\boldsymbol{x}_T\to \boldsymbol{x}_0$,但为了便于下面的表述,这里反过来改为$\boldsymbol{x}_0\to \boldsymbol{x}_T$)。看上去确实找不到多少相同之处,那怎么才能将两者联系起来呢?

点击阅读全文...

24 Oct

太阳帆技术的粗浅分析

IKAROS-帆面示意图

IKAROS-帆面示意图

如果说建造天梯对于我们来说遥不可及的话,那么利用太阳帆技术进行太空航行可以说是“近在眉睫”了。通过《天文爱好者》上面的文章,我们能够对太阳帆的技术以及发展有了相当的了解。但是,这仅仅知道了“What(是什么)”和“How(怎么样)”,却还不知道“Why(为什么)”。现在尝试利用我们已经接触过的物理和天文知识,来对太阳帆技术进行一个浅层面的分析。

点击阅读全文...

25 Aug

【NASA每日一图】土星上的春分

图片说明:土星的春分环,版权:卡西尼队,国际空间站,喷气推进实验室,欧空局,美国航天局

图片说明:土星的春分环,版权:卡西尼队,国际空间站,喷气推进实验室,欧空局,美国航天局

点击阅读全文...

12 Sep

微积分学习(二):导数

自从上次写了关于微积分中的极限学习后,就很长的时间没有与大家探讨微积分的学习了(估计有20多天了吧)。启事,我自己也是从今年的9月下旬才开始系统地学习微积分的,到现在也就一个月的时间吧。学习的内容有:集合、函数、极限、导数、微分、积分。不过都是一元微积分,多元的微积分正在紧张地进修中......

现在不妨和大家探讨一下关于微积分中的最基本内容——“导数”的学习。

其实,用最简单的说法,如果存在函数$f(x)$,那么它的导数(一阶导数)为
$$\lim_{\Delta x->0} f'(x)=\frac{f(x+\Delta x)-f(x)}{\Delta x}$$

点击阅读全文...

27 Mar

《方程与宇宙》:活力积分和开普勒方程(二)

二体运动

二体运动

上一回的讨论中,我们已经解决了大部分的问题,并且表达了找到r或者$\theta$关于时间t的函数的希望。在最后的内容中,我们做了以下工作:

由(7)得到$\dot{\theta}=h/r^2$,代入(6)得到:
$$\ddot{r} -h^2/r^3=-\frac{\mu}{r^2}\tag{10}$$这是一个二阶微分方程,它的解很容易找出,但是这个积分太复杂:
$$\dot{r}\frac{d\dot{r}}{dr}=h^2/r^3-\frac{\mu}{r^2}$$
$\dot{r}d\dot{r}=(h^2/r^3-\frac{\mu}{r^2})dr$,两端积分
$$\dot{r}^2={2\mu}/r-h^2/r^2+K_1\tag{11}$$$$\Rightarrow {dt}/{dr}=\frac{r}{\sqrt{K_1 r^2+2\mu r-h^2}}$$
$t=\int \frac{r}{\sqrt{K_1 r^2+2\mu r-h^2}}dr$

点击阅读全文...

20 Jan

《方程与宇宙》:三体问题和它的初积分(六)

The Three Body Problem and its Classical Integration

很多天文爱好者都已经接触到了“二体问题”(我们在高中学习到的“开普勒三定律”就是内容之一),由于在太阳系中行星质量相对较小而且距离相对较远,应用“二体问题”的解对天体进行计算、预报等能够满足一定的近似需求。不过,如果需要更高精度的计算,就不能把其他行星的引力给忽略掉了,于是就产生了所谓N体问题(N-Body Problem),即N个质点尽在它们各自引力的相互作用下的运动规律问题。最简单的二体已经被彻底解决,而三体或更多体的问题则与二体大相径庭,因为庞加莱证明了,三体问题不能严格求解,而且这是一个混沌系统,任何微小的扰动都会造成不可预期的效果。

根据牛顿力学,选择惯性参考系,设三个质点分别为$M_1,M_2,M_3$,向径分别为$\vec{r_1},\vec{r_2},\vec{r_3}$,可以列出运动方程(以下的导数都默认是对时间t求导)

点击阅读全文...

10 Jun

费曼积分法——积分符号内取微分(1)

帅气的天才科学家费曼

帅气的天才科学家费曼

似乎有好久都没有写文章感觉,高考结束了,继续研究。先总结一下考前的一些结果。

这个文章讲的是一个叫“积分符号内取微分”东西,这是一个很有趣而且有用的求定积分的方法。在这里我又擅自把它叫做“费曼积分法”,因为我是从费曼的自传《别闹了,费曼先生》中看到这种方法的。当然,费曼不是这个方法的首创者,他仅仅是是喜欢、熟练这种方法,并将它记载在了自传中。具体情况是怎样的呢?我先不多说,请读者直接看《别闹了,费曼先生》中的情节。

点击阅读全文...

23 Jun

费曼积分法——积分符号内取微分(3)

由于自行车之旅的原因,这篇文章被搁置了一个星期,其实应该在一个星期前就把它写好的。这篇文章继续讲讲费曼积分法的一些例子。读者或许可以从这些不同类型的例子中,发现它应用的基本方向和方法,从而提升对它的认识。

例子2:

$$\int_0^{\infty} \frac{\sin x}{x}dx$$

这也是一种比较常见的类型,它的形式为$\int \frac{f(x)}{x}dx$,对于这种形式,我们的第一感觉就是将其改写成参数形式$\int \frac{f(ax)}{x}dx$,这样的目的很简单,就是把分母给消去了,与$\int \frac{x}{f(x)}dx$的求积思想是一致的。但是深入一点研究就会发现,纵使这样能够消去分母,使得第一次积分变得简单,但是到了第二次积分的时候,我们发现,它又会变回$\int \frac{f(x)}{x}dx$的积分,使我们不能继续进行下去,因此这个取参数的方法大多数情况下都是不行的。

点击阅读全文...