从Wasserstein距离、对偶理论到WGAN
By 苏剑林 | 2019-01-20 | 214306位读者 | 引用2017年的时候笔者曾写过博文《互怼的艺术:从零直达WGAN-GP》,从一个相对通俗的角度来介绍了WGAN,在那篇文章中,WGAN更像是一个天马行空的结果,而实际上跟Wasserstein距离没有多大关系。
在本篇文章中,我们再从更数学化的视角来讨论一下WGAN。当然,本文并不是纯粹地讨论GAN,而主要侧重于Wasserstein距离及其对偶理论的理解。本文受启发于著名的国外博文《Wasserstein GAN and the Kantorovich-Rubinstein Duality》,内容跟它大体上相同,但是删除了一些冗余的部分,对不够充分或者含糊不清的地方作了补充。不管怎样,在此先对前辈及前辈的文章表示致敬。
(注:完整理解本文,应该需要多元微积分、概率论以及线性代数等基础知识。还有,本文确实长,数学公式确实多,但是,真的不复杂、不难懂,大家不要看到公式就吓怕了~)
力学系统及其对偶性(三)
By 苏剑林 | 2013-11-15 | 17608位读者 | 引用在上一篇文章中,我已经初步地从最小作用量原理的角度来观察对偶定律的表现。虽然那是一种便捷有效的方法,但是还是给我们流下了一些遗憾。上一节是从几何形式的作用量原理出发的,而没有在一般形式的作用量框架下讨论。因为如果在$S=\int Ldt=\int (T-U)dt$的形式下讨论坐标变换问题会出现困难,困难源于我们进行了变换$d\tau=|z|^2 dt$,这导致了时间和空间的耦合,变分不能简单地进行。但是,这并非无法解决的问题。我们还是可以在基本的作用量原理之下讨论变换问题。下面将对此问题进行讨论。
变分中的变量代换
考虑一个一般的保守系统的作用量:
$$S=\int_{t_1}^{t_2} L(q,\frac{dq}{dt})dt$$
力学系统及其对偶性(二)
By 苏剑林 | 2013-11-14 | 18370位读者 | 引用如果仅仅从牛顿第二定律的角度来进行变换推导,那么关于力学定律的对偶性的结果无疑仅仅是初等的。对于理论分析来说,更方便的是从做小作用量原理的形式出发,事实上,这种形式计算量也是很少的,甚至比直接代入运动方程变换更加便捷。
上一篇文章中我们讲到,变换$z \mapsto z^2$将一个原点为几何中心的椭圆映射为一个原点为焦点的椭圆,并且相信这种变换可以将胡克定律跟牛顿万有引力定律联系起来。然后就立即给出了变换$w=z^2,d\tau=|z^2|dt$。但是这个变换本身并不显然的,假如我们仅仅发现了$z \mapsto z^2$的几何意义,如何相应地得出$d\tau=|z^2|dt$这个变换呢?本文初步地解决这个问题。
几何作用量
让我们回顾力学的最小作用量原理:
$$ S = \int_{{t_1}}^{{t_2}} L dt = \int_{{t_1}}^{{t_2}} {(T - U)} dt $$
力学系统及其对偶性(一)
By 苏剑林 | 2013-11-08 | 26280位读者 | 引用写在前头
经过两年多的开发,本站所用的Typecho终于发布了新版,虽然还是beta,但是我还是迫不及待地升级了。当然,前台并没有变化,但是几乎整个程序都是重构了的,后台也更加清爽了。本文是新版程度的第一篇文章,使用Markdowm语法编写。
----------
牛顿Vs胡克
在所有的力学系统中,最简单的或许就是简谐运动了。它由一个最简单的常系数线性微分方程组描述:
$$\ddot{\boldsymbol{x}}+\omega^2 \boldsymbol{x}=0$$
这也就是物体在弹性形变的胡克定律所描述的力的作用下的运动情况。我们可以很快用三角函数写出该方程的精确解。相比之下,二体问题的解就复杂多了,虽然二体问题也是精确可解的,但是显然没有简谐运动那样简单明了。然而,除了都是有心力之外,它们之间还有一个共同点,它们的运动轨道都是椭圆!(严格来说是圆锥曲线,因为还可能有抛物线跟双曲线,但是不失一般性,本文只分析椭圆轨道)两者之间是否存在着某种联系呢?如果可以将二体问题转变为简谐运动,那么分析过程应该可以大大化简了?
最近评论