变分自编码器(三):这样做为什么能成?
By 苏剑林 | 2018-04-03 | 185749位读者 | 引用话说我觉得我自己最近写文章都喜欢长篇大论了,而且扎堆地来~之前连续写了三篇关于Capsule的介绍,这次轮到VAE了,本文是VAE的第三篇探索,说不准还会有第四篇~不管怎么样,数量不重要,重要的是能把问题都想清楚。尤其是对于VAE这种新奇的建模思维来说,更加值得细细地抠。
这次我们要关心的一个问题是:VAE为什么能成?
估计看VAE的读者都会经历这么几个阶段。第一个阶段是刚读了VAE的介绍,然后云里雾里的,感觉像自编码器又不像自编码器的,反复啃了几遍文字并看了源码之后才知道大概是怎么回事;第二个阶段就是在第一个阶段的基础上,再去细读VAE的原理,诸如隐变量模型、KL散度、变分推断等等,细细看下去,发现虽然折腾来折腾去,最终居然都能看明白了。
这时候读者可能就进入第三个阶段了。在这个阶段中,我们会有诸多疑问,尤其是可行性的疑问:“为什么它这样反复折腾,最终出来模型是可行的?我也有很多想法呀,为什么我的想法就不行?”
前文之要
让我们再不厌其烦地回顾一下前面关于VAE的一些原理。
VAE希望通过隐变量分解来描述数据$X$的分布
$$p(x)=\int p(x|z)p(z)dz,\quad p(x,z) = p(x|z)p(z)\tag{1}$$
[转载]复杂的机械,简单的原理
By 苏剑林 | 2012-12-04 | 43683位读者 | 引用《自然极值》系列——2.费马原理
By 苏剑林 | 2010-11-27 | 42567位读者 | 引用物理学的美不仅仅表现在简洁的公式上。我们还惊奇地发现,很多物理现象都是按照使某个变量达到极值的方式发生。一个典型的例子就是费马原理,它指出了光的传播路径的一个重要规律:光总是沿着所花时间最短的路径传播。这里我们将简单介绍一下费马原理。
费马原理俗称“最快到达原理”、“最小时间原理”。1657年,费马提出:
从P点到达Q点,在所有可行的路径中,光选择了所需时间最短的一条。
从P点到达Q点,在所有可行的路径中,光选择了所需时间为极值的一条。
这是一个极其奇妙的原理,也是自然界中最神奇的极值之一。作为非生物的光,居然自主地选择了最优路径,成为世界上“效率最高”的东西,这让人不得不佩服宇宙的伟大。这究竟是造物者的精心设计,还是无心之作?
最近评论