“维度灾难”之Hubness现象浅析
By 苏剑林 | 2022-06-28 | 38925位读者 | 引用这几天读到论文《Exploring and Exploiting Hubness Priors for High-Quality GAN Latent Sampling》,了解到了一个新的名词“Hubness现象”,说的是高维空间中的一种聚集效应,本质上是“维度灾难”的体现之一。论文借助Hubness的概念得到了一个提升GAN模型生成质量的方案,看起来还蛮有意思。所以笔者就顺便去学习了一下Hubness现象的相关内容,记录在此,供大家参考。
坍缩的球
“维度灾难”是一个很宽泛的概念,所有在高维空间中与相应的二维、三维空间版本出入很大的结论,都可以称之为“维度灾难”,比如《n维空间下两个随机向量的夹角分布》中介绍的“高维空间中任何两个向量几乎都是垂直的”。其中,有不少维度灾难现象有着同一个源头——“高维空间单位球与其外切正方体的体积之比逐渐坍缩至0”,包括本文的主题“Hubness现象”亦是如此。
[转载] 做数学一定要是天才吗?
By 苏剑林 | 2014-11-17 | 28899位读者 | 引用(译自 陶哲轩 博客, 译者 liuxiaochuang)
(英文原文:Does one have to be a genius to do maths?)
这个问题的回答是一个大写的:不!为了达到对数学有一个良好的,有意义的贡献的目的,人们必须要刻苦努力;学好自己的领域,掌握一些其他领域的知识和工具;多问问题;多与其他数学工作者交流;要对数学有个宏观的把握。当然,一定水平的才智,耐心的要求,以及心智上的成熟性是必须的。但是,数学工作者绝不需要什么神奇的“天才”的基因,什么天生的洞察能力;不需要什么超自然的能力使自己总有灵感去出人意料的解决难题。
大众对数学家的形象有一个错误的认识:这些人似乎都使孤单离群的(甚至有一点疯癫)天才。他们不去关注其他同行的工作,不按常规的方式思考。他们总是能够获得无法解释的灵感(或者经过痛苦的挣扎之后突然获得),然后在所有的专家都一筹莫展的时候,在某个重大的问题上取得了突破的进展。这样浪漫的形象真够吸引人的,可是至少在现代数学学科中,这样的人或事是基本没有的。在数学中,我们的确有很多惊人的结论,深刻的定理,但是那都是经过几年,几十年,甚至几个世纪的积累,在很多优秀的或者伟大的数学家的努力之下一点一点得到的。每次从一个层次到另一个层次的理解加深的确都很不平凡,有些甚至是非常的出人意料。但尽管如此,这些成就也无不例外的建立在前人工作的基础之上,并不是全新的。(例如, Wiles 解决费马最后定理的工作,或者Perelman 解决庞加莱猜想的工作。)
变分自编码器(六):从几何视角来理解VAE的尝试
By 苏剑林 | 2020-09-10 | 69321位读者 | 引用前段时间公司组织技术分享,轮到笔者时,大家希望我讲讲VAE。鉴于之前笔者也写过变分自编码器系列,所以对笔者来说应该也不是特别难的事情,因此就答应了下来,后来仔细一想才觉得犯难:怎么讲才好呢?
对于VAE来说,之前笔者有两篇比较系统的介绍:《变分自编码器(一):原来是这么一回事》和《变分自编码器(二):从贝叶斯观点出发》。后者是纯概率推导,对于不做理论研究的人来说其实没什么意义,也不一定能看得懂;前者虽然显浅一点,但也不妥,因为它是从生成模型的角度来讲的,并没有说清楚“为什么需要VAE”(说白了,VAE可以带来生成模型,但是VAE并不一定就为了生成模型),整体风格也不是特别友好。
笔者想了想,对于大多数不了解但是想用VAE的读者来说,他们应该只希望大概了解VAE的形式,然后想要知道“VAE有什么作用”、“VAE相比AE有什么区别”、“什么场景下需要VAE”等问题的答案,对于这种需求,上面两篇文章都无法很好地满足。于是笔者尝试构思了VAE的一种几何图景,试图从几何角度来描绘VAE的关键特性,在此也跟大家分享一下。
今日双“近”!月球、火星齐过近地点!
By 苏剑林 | 2010-01-30 | 16493位读者 | 引用今天上午8:00,地心到月心距离356592.862公里,为今年相距最近时刻。
同样,在除夕节那天,也就是2月13日上午10点,月球过远地点,地心到月心距离406540.457公里,为今年相距最远时刻。
月亮在1/30/14:18达到望的时刻。对全球而言,由于这个满月恰好发生在今年内最近的近地点附近,以地球中心的观点来看,这是今年最大的满月。
然而,虽然这个满月刚好发生在今年内离地球最近的近地点附近,然而这时候是中国的白昼,无法见到月亮;而且(1)地球是有体积的,如果望的时刻不是发生在某个某个地区的晚上,则从地球表面的这个地区开始算起到月心的距离,会比地心到月心的距离来得远。而(2)等到该地区转到夜晚面,看得到月亮的时候,月亮其实也已经又再离开近地点一些。所以综合以上两个因素,对中国而言,所见的满月视直径就没那么大了。
《方程与宇宙》:拉格朗日点的点点滴滴(四)
By 苏剑林 | 2010-08-15 | 93308位读者 | 引用The New Calculation Of Lagrangian Point 1,2,3
关于n体问题,选择质心或其他定点为参考点,我们可以列出下面的运动方程:
$$\ddot{\vec{r}}_k=\sum_{i=1,i != k}^{n} Gm_i\frac{\vec{r}_i-\vec{r}_k}{|\vec{r}_i-\vec{r}_k|^3}\tag{19}$$
现在我们只考虑三体问题。天文学家一直希望能够找到三体问题的简洁解,可是很遗憾,庞加莱已经证明了三体问题的解是混沌的,也就是说任何微小的扰动都有可能造成不可预料的后果(可以形象的比喻为:巴西的一只蝴蝶翅膀的扇动,有可能因此美国的一场龙卷风)。
《方程与宇宙》:拉格朗日点,复数,向量(五)
By 苏剑林 | 2010-08-16 | 52238位读者 | 引用The New Calculation Of Lagrangian Point 4,5
上一回我们已经求出了拉格朗日点L1,L2,L3,并且希望能够求出L4,L5两个点。由于L4,L5与“地球-太阳”连线已经不共线了,所以前边的方法貌似不能够用了。为了得到一个通用的定义,我们可以采用以下方法来描述拉格朗日点:位于拉格朗日点的天体,它与太阳的连线以及地球与太阳的连线所组成的角的大小是恒定的。(这里为了方便,采用了地日系的拉格朗日点来描述,对于一般的三体问题是一样的)
对于L4,L5来说,我们或许可以设置一个新的向量来描述这两点的向径(如$\vec{R}$)。当我们这样做后,很快就会发现这样会令我们的计算走向死胡同。因为我们发现:已知两个向量的夹角和其中一个向量,我们很难把另一个向量用已知向量的式子表达出来。不能做到这一点,就不能找出$\vec{R}$与$\vec{r}$的关系,就无法联立方程求解。难道,我们这一条路走到尽头了吗?一开始BoJone也冥思苦想不得头绪,但是...
《自然极值》系列——4.费马点问题
By 苏剑林 | 2010-11-28 | 88179位读者 | 引用通过上面众多的文字描述,也许你还不大了解这两个原理有何美妙之处,也或者你已经迫不及待地想去应用它们却不知思路。为了不至于让大家产生“审美疲劳”,接下来我们将试图利用这两个原理对费马点问题进行探讨,看看原理究竟是怎么发挥作用的。运用的关键在于:如何通过适当的变换将其与光学或势能联系起来。
传统费马点问题是指在ΔABC中寻找点P,使得$AP+BP+CP$最小的问题;而广义的费马点则改成使$k_1 AP+k_2 BP+k_3 CP$最小。这是很具有现实意义的,是“在三个村庄之间建立一个中转站,如何才能使运送成为最低”之类的最优问题。我们将从光学和势能两个角度对这个问题进行探讨(也许有的读者已经阅读过了利用重力的原理来求解费马点,但是我想光学的方法依然会是你眼前一亮的。)
《教材如何写》:对于教材写法的一点考虑
By 苏剑林 | 2011-04-16 | 24021位读者 | 引用转载自:eaglefantasy.com
有感于Matrix67神牛的这篇文章(强烈建议大家去读一读),我也发表一下自己对于教材编写的一点看法。
1.对线性代数的吐槽
(没学过线性代数的同学请忽略下面3段往后接着看。)
我一直觉得线性代数用那种严格公理化的语言写成课本根本不适合初学者学习,一开始学习线性代数的时候,我本人对很多概念的直观意义根本就是完全不知道。我们的课本是丘维声的《简明线性代数》,我在此毫不掩饰的表示对这本教材的鄙视:这本教材居然是按照这样的顺序讲线性代数的:线性方程组->行列式->线性方程组的进一步讨论->矩阵的运算->一大堆东西->线性空间->线性映射->一大堆东西。这个狗屁顺序直接导致我前半个学期一直以为线性代数就是研究怎么解线性方程组的,我心想,这么简单的问题,具体问题谁都会解,值得这么大动干戈的定义出这么大堆东西么。。。一直到线性空间那一个章节以前,我完全就不知道线性代数整个是在干什么..后来学的多了我才知道,其实线性代数就是研究线性空间和线性映射的嘛,什么线性方程组,根本没那么重要。一个更加合理的顺序是:先讲线性空间、线性映射,其中明确说明矩阵就是线性映射,然后再讲行列式,然后线性方程组只作为一个例子出现就可以了。
最近评论