生成扩散模型漫谈(十七):构建ODE的一般步骤(下)
By 苏剑林 | 2023-02-23 | 79871位读者 | 引用历史总是惊人地相似。当初笔者在写《生成扩散模型漫谈(十四):构建ODE的一般步骤(上)》(当时还没有“上”这个后缀)时,以为自己已经搞清楚了构建ODE式扩散的一般步骤,结果读者 @gaohuazuo 就给出了一个新的直观有效的方案,这直接导致了后续《生成扩散模型漫谈(十四):构建ODE的一般步骤(中)》(当时后缀是“下”)。而当笔者以为事情已经终结时,却发现ICLR2023的论文《Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow》又给出了一个构建ODE式扩散模型的新方案,其简洁、直观的程度简直前所未有,令人拍案叫绝。所以笔者只好默默将前一篇的后缀改为“中”,然后写了这个“下”篇来分享这一新的结果。
直观结果
我们知道,扩散模型是一个$\boldsymbol{x}_T\to \boldsymbol{x}_0$的演化过程,而ODE式扩散模型则指定演化过程按照如下ODE进行:
\begin{equation}\frac{d\boldsymbol{x}_t}{dt}=\boldsymbol{f}_t(\boldsymbol{x}_t)\label{eq:ode}\end{equation}
而所谓构建ODE式扩散模型,就是要设计一个函数$\boldsymbol{f}_t(\boldsymbol{x}_t)$,使其对应的演化轨迹构成给定分布$p_T(\boldsymbol{x}_T)$、$p_0(\boldsymbol{x}_0)$之间的一个变换。说白了,我们希望从$p_T(\boldsymbol{x}_T)$中随机采样一个$\boldsymbol{x}_T$,然后按照上述ODE向后演化得到的$\boldsymbol{x}_0$是$\sim p_0(\boldsymbol{x}_0)$的。
《积分公式大全》网络版本
By 苏剑林 | 2010-10-06 | 20919位读者 | 引用为了方便各位读者查阅,BoJone特意制作了这个积分公式表的电子版本。
数学公式采用JsMath技术显示,为了能够更清晰地显示数学公式,推荐读者下载TeX-fonts字体。
原著的具体说明和下载,请点击
《自然极值》系列——3.平衡态公理
By 苏剑林 | 2010-11-28 | 19051位读者 | 引用《新理解矩阵6》:为什么只有方阵有行列式?
By 苏剑林 | 2014-07-15 | 69624位读者 | 引用学过线性代数的朋友都知道,方阵和非方阵的一个明显不同是,对于方阵我们可以计算它的行列式,如果不是方阵的话,就没有行列式这个概念了。在追求统一和谐的数学系统中,为什么非方阵却没有行列式?也许对于这个问题最恰当的回答是——因为不够美。对于非方阵,其实也可以类似地定义它的行列式,定义出来的东西,跟方阵的行列式具有同样的性质,比如某行乘上一个常数,行列式值也就乘以一个常数,等等;而且还可以把其几何意义保留下来。但是,非方阵的行列式是不够美的,因为对于一个一般的整数元素的方阵,我们的行列式是一个整数;而对于一个一般的整数元素的非方阵,却导致了一个无理数的行列式值。另外,一个也比较重要的原因是,单单是方阵的行列式也够用了。综合以上两个理由,非方阵的行列式就被舍弃不用了。
非方阵的行列式不够漂亮
$n$阶方阵的行列式是每个向量的线性函数,它代表着向量之间的线性相关性;从几何上来讲,它就是向量组成的平行n维体的(有向)体积。我们当然期望非方阵的行列式也保留这些性质,因为只有这样,方阵行列式的那些运算性质才得以保留,比如上面说的,行列式的一行乘上一个常数,行列式值也乘上一个常数。我们考虑$m\times n$的矩阵,其中$ m < n $,我们将它看成是$m$个$n$维向量的组合。最简单的,我们先考虑$1\times 2$矩阵的行列式,也就是二维向量$(a,b)$的行列式。
欲对接广义相对论,新量子引力模型能否成功?
By 苏剑林 | 2009-09-05 | 17339位读者 | 引用时至目前为止,理论物理上最深奥的问题之一,就是调和广义相对论与量子力学,而一个令物理学家们无比兴奋的,同时也争论不休的量子引力新模型,是否能重新书写物理学理论?针对不久前诞生于美国劳伦斯伯克利实验室的“霍扎瓦模型”,美国得克萨斯A&M大学科学家对其进一步研究后得出中肯的结论,并将结果与值得商榷的内容发表于8月24日出版的《物理评论快报》杂志。
量子引力的新曙光
量子引力主要就是尝试将量子力学与广义相对论合并在一起,描述对重力场进行量子化,属于万有理论之一隅。但应该如何结合,又如何让二者在微观长度等级下维持正确性,以及任何候选的量子引力论又能提供什么样可证实的预测,这是当前的物理学悬而未决的问题。遗憾的是,量子引力所探讨的能量与尺度,乃是此前实验室条件下无法观测得到的,尽管可能,且可以透过天文观测来检验,但仍属少数特例,关于量子引力理论发展上的提示一直未能成功。
混沌的世界——“星之轨迹”的研究
By 苏剑林 | 2012-01-13 | 39532位读者 | 引用(本文已被刊登在2012年1月的《天文爱好者》上,于笔者而言这是一份很棒的新年礼物!)
在去年第七期《天爱》上,我们看到了N体问题所呈现出来的一些对称、漂亮的周期轨道,这体现了N体问题和谐有序的一面。但是这仅仅是N体问题的冰山一角,笔者也提到过N体问题的本质是混沌、无序的,通俗来讲就是非常乱,无法用数学方程来精确描述。这看起来是一种不完美。但试想,探索当初伽利略将望远镜对准月球后,看到的是如想象中光滑的月面,那么他还会惊叹宇宙的神奇吗?
本文就让我们来更深入地了解一下N体问题的研究历史。
观测&拟合时代
由于人类的自我优越感以及日月星辰东升西落的经验,让我们长期都认为地球是宇宙的中心。第一个比较系统提出地心说的人当属天文学家欧多克斯(Eudoxus,死于公元前347年左右),但他的地心说是非常粗糙的,以至于无法解释很多基本现象,如无法准确预言日食和解释行星逆行等。但亚里士多德接受了地心说,并且由于他在政治和科学上的权威,使地心说免去了夭折的命运。后来托勒密通过他的本轮,完善了地心说,使之延续到了16世纪。
引力透镜——用经典力学推导光的偏转公式
By 苏剑林 | 2012-04-30 | 63774位读者 | 引用引力透镜
————用经典力学推导光的引力偏转角公式
在2012年第四期的《天文爱好者》上,Richard de Grijs(何锐思)教授的《引力透镜——再领科学潮》一文详细而精彩地讲述了有关引力透镜方面的知识,尤其是它在天文方面的重要应用,让我收获颇丰。笔者在赞叹作者优美的文笔和译者程思浩同好的生动翻译之余,也感到了一丝不足。文章主要讲了引力透镜在天文研究中所扮演的重要角色,却未对引力透镜的原理、本质方面多加描述。时空的扭曲是广义相对论给出的答案,可是难道仅仅从经典力学就不能领略丝毫?藉此,BoJone这在里对引力透镜多说些东西,与大家相互学习研究。当然,由于我只是一个初出茅庐的业余爱好者,其中的不当之处还望各位斧正。
站长注:这篇文章来源于网络,原文是繁体中文版本,我经过修改整理而成。它原来是《费曼的6堂Easy物理课》这本书的解说,但是由于内容上的详细和扼要,我更愿意把它当做物理学家费曼的解说,与大家分享。
伟哉!费曼
社会上普遍有种错误的想法,总以为科学是完全客观的,不但不会因人而异,更不会感情用事。对比之下,科学以外的各种人类活动,则多多少少会受到一般潮流动向、突发的时尚风潮,以及当事人的性格、偏好所左右。唯有科学,得受制于科学社群都同意的规则、步骤,与严密的测试、检验。科学仅着重于得到的结论,而不在乎谁是做研究、做实验的人。
以上说法显然是无稽之谈,科学既然靠人推动,就跟其他人类活动相同,都会受到大环境趋势及个人意念的影响。在科学领域,研究潮流的趋向受到主题素材选择的影响并不大,却相当取决于当时科学家对整个世界的看法。
最近评论