21
Sep
生成扩散模型漫谈（十一）：统一扩散模型（应用篇）
By 苏剑林 | 2022-09-21 | 28856位读者 | 引用在《生成扩散模型漫谈（十）：统一扩散模型（理论篇）》中，笔者自称构建了一个统一的模型框架（Unified Diffusion Model，UDM），它允许更一般的扩散方式和数据类型。那么UDM框架究竟能否实现如期目的呢？本文通过一些具体例子来演示其一般性。
框架回顾
首先，UDM通过选择噪声分布$q(\boldsymbol{\varepsilon})$和变换$\boldsymbol{\mathcal{F}}$来构建前向过程
\begin{equation}\boldsymbol{x}_t = \boldsymbol{\mathcal{F}}_t(\boldsymbol{x}_0,\boldsymbol{\varepsilon}),\quad \boldsymbol{\varepsilon}\sim q(\boldsymbol{\varepsilon})\end{equation}
然后，通过如下的分解来实现反向过程$\boldsymbol{x}_{t-1}\sim p(\boldsymbol{x}_{t-1}|\boldsymbol{x}_t)$的采样
\begin{equation}\hat{\boldsymbol{x}}_0\sim p(\boldsymbol{x}_0|\boldsymbol{x}_t)\quad \& \quad \boldsymbol{x}_{t-1}\sim p(\boldsymbol{x}_{t-1}|\boldsymbol{x}_t, \boldsymbol{x}_0=\hat{\boldsymbol{x}}_0)\end{equation}
其中$p(\boldsymbol{x}_0|\boldsymbol{x}_t)$就是用$\boldsymbol{x}_t$预估$\boldsymbol{x}_0$的概率，一般用简单分布$q(\boldsymbol{x}_0|\boldsymbol{x}_t)$来近似建模，训练目标基本上就是$-\log q(\boldsymbol{x}_0|\boldsymbol{x}_t)$或其简单变体。当$\boldsymbol{x}_0$是连续型数据时，$q(\boldsymbol{x}_0|\boldsymbol{x}_t)$一般就取条件正态分布；当$\boldsymbol{x}_0$是离散型数据时，$q(\boldsymbol{x}_0|\boldsymbol{x}_t)$可以选择自回归模型或者非自回归模型。
14
Sep
生成扩散模型漫谈（十）：统一扩散模型（理论篇）
By 苏剑林 | 2022-09-14 | 47644位读者 | 引用老读者也许会发现，相比之前的更新频率，这篇文章可谓是“姗姗来迟”，因为这篇文章“想得太多”了。
通过前面九篇文章，我们已经对生成扩散模型做了一个相对全面的介绍。虽然理论内容很多，但我们可以发现，前面介绍的扩散模型处理的都是连续型对象，并且都是基于正态噪声来构建前向过程。而“想得太多”的本文，则希望能够构建一个能突破以上限制的扩散模型统一框架（Unified Diffusion Model，UDM）：
1、不限对象类型（可以是连续型$\boldsymbol{x}$，也可以是离散型的$\boldsymbol{x}$）；
2、不限前向过程（可以用加噪、模糊、遮掩、删减等各种变换构建前向过程）；
3、不限时间类型（可以是离散型的$t$，也可以是连续型的$t$）；
4、包含已有结果（可以推出前面的DDPM、DDIM、SDE、ODE等结果）。
这是不是太过“异想天开”了？有没有那么理想的框架？本文就来尝试一下。
16
Jan
新科学家：割裂时间空间，统一相对论量子论
By 苏剑林 | 2013-01-16 | 24090位读者 | 引用这篇文章源于《新科学家》2010年8月7日刊，它介绍了物理学家Horava为了统一相对论和量子力学，把广义相对论的时空联系割裂的尝试。在相对论中，时间和空间结合成了不可分割的整体。而现在，有物理学家却要把时间与空间分开，来建立让广义相对论和量子力学相调和的统一理论。我对这个理论挺感兴趣的，当然，我还没有能力弄懂它。只是它符合了我们大多数人的一个直觉，就是时间总有跟空间不同的地方，它们之间不应该完全等同起来。不过，事实如何，只有未来的实验能够严重了。
本文并没有官方的中文译文，现载的译文来自“译言网”。译文有一些翻译不大正当的地方，由于时间限制，无法一一修正，但是我觉得对于理解本文内容已经足够了。如果有疑问，不妨参考后边的英文原文，并在此提出与大家讨论。
对爱因斯坦的反思：空间-时间耦合的物理数学的终结
纠结于融合引力和量子力学的物理学家们正向着一个受到铅笔芯启发的理论欢呼雀跃，这个理论可以很简单地让他们取得成功。
它曾是一个改变了我们思考空间和时间的方式的报告。那一年是1908年，德国数学家赫尔曼-闵可夫斯基正尝试着理解爱因斯坦火热的新思想——即我们现在所熟知的狭义相对论，它描述当物质运动很快时它们是如何收缩以及时间是如何扭曲的。“从此独立的空间和时间将注定淡出到纯粹的虚幻中，”闵可夫斯基说道：“而只有两者的统一才能保证一个独立的现实世界。”
最近评论