科学空间|Scientific Spaces

如果仅仅从牛顿第二定律的角度来进行变换推导，那么关于力学定律的对偶性的结果无疑仅仅是初等的。对于理论分析来说，更方便的是从做小作用量原理的形式出发，事实上，这种形式计算量也是很少的，甚至比直接代入运动方程变换更加便捷。

上一篇文章中我们讲到，变换$z \mapsto z^2$将一个原点为几何中心的椭圆映射为一个原点为焦点的椭圆，并且相信这种变换可以将胡克定律跟牛顿万有引力定律联系起来。然后就立即给出了变换$w=z^2,d\tau=|z^2|dt$。但是这个变换本身并不显然的，假如我们仅仅发现了$z \mapsto z^2$的几何意义，如何相应地得出$d\tau=|z^2|dt$这个变换呢？本文初步地解决这个问题。

几何作用量

让我们回顾力学的最小作用量原理：
$$ S = \int_{{t_1}}^{{t_2}} L dt = \int_{{t_1}}^{{t_2}} {(T - U)} dt $$

点击阅读全文...

我们在上一篇文章中已经看到，随机游走的概率分布是正态的，而在概率论中可以了解到正态分布（几乎）是最重要的一种分布了。随机游走模型和正态分布的应用都很广，我们或许可以思考一个问题，究竟是随机游走造就了正态分布，还是正态分布造就了随机游走？换句话说，哪个更本质些？个人就自己目前所阅读到的内容来看，随机游走更本质些，随机游走正好对应着普遍存在的随机不确定性（比如每次测量的误差），它的分布正好就是正态分布，所以正态分布才应用得如此广泛——因为随机不确定性无处不在。

下面我们来考虑随机游走的另外一种描述方式，原则上来说，它更广泛，更深刻，其大名曰“路径积分”。

点击阅读全文...

《量子力学与路径积分》封面

今天收到高教出版社的王超编辑寄来的费曼著作新版《量子力学与路径积分》了，兴奋ing...

《量子力学与路径积分》是费曼的一本经典著作，更是量子力学的经典著作——它是我目前读过的唯一一本从路径积分出发、并且以路径积分为第一性原理的量子力学著作(徐一鸿的《简明量子场论》好象是我读过的唯一一本纯粹以路径积分为方法的量子场论著作，也非常不错)，其它类型的量子力学著作，也有部分谈到路径积分，但无一不是从哈密顿形式中引出路径积分的，在那种情况之下，路径积分只能算是一个推论。但是路径积分明明就作为量子力学的三种形式之一，它应该是可以作为量子力学的基本原理来提出的，而不应该作为另一种形式的推论。费曼做了尝试——从路径积分出发讲解量子力学，而且显然这种尝试是很成功的，至少对于我来说，路径积分是一种非常容易理解的量子力学形式。（这也许跟我的数学基础有关）

点击阅读全文...

前几天，笔者看了几篇介绍SSM（State Space Model）的文章，才发现原来自己从未认真了解过SSM，于是打算认真去学习一下SSM的相关内容，顺便开了这个新坑，记录一下学习所得。

SSM的概念由来已久，但这里我们特指深度学习中的SSM，一般认为其开篇之作是2021年的S4，不算太老，而SSM最新最火的变体大概是去年的Mamba。当然，当我们谈到SSM时，也可能泛指一切线性RNN模型，这样RWKV、RetNet还有此前我们在《Google新作试图“复活”RNN：RNN能否再次辉煌？》介绍过的LRU都可以归入此类。不少SSM变体致力于成为Transformer的竞争者，尽管笔者并不认为有完全替代的可能性，但SSM本身优雅的数学性质也值得学习一番。

尽管我们说SSM起源于S4，但在S4之前，SSM有一篇非常强大的奠基之作《HiPPO: Recurrent Memory with Optimal Polynomial Projections》（简称HiPPO），所以本文从HiPPO开始说起。

点击阅读全文...

在前三篇文章中，我们较为详细地讨论了HiPPO和S4的大部分数学细节。那么，对于接下来的第四篇文章，大家预期我们会讨论什么工作呢？S5、Mamba乃至Mamba2？都不是。本系列文章主要关心SSM的数学基础，旨在了解SSM的同时也补充自己的数学能力。而在上一篇文章我们简单提过S5和Mamba，S5是S4的简化版，相比S4基本上没有引入新的数学技巧，而Mamba系列虽然表现优异，但它已经将$A$简化为对角矩阵，所用到的数学技巧就更少了，它更多的是体现了工程方面的能力。

这篇文章我们来学习一篇暂时还声名不显的新工作《State-Free Inference of State-Space Models: The Transfer Function Approach》（简称RFT），它提出了一个新方案，将SSM的训练、推理乃至参数化，都彻底转到了生成函数空间中，为SSM的理解和应用开辟了新的视角

基础回顾

首先我们简单回顾一下上一篇文章关于S4的探讨结果。S4基于如下线性RNN
\begin{equation}\begin{aligned}
x_{k+1} =&\, \bar{A} x_k + \bar{B} u_k \\
y_{k+1} =&\, \bar{C}^* x_{k+1} \\
\end{aligned}\label{eq:linear}\end{equation}

点击阅读全文...

这篇文章我们继续来闭门造车，分享一下笔者最近对多模态学习的一些新理解。

在前文《“闭门造车”之多模态思路浅谈（一）：无损输入》中，我们强调了无损输入对于理想的多模型模态的重要性。如果这个观点成立，那么当前基于VQ-VAE、VQ-GAN等将图像离散化的主流思路就存在能力瓶颈，因为只需要简单计算一下信息熵就可以表明离散化必然会有严重的信息损失，所以更有前景或者说更长远的方案应该是输入连续型特征，比如直接将图像的原始像素特征Patchify后输入到模型中。

然而，连续型输入对于图像理解自然简单，但对图像生成来说则引入了额外的困难，因为非离散化无法直接套用文本的自回归框架，多少都要加入一些新内容如扩散，这就引出了本文的主题——如何进行多模态的自回归学习与生成。当然，非离散化只是表面的困难，更艰巨的部份还在后头...

无损含义

首先我们再来明确一下无损的含义。无损并不是指整个计算过程中一丁点损失都不能有，这不现实，也不符合我们所理解的深度学习的要义——在2015年的文章《闲聊：神经网络与深度学习》我们就提到过，深度学习成功的关键是信息损失。所以，这里无损的含义很简单，单纯是希望作为模型的输入来说尽可能无损。

点击阅读全文...

这篇文章源于《新科学家》2010年8月7日刊，它介绍了物理学家Horava为了统一相对论和量子力学，把广义相对论的时空联系割裂的尝试。在相对论中，时间和空间结合成了不可分割的整体。而现在，有物理学家却要把时间与空间分开，来建立让广义相对论和量子力学相调和的统一理论。我对这个理论挺感兴趣的，当然，我还没有能力弄懂它。只是它符合了我们大多数人的一个直觉，就是时间总有跟空间不同的地方，它们之间不应该完全等同起来。不过，事实如何，只有未来的实验能够严重了。

本文并没有官方的中文译文，现载的译文来自“译言网”。译文有一些翻译不大正当的地方，由于时间限制，无法一一修正，但是我觉得对于理解本文内容已经足够了。如果有疑问，不妨参考后边的英文原文，并在此提出与大家讨论。

对爱因斯坦的反思：空间-时间耦合的物理数学的终结

纠结于融合引力和量子力学的物理学家们正向着一个受到铅笔芯启发的理论欢呼雀跃，这个理论可以很简单地让他们取得成功。

它曾是一个改变了我们思考空间和时间的方式的报告。那一年是1908年，德国数学家赫尔曼-闵可夫斯基正尝试着理解爱因斯坦火热的新思想——即我们现在所熟知的狭义相对论，它描述当物质运动很快时它们是如何收缩以及时间是如何扭曲的。“从此独立的空间和时间将注定淡出到纯粹的虚幻中，”闵可夫斯基说道：“而只有两者的统一才能保证一个独立的现实世界。”

点击阅读全文...

昨天在上“科学计算软件”课时，讲到了一个“抢15”游戏（Pick15），就是在1~9这9个数字中，双方轮流选一个数字，不可重复，谁的数字中有三个数字的和为15的，谁就是赢家。

这是个简单的游戏，属于博弈论范畴。在博弈论中有一个著名的“策梅洛定理”（Zermelo's theorem），它指出在二人的有限游戏中，如果双方皆拥有完全的资讯，并且运气因素并不牵涉在游戏中，那先行或后行者当一必有一方有必胜/必不败的策略。比如中国象棋就属于这一类游戏，它告诉我们对于其中一方必有一种必不败策略（有可能和棋，有可能胜，反正不会输）。当然，策梅洛定理只是告诉我们其存在性，并没有告诉我们怎么发现这个策略，甚至连哪一方有这种最优策略都没有给出判别方法。这是幸运的，因为如果真有一天发现了这种策略，那么像象棋这类博弈就失去了意义了。

上述的抢15游戏当然也属于这类游戏。不同于象棋的千变万化，它的变化比较简单，而且很容易看出它对先手有着明显的优势。下面我们来分析一下。

点击阅读全文...