混沌的世界——“星之轨迹”的研究
By 苏剑林 | 2012-01-13 | 37655位读者 | 引用(本文已被刊登在2012年1月的《天文爱好者》上,于笔者而言这是一份很棒的新年礼物!)
在去年第七期《天爱》上,我们看到了N体问题所呈现出来的一些对称、漂亮的周期轨道,这体现了N体问题和谐有序的一面。但是这仅仅是N体问题的冰山一角,笔者也提到过N体问题的本质是混沌、无序的,通俗来讲就是非常乱,无法用数学方程来精确描述。这看起来是一种不完美。但试想,探索当初伽利略将望远镜对准月球后,看到的是如想象中光滑的月面,那么他还会惊叹宇宙的神奇吗?
本文就让我们来更深入地了解一下N体问题的研究历史。
观测&拟合时代
由于人类的自我优越感以及日月星辰东升西落的经验,让我们长期都认为地球是宇宙的中心。第一个比较系统提出地心说的人当属天文学家欧多克斯(Eudoxus,死于公元前347年左右),但他的地心说是非常粗糙的,以至于无法解释很多基本现象,如无法准确预言日食和解释行星逆行等。但亚里士多德接受了地心说,并且由于他在政治和科学上的权威,使地心说免去了夭折的命运。后来托勒密通过他的本轮,完善了地心说,使之延续到了16世纪。
学习场论(电磁场、重力场)
By 苏剑林 | 2013-04-25 | 38911位读者 | 引用《方程与宇宙》:抛物线与双曲线轨道(三)
By 苏剑林 | 2010-04-03 | 49097位读者 | 引用新科学家:割裂时间空间,统一相对论量子论
By 苏剑林 | 2013-01-16 | 26947位读者 | 引用这篇文章源于《新科学家》2010年8月7日刊,它介绍了物理学家Horava为了统一相对论和量子力学,把广义相对论的时空联系割裂的尝试。在相对论中,时间和空间结合成了不可分割的整体。而现在,有物理学家却要把时间与空间分开,来建立让广义相对论和量子力学相调和的统一理论。我对这个理论挺感兴趣的,当然,我还没有能力弄懂它。只是它符合了我们大多数人的一个直觉,就是时间总有跟空间不同的地方,它们之间不应该完全等同起来。不过,事实如何,只有未来的实验能够严重了。
本文并没有官方的中文译文,现载的译文来自“译言网”。译文有一些翻译不大正当的地方,由于时间限制,无法一一修正,但是我觉得对于理解本文内容已经足够了。如果有疑问,不妨参考后边的英文原文,并在此提出与大家讨论。
对爱因斯坦的反思:空间-时间耦合的物理数学的终结
纠结于融合引力和量子力学的物理学家们正向着一个受到铅笔芯启发的理论欢呼雀跃,这个理论可以很简单地让他们取得成功。
它曾是一个改变了我们思考空间和时间的方式的报告。那一年是1908年,德国数学家赫尔曼-闵可夫斯基正尝试着理解爱因斯坦火热的新思想——即我们现在所熟知的狭义相对论,它描述当物质运动很快时它们是如何收缩以及时间是如何扭曲的。“从此独立的空间和时间将注定淡出到纯粹的虚幻中,”闵可夫斯基说道:“而只有两者的统一才能保证一个独立的现实世界。”
揭开迷雾,来一顿美味的Capsule盛宴
By 苏剑林 | 2018-01-23 | 432080位读者 | 引用由深度学习先驱Hinton开源的Capsule论文《Dynamic Routing Between Capsules》,无疑是去年深度学习界最热点的消息之一。得益于各种媒体的各种吹捧,Capsule被冠以了各种神秘的色彩,诸如“抛弃了梯度下降”、“推倒深度学习重来”等字眼层出不穷,但也有人觉得Capsule不外乎是一个新的炒作概念。
本文试图揭开让人迷惘的云雾,领悟Capsule背后的原理和魅力,品尝这一顿Capsule盛宴。同时,笔者补做了一个自己设计的实验,这个实验能比原论文的实验更有力说明Capsule的确产生效果了。
菜谱一览:
1、Capsule是什么?
2、Capsule为什么要这样做?
3、Capsule真的好吗?
4、我觉得Capsule怎样?
5、若干小菜。
简单得令人尴尬的FSQ:“四舍五入”超越了VQ-VAE
By 苏剑林 | 2023-10-31 | 70465位读者 | 引用正如“XXX is all you need”一样,有不少论文都以“简单得令人尴尬”命名(An Embarrassingly Simple XXX),但在笔者看来,这些论文大多数都是噱头多于实力。不过,笔者最近阅读到的一篇论文,真的让人不由得发出“简单得令人尴尬”的感叹~
论文的标题是《Finite Scalar Quantization: VQ-VAE Made Simple》,顾名思义,这是一篇旨在用FSQ(Finite Scalar Quantization)简化VQ-VAE的工作。随着生成模型、多模态LLM的逐渐流行,VQ-VAE及其后续工作也作为“图像的Tokenizer”而“水涨船高”。然而,VQ-VAE的训练本身也存在一些问题,而FSQ这篇论文则声称通过更简单的“四舍五入”就可以达到同样的目的,并且有着效果更好、收敛更快、训练更稳的优点。
FSQ真有这么神奇?接下来我们一起学习一下。
VQ
首先,我们来了解一下“VQ”。VQ全称是“Vector Quantize”,可以翻译为“向量量子化”或者“向量量化”,是指将无限、连续的编码向量映射为有限、离散的整数数字的一种技术。如果我们将VQ应用在自编码器的中间层,那么可以在压缩输入大小的同时,让编码结果成为一个离散的整数序列。
最近评论