21
Feb
“闭门造车”之多模态思路浅谈（一）：无损输入
By 苏剑林 | 2024-02-21 | 152681位读者 | 引用这篇文章分享一下笔者关于多模态模型架构的一些闭门造车的想法，或者说一些猜测。
最近Google的Gemini 1.5和OpenAI的Sora再次点燃了不少人对多模态的热情，只言片语的技术报告也引起了大家对其背后模型架构的热烈猜测。不过，本文并非是为了凑这个热闹才发出来的，事实上其中的一些思考由来已久，最近才勉强捋顺了一下，遂想写出来跟大家交流一波，刚好碰上了两者的发布。
事先声明，“闭门造车”一词并非自谦，笔者的大模型实践本就“乏善可陈”，而多模态实践更是几乎“一片空白”，本文确实只是根据以往文本生成和图像生成的一些经验所做的“主观臆测”。
问题背景
首先简化一下问题，本文所讨论的多模态，主要指图文混合的双模态，即输入和输出都可以是图文。可能有不少读者的第一感觉是：多模态模型难道不也是烧钱堆显卡，Transformer“一把梭”，最终“大力出奇迹”吗？
27
Jun
重温SSM（四）：有理生成函数的新视角
By 苏剑林 | 2024-06-27 | 18040位读者 | 引用在前三篇文章中，我们较为详细地讨论了HiPPO和S4的大部分数学细节。那么，对于接下来的第四篇文章，大家预期我们会讨论什么工作呢？S5、Mamba乃至Mamba2？都不是。本系列文章主要关心SSM的数学基础，旨在了解SSM的同时也补充自己的数学能力。而在上一篇文章我们简单提过S5和Mamba，S5是S4的简化版，相比S4基本上没有引入新的数学技巧，而Mamba系列虽然表现优异，但它已经将$A$简化为对角矩阵，所用到的数学技巧就更少了，它更多的是体现了工程方面的能力。
这篇文章我们来学习一篇暂时还声名不显的新工作《State-Free Inference of State-Space Models: The Transfer Function Approach》（简称RFT），它提出了一个新方案，将SSM的训练、推理乃至参数化，都彻底转到了生成函数空间中，为SSM的理解和应用开辟了新的视角
基础回顾
首先我们简单回顾一下上一篇文章关于S4的探讨结果。S4基于如下线性RNN
\begin{equation}\begin{aligned}
x_{k+1} =&\, \bar{A} x_k + \bar{B} u_k \\
y_{k+1} =&\, \bar{C}^* x_{k+1} \\
\end{aligned}\label{eq:linear}\end{equation}
6
Nov
VQ的又一技巧：给编码表加一个线性变换
By 苏剑林 | 2024-11-06 | 23998位读者 | 引用在《VQ的旋转技巧：梯度直通估计的一般推广》中，我们介绍了VQ（Vector Quantization）的Rotation Trick，它的思想是通过推广VQ的STE（Straight-Through Estimator）来为VQ设计更好的梯度，从而缓解VQ的编码表坍缩、编码表利用率低等问题。
无独有偶，昨天发布在arXiv上的论文《Addressing Representation Collapse in Vector Quantized Models with One Linear Layer》提出了改善VQ的另一个技巧：给编码表加一个线性变换。这个技巧单纯改变了编码表的参数化方式，不改变VQ背后的理论框架，但实测效果非常优异，称得上是简单有效的经典案例。
10
Dec
Muon优化器赏析：从向量到矩阵的本质跨越
By 苏剑林 | 2024-12-10 | 11892位读者 | 引用随着LLM时代的到来，学术界对于优化器的研究热情似乎有所减退。这主要是因为目前主流的AdamW已经能够满足大多数需求，而如果对优化器“大动干戈”，那么需要巨大的验证成本。因此，当前优化器的变化，多数都只是工业界根据自己的训练经验来对AdamW打的一些小补丁。
不过，最近推特上一个名为“Muon”的优化器颇为热闹，它声称比AdamW更为高效，且并不只是在Adam基础上的“小打小闹”，而是体现了关于向量与矩阵差异的一些值得深思的原理。本文让我们一起赏析一番。
Muon与AdamW效果对比（来源：推特@Yuchenj_UW）
7
Aug
2009年英仙座流星雨观测
By 苏剑林 | 2009-08-07 | 20149位读者 | 引用
30
May
科学空间：2010年6月重要天象
By 苏剑林 | 2010-05-30 | 28677位读者 | 引用
20100626月球模拟
进入六月，除除了水星外肉眼可见的几颗大行星观测条件还不错。前半夜的主要观测目标是金星、火星和土星，他们之间的角距离也在逐渐缩小。后半夜木星升起，我们又有机会一睹这颗太阳系内最大行星的风采了。6月21日是夏至节气，当天北半球白昼是一年中最长的，而夜晚最短，且越往北越短。在北极圈以内地区当天太阳将不会落到地平线以下18度之内时，辉光都会影响到我们目视的极限星等，因此夏至前后一段时间北纬50度以上地区不太适合进行天文观测了。而对于北纬30至40度左右的观测者来说，这期间适合开展人造天体，特别是国际空间站的观测活动。
站长注：这篇文章来源于网络，原文是繁体中文版本，我经过修改整理而成。它原来是《费曼的6堂Easy物理课》这本书的解说，但是由于内容上的详细和扼要，我更愿意把它当做物理学家费曼的解说，与大家分享。
伟哉！费曼
社会上普遍有种错误的想法，总以为科学是完全客观的，不但不会因人而异，更不会感情用事。对比之下，科学以外的各种人类活动，则多多少少会受到一般潮流动向、突发的时尚风潮，以及当事人的性格、偏好所左右。唯有科学，得受制于科学社群都同意的规则、步骤，与严密的测试、检验。科学仅着重于得到的结论，而不在乎谁是做研究、做实验的人。
以上说法显然是无稽之谈，科学既然靠人推动，就跟其他人类活动相同，都会受到大环境趋势及个人意念的影响。在科学领域，研究潮流的趋向受到主题素材选择的影响并不大，却相当取决于当时科学家对整个世界的看法。
16
Nov
天体力学巨匠——拉普拉斯
By 苏剑林 | 2012-11-16 | 47470位读者 | 引用本文其实好几个月前就已经写好了，讲的是我最感兴趣的天体力学领域的故事，已经发表在2012年11月的《天文爱好者》上。
天体力学巨匠——拉普拉斯
作为一本天文科普杂志，《天文爱好者》着眼于普及天文，内容偏向于有趣的天体物理等，比较少涉及到天体力学。事实上，在天文发展史中，天体力学——研究天体纯粹在万有引力作用下演化的科学——占据了相当重要的地位。过去，天文就被划分为天体力学、天体物理以及天体测量学三个大块。只是在近现代，由于电子计算机的飞速发展，天体力学的多数问题都交给了计算机数值计算解决，因此这一领域逐渐淡出了人们视野。不过，回味当初那段天体力学史，依然让我们觉得激动人心。
首先引入“天体力学（Celestial mechanics）”这一术语的是法国著名数学家、天文巨匠拉普拉斯。他的全名为皮埃尔?西蒙?拉普拉斯（Pierre?Simon marquis de Laplace），因研究太阳系稳定性的动力学问题被誉为法国的牛顿和天体力学之父。他和生活在同一时代的法国著名数学家拉格朗日以及勒让德（Adrien-Marie Legendre）并称为“三L”。
神秘的少年时期
由于1925年的一场大火，很多拉普拉斯的生活细节资料都丢失了。根据W. W. Rouse Ball的说法，他可能是一个普通农民或农场工人的儿子，1749年3月23日出生于诺曼底卡尔瓦多斯省的伯蒙特恩奥格。少年时期，拉普拉斯凭借着自己的才能和热情，在富人邻居的帮助下完成了学业。他父亲希望这能使他将来以宗教为业，16岁时，他被送往卡昂大学读神学。但他很快在数学上显露头角。
最近评论