科学空间|Scientific Spaces

在前面的文章中，我们曾表达过这样的观点：多模态LLM相比纯文本LLM的主要差异在于，前者甚至还没有形成一个公认为标准的方法论。这里的方法论，不仅包括之前讨论的生成和训练策略，还包括一些基础架构的设计，比如本文要谈的“多模态位置编码”。

对于这个主题，我们之前在《Transformer升级之路：17、多模态位置编码的简单思考》就已经讨论过一遍，并且提出了一个方案（RoPE-Tie）。然而，当时笔者对这个问题的思考仅处于起步阶段，存在细节考虑不周全、认识不够到位等问题，所以站在现在的角度回看，当时所提的方案与完美答案还有明显的距离。

因此，本文我们将自上而下地再次梳理这个问题，并且给出一个自认为更加理想的结果。

多模位置

多模态模型居然连位置编码都没有形成共识，这一点可能会让很多读者意外，但事实上确实如此。对于文本LLM，目前主流的位置编码是RoPE（RoPE就不展开介绍了，假设读者已经熟知），更准确来说是RoPE-1D，因为原始设计只适用于1D序列。后来我们推导了RoPE-2D，这可以用于图像等2D序列，按照RoPE-2D的思路我们可以平行地推广到RoPE-3D，用于视频等3D序列。

点击阅读全文...

这篇文章的主角是ID（Interpolative Decomposition），中文可以称之为“插值分解”，它同样可以理解为是一种具有特定结构的低秩分解，其中的一侧是该矩阵的若干列（当然如果你偏好于行，那么选择行也没什么问题），换句话说，ID试图从一个矩阵中找出若干关键列作为“骨架”（通常也称作“草图”）来逼近原始矩阵。

可能很多读者都未曾听说过ID，即便维基百科也只有几句语焉不详的介绍（链接），但事实上，ID跟SVD一样早已内置在SciPy之中（参考scipy.linalg.interpolative），这侧面印证了ID的实用价值。

基本定义

前三篇文章我们分别介绍了伪逆、SVD、CR近似，它们都可以视为寻找特定结构的低秩近似：
\begin{equation}\mathop{\text{argmin}}_{\text{rank}(\tilde{\boldsymbol{M}})\leq r}\Vert \tilde{\boldsymbol{M}} - \boldsymbol{M}\Vert_F^2\end{equation}

点击阅读全文...

2004年，一部改编自游戏的 《仙剑奇侠传》电视剧上映，吸引了许许多多的眼球，也引来了我的追捧。当然，那时候，我还没有接触到互联网，当然也不知道它是由游戏改编而成的，只是去深入体会其中的故事，领略其中的情感。明显，胡歌和刘亦菲获得了无比的成功，那首《六月的雨》也成了我最爱的歌曲之一。

而今年，由游戏改编的电视剧《仙剑奇侠传3》已经上演，在网络中的各个网站也可以观看。让我们再次深入到其中，领略动人的情感。它，竟然让我落泪了......

点击阅读全文...

浩浩荡荡的“地球工程”似乎就要开始了，不知道这会为我们带来什么呢？是喜是忧？关于气候变暖问题，还需要我们深刻反思一下。

科学家计划研制造云船对抗全球变暖

点击阅读全文...

今天把Blog程序版本升级到了PJBlog3 v3.2.7.300，乃目前最新版本。。欢迎大家来“顶”文章！

点击阅读全文...

笔者：这一次的翻译有点乱，不过先不管这个，说说内容。

点击阅读全文...

为何正17边形能够用尺规作出来？要如何作？先别急，请看下面的解释：

一个正质数多边形可以用标尺作图的充分和必要条件是，该多边形的边数必定是一个费马质数。换句话说，只有正三边形、正五边形、正十七边形、正257边形和正63357边形可以用尺规作出来，其它的正质数多边形就不可以了。（除非我们再发现另一个费马质数。）

正17边形的尺规作法是高斯在1796年得出的，他也因此决心要成为数学家。关于费马质数，是指形如$2^{2^n}+1$的质数，一开始费马认为对于所有的n，这种形式的数都是质数。可是这似乎是上天的玩笑，目前只发现了当n=0,1,2,3,4的时候$2^{2^n}+1$是质数，其余都是合数。

点击阅读全文...

图片说明：春分点的土星，版权:Cassini Imaging Team, ISS, JPL, ESA, NASA

点击阅读全文...