8
Jul
“闭门造车”之多模态思路浅谈（二）：自回归
By 苏剑林 | 2024-07-08 | 24641位读者 | 引用这篇文章我们继续来闭门造车，分享一下笔者最近对多模态学习的一些新理解。
在前文《“闭门造车”之多模态思路浅谈（一）：无损输入》中，我们强调了无损输入对于理想的多模型模态的重要性。如果这个观点成立，那么当前基于VQ-VAE、VQ-GAN等将图像离散化的主流思路就存在能力瓶颈，因为只需要简单计算一下信息熵就可以表明离散化必然会有严重的信息损失，所以更有前景或者说更长远的方案应该是输入连续型特征，比如直接将图像的原始像素特征Patchify后输入到模型中。
然而，连续型输入对于图像理解自然简单，但对图像生成来说则引入了额外的困难，因为非离散化无法直接套用文本的自回归框架，多少都要加入一些新内容如扩散，这就引出了本文的主题——如何进行多模态的自回归学习与生成。当然，非离散化只是表面的困难，更艰巨的部份还在后头...
无损含义
首先我们再来明确一下无损的含义。无损并不是指整个计算过程中一丁点损失都不能有，这不现实，也不符合我们所理解的深度学习的要义——在2015年的文章《闲聊：神经网络与深度学习》我们就提到过，深度学习成功的关键是信息损失。所以，这里无损的含义很简单，单纯是希望作为模型的输入来说尽可能无损。
6
Sep
“闭门造车”之多模态思路浅谈（三）：位置编码
By 苏剑林 | 2024-09-06 | 7212位读者 | 引用在前面的文章中，我们曾表达过这样的观点：多模态LLM相比纯文本LLM的主要差异在于，前者甚至还没有形成一个公认为标准的方法论。这里的方法论，不仅包括之前讨论的生成和训练策略，还包括一些基础架构的设计，比如本文要谈的“多模态位置编码”。
对于这个主题，我们之前在《Transformer升级之路：17、多模态位置编码的简单思考》就已经讨论过一遍，并且提出了一个方案（RoPE-Tie）。然而，当时笔者对这个问题的思考仅处于起步阶段，存在细节考虑不周全、认识不够到位等问题，所以站在现在的角度回看，当时所提的方案与完美答案还有明显的距离。
因此，本文我们将自上而下地再次梳理这个问题，并且给出一个自认为更加理想的结果。
多模位置
多模态模型居然连位置编码都没有形成共识，这一点可能会让很多读者意外，但事实上确实如此。对于文本LLM，目前主流的位置编码是RoPE（RoPE就不展开介绍了，假设读者已经熟知），更准确来说是RoPE-1D，因为原始设计只适用于1D序列。后来我们推导了RoPE-2D，这可以用于图像等2D序列，按照RoPE-2D的思路我们可以平行地推广到RoPE-3D，用于视频等3D序列。
4
Feb
400多本数学电子书籍（供下载）
By 苏剑林 | 2010-02-04 | 75065位读者 | 引用转自：http://bbs.emath.ac.cn/redirect.php?tid=1989
来源：http://cid-ec227156e4cad4ab.profile.live.com/
不论是对于学习高等数学还是初中数学，里面都有不少数学精品。BoJone一发现，便用Thunder下了一大堆（正好满足了我加强“数学分析”的需要），并立即与大家分享了。资源储存在微软的网盘，按常理来说不存在链接失效的问题，不过BoJone建议需要的读者还是尽快下载到自己的电脑上，毕竟这样更加保险，因为或许哪一天作者不愿意共享了，那就“走宝”了，呵呵。
31
Oct
当酸溶液遇到了更多的水时...
By 苏剑林 | 2010-10-31 | 23783位读者 | 引用在生活上，我是一个比较传统的人，因此每到节日我都会尽量回家跟家人团聚。也许会让大家比较吃惊的是，今年的国庆是我第一个不在家的国庆。的确，从小学到高中，上学的地方离家都比较近，每周回去一次都是不成问题的。现在来到了广州，就不能太随心了。虽然跟很多同学相比，我离家还是比较近的，但是来回也要考虑车费、时间等等。国庆假期时间虽然很长，但是中秋已经回去一趟了，所以我决定国庆就不再回去了。
对我来说，中秋跟国庆相比，中秋的意义更大些。所以我选择了国庆不回家。对家人而言，看到自己平安就好，因此哪一天回去他们都会很高兴，当然，对于农村人来说，中秋的味道更浓，更希望团聚。
27
Jun
哈哈，我的“《圣经》”到了
By 苏剑林 | 2013-06-27 | 51855位读者 | 引用
7
Jul
百科翻译：草原上的狐狸（Swift Fox）
By 苏剑林 | 2009-07-07 | 34919位读者 | 引用
8
Jul
最近评论