科学空间|Scientific Spaces

在《让MathJax更好地兼容谷歌翻译和延时加载》我们提到Cool Papers加入了MathJax来解析LaTeX公式，不过万万没想到引发了诸多兼容性问题，虽然部分问题纯粹是笔者的强迫症作祟，但一个尽可能完美的解决方案终究是让人赏心悦目的，所以还是愿意在上面花一点心思。

上一篇文章我们已经解决了MathJax与谷歌翻译、延时加载的兼容性，这篇文章我们则来解决MathJax与Marked的冲突。

问题简述

Markdown是一种轻量级标记语言，允许人们使用易读易写的纯文本格式编写文档，可谓是目前最流行的写作语法之一，Cool Papers中的[Kimi]功能，基本上也是按照Markdown语法输出。然而。Markdown并不是直接面向浏览器的语言，面向浏览器的语言叫做HTML，所以在展示给用户之前，有一个Markdown转HTML的过程（渲染）。

点击阅读全文...

在前面的文章中，我们曾表达过这样的观点：多模态LLM相比纯文本LLM的主要差异在于，前者甚至还没有形成一个公认为标准的方法论。这里的方法论，不仅包括之前讨论的生成和训练策略，还包括一些基础架构的设计，比如本文要谈的“多模态位置编码”。

对于这个主题，我们之前在《Transformer升级之路：17、多模态位置编码的简单思考》就已经讨论过一遍，并且提出了一个方案（RoPE-Tie）。然而，当时笔者对这个问题的思考仅处于起步阶段，存在细节考虑不周全、认识不够到位等问题，所以站在现在的角度回看，当时所提的方案与完美答案还有明显的距离。

因此，本文我们将自上而下地再次梳理这个问题，并且给出一个自认为更加理想的结果。

多模位置

多模态模型居然连位置编码都没有形成共识，这一点可能会让很多读者意外，但事实上确实如此。对于文本LLM，目前主流的位置编码是RoPE（RoPE就不展开介绍了，假设读者已经熟知），更准确来说是RoPE-1D，因为原始设计只适用于1D序列。后来我们推导了RoPE-2D，这可以用于图像等2D序列，按照RoPE-2D的思路我们可以平行地推广到RoPE-3D，用于视频等3D序列。

点击阅读全文...

说明：

这庞大的黑暗区域是木星南极最近的遭天体撞击留下的“伤疤”。

点击阅读全文...

七月流逝，八月悄来。又迎来新的一个月，今天是第一天，也是建军节。 回味过去的一个月，我学会了很多，也体验了很多，自己似乎更加成熟了。 一切都会过去，一切都会流逝，惟有不变的，是人的情感。

点击阅读全文...

超高清，NGC 7331，版权：NASA，Dietmar Hager拍摄）

点击阅读全文...

前几天由于复位了BIOS，时间也复位了，因此，第一件事便是调整好时间。对于一个科学爱好者（特别是天文爱好者），精确的时间是必不可少的。

现在为大家提供一个“时间科普网站”：http://www.time.ac.cn （中文，北京时间）

除了让你能够调整时间，该网站还提供了一些时间的Flash：

（1）圆形钟表：http://www.time.ac.cn/img/clock.swf

（2）电子时钟：http://www.time.ac.cn/ntsctime/Time-Clock-Green-14-7.swf

（3）精确时间：http://www.time.ac.cn/img/digitalclock.swf

读者可根据自己网站的不同来进行调用这些Flash。

点击阅读全文...

图片说明：金属活动性顺序表

话说在一个金属王国里，居住着不少金属男孩：钾、钙、钠、...他们的性格和脾气各有不同。于是，到金属王国拜访的人类，在经过仔细调查后，理清了他们的性情，并写成了“金属活动性顺序表”。

点击阅读全文...

图片说明：酷似鲸鱼和曲棍球棒的星系，版权：Josef Poepsel, Stefan Binnewies&Capella 天文台)

点击阅读全文...