科学空间|Scientific Spaces

在《CoSENT（一）：比Sentence-BERT更有效的句向量方案》中，笔者提出了名为“CoSENT”的有监督句向量方案，由于它是直接训练cos相似度的，跟评测目标更相关，因此通常能有着比Sentence-BERT更好的效果以及更快的收敛速度。在《CoSENT（二）：特征式匹配与交互式匹配有多大差距？》中我们还比较过它跟交互式相似度模型的差异，显示它在某些任务上的效果还能直逼交互式相似度模型。

然而，当时笔者是一心想找一个更接近评测目标的Sentence-BERT替代品，所以结果都是面向有监督句向量的，即特征式相似度模型。最近笔者突然反应过来，CoSENT其实也能作为交互式相似度模型的损失函数。那么它跟标准选择交叉熵相比孰优孰劣呢？本文来补充这部分实验。

点击阅读全文...

在Seq2Seq的解码过程中，我们是逐个token地递归生成的，直到出现<eos>标记为止，这就是所谓的“自回归”生成模型。然而，研究过Seq2Seq的读者应该都能发现，这种自回归的解码偶尔会出现“根本停不下来”的现象，主要是某个片段反复出现，比如“今天天气不错不错不错不错不错...”、“你觉得我说得对不对不对不对不对不对...”等等，但就是死活不出现<eos>标记。ICML 2020的文章《Consistency of a Recurrent Language Model With Respect to Incomplete Decoding》比较系统地讨论了这个现象，并提出了一些对策，本文来简单介绍一下论文的主要内容。

解码算法

对于自回归模型来说，我们建立的是如下的条件语言模型
\begin{equation}p(y_t|y_{\lt t}, x)\label{eq:p}\end{equation}
那么解码算法就是在已知上述模型时，给定$x$来输出对应的$y=(y_1,y_2,\dots,y_T)$来。解码算法大致可以分为两类：确定性解码算法和随机性解码算法，原论文分别针对这两类解码讨论来讨论了“根本停不下来”问题，所以我们需要来了解一下这两类解码算法。

点击阅读全文...

对于LLM来说，通过增大Tokenizer的词表来提高压缩率，从而缩短序列长度、降低解码成本，是大家都喜闻乐见的事情。毕竟增大词表只需要增大Embedding层和输出的Dense层，这部分增加的计算量几乎不可感知，但缩短序列长度之后带来的解码速度提升却是实打实的。当然，增加词表大小也可能会对模型效果带来一些负面影响，所以也不能无节制地增加词表大小。本文就来分析增大词表后语言模型在续写任务上会出现的一个问题，并提出参考的解决方案。

优劣分析

增加词表大小的好处是显而易见的。一方面，由于LLM是自回归的，它的解码会越来越慢，而“增大词表 → 提高压缩率 → 缩短序列长度”，换言之相同文本对应的tokens数变少了，也就是解码步数变少了，从而解码速度提升了；另一方面，语言模型的训练方式是Teacher Forcing，缩短序列长度能够缓解Teacher Forcing带来的Exposure Bias问题，从而可能提升模型效果。

点击阅读全文...

二体问题的轨道模拟

为了让大家能够查询到“天体力学”方面的内容，同时锻炼我的表达和计算能力，BoJone构思了《方程与宇宙》这个主题，主要是写一些关于使用数学相对深入地讨论一些天文问题。其实我一直觉得，不用公式是无法完美地描述科学的（当然也不能纯公式），我记得霍金的《时间简史》以及《果壳中的宇宙》等之类的书，都力求不用或者尽可能少用数学公式来表达自己的观点。这种模式对于对于公众来说是很好的，但是对于希望深入研究的朋友来说却难以进行。所以我主张：宇宙是算出来的！

这个主题每一个字都是由BoJone敲击出来的，其中包括引用了《天体力学引论》里面的一些内容，以及加入了BoJone个人的一些见解。由于篇幅长及时间有限问题，BoJone打算分若干次撰写发布，并且尽可能写得通俗一点，力求让有一点微积分基础的朋友就可以弄懂。这里首先发布第一部分。由于时间匆忙等原因，可能会出现一些疏忽，欢迎大家挑错！

点击阅读全文...

王二小的牛跑了，当他发现时，牛在他正南方300米。且一直向正西方向匀速的跑，王二小立即追牛，他不是朝着一个固定的方向，而是每时每刻都朝着牛的方向跑，且速度是牛速度的4/3倍。当他追上牛时王二小共跑了多远？

问题分析

米拉斯反潜导弹

咋看起来，追牛和导弹是风牛马不相及的两件事：一个是生活小事，一个是物理问题，怎么能够扯到一块呢？

回想一下平时警察抓小偷的过程。警察不是物理学家，不会也可不能先去研究小偷的逃走路线函数，然后设计最小追赶时间的路程吧？那么，在不能预知小偷逃跑路线的前提下，警察要怎样捉小偷呢？很简单，盯死他！是的，只要你以更快的速度，一直朝着他跑，总能够追到的。继续联想下：要想用导弹跟踪摧毁一首敌舰，不也是只能够采用这种方式吗？回看文章开始的“追牛问题”，本质上不是一样的吗？以下是上海交大提出的导弹跟踪问题：

点击阅读全文...

通过上面众多的文字描述，也许你还不大了解这两个原理有何美妙之处，也或者你已经迫不及待地想去应用它们却不知思路。为了不至于让大家产生“审美疲劳”，接下来我们将试图利用这两个原理对费马点问题进行探讨，看看原理究竟是怎么发挥作用的。运用的关键在于：如何通过适当的变换将其与光学或势能联系起来。

费马点问题

传统费马点问题是指在ΔABC中寻找点P，使得$AP+BP+CP$最小的问题；而广义的费马点则改成使$k_1 AP+k_2 BP+k_3 CP$最小。这是很具有现实意义的，是“在三个村庄之间建立一个中转站，如何才能使运送成为最低”之类的最优问题。我们将从光学和势能两个角度对这个问题进行探讨（也许有的读者已经阅读过了利用重力的原理来求解费马点，但是我想光学的方法依然会是你眼前一亮的。）

点击阅读全文...

转载自：http://www.matrix67.com/blog/archives/3979

源文件来自这里，提供了多体问题中颇具代表性的 47 个解的数据（本文附带下载），是gnuplot 格式。Matrix67选择了其中 30 个，用 Mathematica 读出数据，生成了 30 个直观的 gif 动画。大家将会看到，在引力的作用下，多颗星体可能会形成的一些极其诡异的轨道。后面的解越来越不平凡，可见多体问题之难。

N体问题周期解 (1)

点击阅读全文...

约翰与他同时代的110位学者有通信联系，进行学术讨论的信件约有2500封，其中许多已成为珍贵的科学史文献，例如同他的哥哥雅各布以及莱布尼茨、惠更斯等人关于悬链线、最速降线（即旋轮线）和等周问题的通信讨论，虽然相互争论不断，特别是约翰和雅各布互相指责过于尖刻，使兄弟之间时常造成不快，但争论无疑会促进科学的发展，最速降线问题就导致了变分法的诞生。

有意思的是,1690年约翰·伯努利的哥哥雅可比·伯努利曾提出过悬链线问题向数学界征求答案。即：

固定项链的两端，在重力场中让它自然垂下，求项链的曲线方程.

吊桥上方的悬垂钢索，挂着水珠的蜘蛛网，电杆间的电线都是悬链线。伽利略最早注意到悬链线，猜测悬链线是抛物线。1691年莱布尼兹、惠更斯以及约翰·伯努利各自得到正确答案，所用方法是诞生不久的微积分。

点击阅读全文...