科学空间|Scientific Spaces

(说明：由于本文章含有较多的根号，推荐使用IE直接阅读，或者使用IE+MathPlayer。火狐浏览器对根号的显示是相当的差。)

大家知道，1到4次的代数方程都有求根公式（尽管未必是最简单的方法），对于1次和2次方程的求根，大家可能滚瓜烂熟了。但是你了解三次方程的解法吗？
$$ax^3+bx^2+cx+d=0\,(a\neq0)$$

网上有不少关于这方面的资料，但是却有着两个缺点：一是缺乏描述专业数学公式的相关程序（很多网站都是这样）；二是语言过于专业，不能大众化（如维基百科）。

点击阅读全文...

标准Attention的$\mathcal{O}(n^2)$复杂度可真是让研究人员头大。前段时间我们在博文《Performer：用随机投影将Attention的复杂度线性化》中介绍了Google的Performer模型，它通过随机投影的方式将标准Attention转化为线性Attention。无独有偶，前些天Arxiv上放出了AAAI 2021的一篇论文《Nyströmformer: A Nyström-Based Algorithm for Approximating Self-Attention》，里边又提出了一种从另一个角度把标准Attention线性化的方案。

Nyströmformer结构示意图

该方案写的是Nyström-Based，顾名思义是利用了Nyström方法来近似标准Attention的。但是坦白说，在看到这篇论文之前，笔者也完全没听说过Nyström方法，而纵观整篇论文，里边也全是笔者一眼看上去感觉很茫然的矩阵分解推导，理解起来颇为困难。不过有趣的是，尽管作者的推导很复杂，但笔者发现最终的结果可以通过一个相对来说更简明的方式来理解，遂将笔者对Nyströmformer的理解整理在此，供大家参考。

点击阅读全文...

我们知道，线性回归是比较简单的问题，它存在解析解，而它的变体逻辑回归（Logistic Regression）却没有解析解，这不能不说是一个遗憾。因为逻辑回归虽然也叫“回归”，但它实际上是用于分类问题的，而对于很多读者来说分类比回归更加常见。准确来说，我们说逻辑回归没有解析解，说的是“最大似然估计下逻辑回归没有解析解”。那么，这是否意味着，如果我们不用最大似然估计，是否能找到一个可用的解析解呢？

逻辑回归示意图

本文将会从非最大似然的角度，推导逻辑回归的一个解析解，简单的实验表明它效果不逊色于梯度下降求出来的最大似然解。此外，这个解析解还易于推广到单层Softmax多分类模型。

点击阅读全文...

在《让MathJax更好地兼容谷歌翻译和延时加载》我们提到Cool Papers加入了MathJax来解析LaTeX公式，不过万万没想到引发了诸多兼容性问题，虽然部分问题纯粹是笔者的强迫症作祟，但一个尽可能完美的解决方案终究是让人赏心悦目的，所以还是愿意在上面花一点心思。

上一篇文章我们已经解决了MathJax与谷歌翻译、延时加载的兼容性，这篇文章我们则来解决MathJax与Marked的冲突。

问题简述

Markdown是一种轻量级标记语言，允许人们使用易读易写的纯文本格式编写文档，可谓是目前最流行的写作语法之一，Cool Papers中的[Kimi]功能，基本上也是按照Markdown语法输出。然而。Markdown并不是直接面向浏览器的语言，面向浏览器的语言叫做HTML，所以在展示给用户之前，有一个Markdown转HTML的过程（渲染）。

点击阅读全文...

绿色和平组织前天发来了关于珠江河的消息。珠江作为我们广东的“母亲河”，出现了什么问题了呢？

绿色和平组织

亲爱的朋友，

你爱吃鱼么？那么，如果是洗发精口味或肥皂口味的鱼，你还一样食指大动吗？也许你不相信有这样的鱼，那么，跟随我们一起去珠江探访吧。

珠江流域的河流为区内4700万人提供饮用水，然而现在，工业污染却正在毒害那些居民的健康。绿色和平的最新调查发现，珠江三角洲的五家企业向珠江排放有毒有害物质！

点击阅读全文...

昨天一个QQ好友让我帮忙解决一道物理题目：

长为L的均匀木杆重Q，在木杆上离A端L/4处放有一重为Q/2的重物，平衡时，木杆AB与水平面的夹角θ有多大？

木杆平衡

看上去挺有趣的。于是我先记了下来，今天早上思考了一会儿，得出了下面的结果。其中我解答并没有直接受力分析，而是用了我们之前已经谈到过的“最小势能原理”：平衡系统中的势能必取极（小）值。

点击阅读全文...

开始之初，我偶然在图书馆看到了一本名为《超越摄动：同伦分析方法导论》，里边介绍了一种求微分方程近似解的新方法，关键是里边的内容看起来并不是十分难懂，因此我饶有兴致地借来研究了。果然，这是一种非常有趣的方法，在某种意义上来说，还是非常简洁的方法。这解决了我一直以来想要研究的问题：用傅里叶级数来近似描述单摆运动的近似解。当然，它带给我的冲击不仅仅是这些。为了得出周期解，我又同时研究了各种摄动方法的技巧，如消除长期项的PL(Poincaré–Lindstedt)方法。这同时增加了我对各种近似解析方法的了解。从开学到现在快三周的时间，我一直都在研究这些问题。

点击阅读全文...

马里乌斯·索菲斯·李

在这篇日志发表之前，科学空间在整个十月就只是在国庆期间发了一篇小感想，这是比较少见的。一个小原因是这学期社团（广播台）方面的活动有点多，当然这不是主要的，其实这个月我大多数课余时间放到了两件事情上：一是无线电路的入门，二就是本文所要讲的《求解微分方程的李对称方法》。

李对称方法主要是通过发现微分方程的对称性来求解微分方程。我首次接触到这个方法是在一本叫《微分方程与数学物理问题》的书上边，书中写得很清晰易懂，后来我还买了类似的《微分方程的对称与积分方法》，后者相对抽象一些，讨论也深入一些。在我目前发现的中文书籍中，这是唯一的两本以李对称方法求解微分方程为主题的书。这两本书还有一个共同特点，就是它们都是外国教材的翻译版。

点击阅读全文...