科学空间|Scientific Spaces

本文要研究的是关于$t$的函数
$$\exp\left(\frac{1}{2}t^2+xt\right)$$
在$t=0$处的泰勒展开式。显然，它并不困难，手算或者软件都可以做出来，答案是：
$$1+x t+\frac{1}{2} \left(x^2+1\right) t^2+\frac{1}{6}\left(x^3+3 x\right) t^3 +\frac{1}{24} \left(x^4+6 x^2+3\right) t^4 + \dots$$
不过，本文将会给出笔者构造的该级数的一个图解方法。通过这个图解方法比较比较直观而方便地手算出展开式的前面一些项。后面我们再来谈谈这种图解技术的起源以及进一步的应用。

级数的图解方法：说明

首先，很明显要写出这个级数，关键是写出展开式的每一项，也就是要求出
$$f_k (x) = \left.\frac{d^k}{dt^k}\exp\left(\frac{1}{2}t^2+xt\right)\right|_{t=0}$$
$f_k (x)$是一个关于$x$的$k$次整系数多项式，$k$是展开式的阶，也是求导的阶数。

这里，我们用一个“点”表示一个$x$，用“两点之间的一条直线”表示“相乘”，那么，$x^2$就可以表示成

x^2项

点击阅读全文...

(说明：由于本文章含有较多的根号，推荐使用IE直接阅读，或者使用IE+MathPlayer。火狐浏览器对根号的显示是相当的差。)

大家知道，1到4次的代数方程都有求根公式（尽管未必是最简单的方法），对于1次和2次方程的求根，大家可能滚瓜烂熟了。但是你了解三次方程的解法吗？
$$ax^3+bx^2+cx+d=0\,(a\neq0)$$

网上有不少关于这方面的资料，但是却有着两个缺点：一是缺乏描述专业数学公式的相关程序（很多网站都是这样）；二是语言过于专业，不能大众化（如维基百科）。

点击阅读全文...

标准Attention的$\mathcal{O}(n^2)$复杂度可真是让研究人员头大。前段时间我们在博文《Performer：用随机投影将Attention的复杂度线性化》中介绍了Google的Performer模型，它通过随机投影的方式将标准Attention转化为线性Attention。无独有偶，前些天Arxiv上放出了AAAI 2021的一篇论文《Nyströmformer: A Nyström-Based Algorithm for Approximating Self-Attention》，里边又提出了一种从另一个角度把标准Attention线性化的方案。

Nyströmformer结构示意图

该方案写的是Nyström-Based，顾名思义是利用了Nyström方法来近似标准Attention的。但是坦白说，在看到这篇论文之前，笔者也完全没听说过Nyström方法，而纵观整篇论文，里边也全是笔者一眼看上去感觉很茫然的矩阵分解推导，理解起来颇为困难。不过有趣的是，尽管作者的推导很复杂，但笔者发现最终的结果可以通过一个相对来说更简明的方式来理解，遂将笔者对Nyströmformer的理解整理在此，供大家参考。

点击阅读全文...

我们知道，线性回归是比较简单的问题，它存在解析解，而它的变体逻辑回归（Logistic Regression）却没有解析解，这不能不说是一个遗憾。因为逻辑回归虽然也叫“回归”，但它实际上是用于分类问题的，而对于很多读者来说分类比回归更加常见。准确来说，我们说逻辑回归没有解析解，说的是“最大似然估计下逻辑回归没有解析解”。那么，这是否意味着，如果我们不用最大似然估计，是否能找到一个可用的解析解呢？

逻辑回归示意图

本文将会从非最大似然的角度，推导逻辑回归的一个解析解，简单的实验表明它效果不逊色于梯度下降求出来的最大似然解。此外，这个解析解还易于推广到单层Softmax多分类模型。

点击阅读全文...

在《让MathJax更好地兼容谷歌翻译和延时加载》我们提到Cool Papers加入了MathJax来解析LaTeX公式，不过万万没想到引发了诸多兼容性问题，虽然部分问题纯粹是笔者的强迫症作祟，但一个尽可能完美的解决方案终究是让人赏心悦目的，所以还是愿意在上面花一点心思。

上一篇文章我们已经解决了MathJax与谷歌翻译、延时加载的兼容性，这篇文章我们则来解决MathJax与Marked的冲突。

问题简述

Markdown是一种轻量级标记语言，允许人们使用易读易写的纯文本格式编写文档，可谓是目前最流行的写作语法之一，Cool Papers中的[Kimi]功能，基本上也是按照Markdown语法输出。然而。Markdown并不是直接面向浏览器的语言，面向浏览器的语言叫做HTML，所以在展示给用户之前，有一个Markdown转HTML的过程（渲染）。

点击阅读全文...

绿色和平组织前天发来了关于珠江河的消息。珠江作为我们广东的“母亲河”，出现了什么问题了呢？

绿色和平组织

亲爱的朋友，

你爱吃鱼么？那么，如果是洗发精口味或肥皂口味的鱼，你还一样食指大动吗？也许你不相信有这样的鱼，那么，跟随我们一起去珠江探访吧。

珠江流域的河流为区内4700万人提供饮用水，然而现在，工业污染却正在毒害那些居民的健康。绿色和平的最新调查发现，珠江三角洲的五家企业向珠江排放有毒有害物质！

点击阅读全文...

昨天一个QQ好友让我帮忙解决一道物理题目：

长为L的均匀木杆重Q，在木杆上离A端L/4处放有一重为Q/2的重物，平衡时，木杆AB与水平面的夹角θ有多大？

木杆平衡

看上去挺有趣的。于是我先记了下来，今天早上思考了一会儿，得出了下面的结果。其中我解答并没有直接受力分析，而是用了我们之前已经谈到过的“最小势能原理”：平衡系统中的势能必取极（小）值。

点击阅读全文...

开始之初，我偶然在图书馆看到了一本名为《超越摄动：同伦分析方法导论》，里边介绍了一种求微分方程近似解的新方法，关键是里边的内容看起来并不是十分难懂，因此我饶有兴致地借来研究了。果然，这是一种非常有趣的方法，在某种意义上来说，还是非常简洁的方法。这解决了我一直以来想要研究的问题：用傅里叶级数来近似描述单摆运动的近似解。当然，它带给我的冲击不仅仅是这些。为了得出周期解，我又同时研究了各种摄动方法的技巧，如消除长期项的PL(Poincaré–Lindstedt)方法。这同时增加了我对各种近似解析方法的了解。从开学到现在快三周的时间，我一直都在研究这些问题。

点击阅读全文...