科学空间|Scientific Spaces

是时候向n=3进军了，为了证明这个情况，我们需要一个新的数环：艾森斯坦整数（Eisenstein Integer）。艾森斯坦是德国著名数学家，同时代的高斯曾经评价：“只有三个划时代的数学家：阿基米德，牛顿和艾森斯坦。”足见艾森斯坦的成就斐然。事实上，阅读费马大定理的研究史，同时也是在阅读数学名人录——没有超高的数学，几乎不可能在费马大定理中有所建树。

基本定义

跟高斯整数一样，艾森斯坦整数也是复整数的一种，其中，高斯整数是以1和$i$为基，$i$其实是一个四次单位根，也就是$x^4-1=0$的一个非实数根，因此高斯整数也叫做四次分圆整数；而艾森斯坦整数以1和$\omega$为基，$\omega$是三次单位根，也就是$x^3-1=0$的一个非实数根。任意一个艾森斯坦整数都可以记为$a+b\omega,\,a,b\in\mathbb{Z}$，艾森斯坦整数环记为$\mathbb{Z}[\omega]$，也称为三次分圆整数环。

点击阅读全文...

最近的很多篇文章都是数论内容，属于纯数学的范畴了，对于很多只爱好物理或应用数学的读者可能会看得头晕了。今天我们来谈些不那么抽象的东西，我们来谈谈风筝，并来分析一下风筝的飞行力学。

爱情就像放风筝，线不能来得太紧，也不能拉得太松，你只会给对方飞翔的空间，他/她始终会回到你身边，因为有一条线系着双方。

风筝，在我们这个地方叫做纸鸢，相信大家童年时一定会放过。笔者小时候放风筝时，已经是小学五年级之前的事了。这个暑假突然童心一起，凭着小时候的回忆，简单做了个风筝来玩，居然真的飞起来了！兴奋之余，与大家分享一下。如今再来放风筝，真心感觉到放风筝也有很多技巧，让风筝飞，还不是件容易的事情呢，真可谓人生处处皆学问呀。上面关于风筝的比喻，正是放风筝的真实写照吧。

风筝可以说是人类摆脱地球重力的最原始尝试吧，跟发射宇宙飞船的火箭不同，风筝是借助风力来抵抗重力，严格来讲，即便是现在的飞机，也离不开这个原理（我们最后会谈到）。简单来讲，风筝就是用轻的支架撑开一个轻盈的平面，然后系上一个线圈。我们简单做一个风筝，只需要一张报纸，两条竹篾和一点透明胶，十分钟内就可以完成一个。当然，现在已经有各种各样的好看的风筝，甚至还有龙形的风筝，但是，自己动手简单做一个风筝，还是相当好玩的。

风筝自然是借助风力飞起来的，可是为什么风筝得用绳子牵着才能飞得更高、绳断了反而掉下来？风大多时，才适合放风筝？飞机又是怎么飞起来的？下面我们试着分析这些问题。

点击阅读全文...

本文我们继续之前的变分自编码器系列，分析一下如何防止NLP中的VAE模型出现“KL散度消失（KL Vanishing）”现象。本文受到参考文献是ACL 2020的论文《A Batch Normalized Inference Network Keeps the KL Vanishing Away》的启发，并自行做了进一步的完善。

值得一提的是，本文最后得到的方案还是颇为简洁的——只需往编码输出加入BN（Batch Normalization），然后加个简单的scale——但确实很有效，因此值得正在研究相关问题的读者一试。同时，相关结论也适用于一般的VAE模型（包括CV的），如果按照笔者的看法，它甚至可以作为VAE模型的“标配”。

最后，要提醒读者这算是一篇VAE的进阶论文，所以请读者对VAE有一定了解后再来阅读本文。

VAE简单回顾

这里我们简单回顾一下VAE模型，并且讨论一下VAE在NLP中所遇到的困难。关于VAE的更详细介绍，请读者参考笔者的旧作《变分自编码器（一）：原来是这么一回事》、《变分自编码器（二）：从贝叶斯观点出发》等。

VAE的训练流程

VAE的训练流程大概可以图示为

点击阅读全文...

今天上近世代数课，老师谈到除环，举了一个非交换的除环的粒子，也就是四元数环，然后谈到“实数域上有限维可除代数只有4种”，也就是实数本身、复数、四元数和八元数（这里的可除代数就是除环）。这句话我听起来有点熟悉，又好像不大对劲。我记得在某本书上看过，定义为实数上的超复数系，如果满足模的积性，那么就只有以上四种。但是老师的那句话表明即使去掉模的积性，也只有四种。我自然以为老师记错了，跟老师辩论了一翻，然后回到宿舍又找资料，最终确定：实数域上有限维可除代数真的只有四种！下面简单谈谈我对这个问题的认识。

当然，这里不可能给出这个命题的证明，因为这个证明相当不简单，笔者目前也没有弄懂，但是粗略感觉一下为什么，还是有可能的。看到这个命题，我们一下子的感觉可能是：怎么会这么少！我们这里通过例子简单说明一下，确实不会多！

我们已经对复数系很熟悉了，也就是定义在实数上的向量空间，基为$\{1,i\}$，并且给定乘法为
$$1\times i=i \times 1=i,\quad 1^2=1,\quad i^2=-1$$

点击阅读全文...

特殊的通项公式

对数学或编程感兴趣的读者，相信都已经很熟悉斐波那契数列了

0, 1, 1, 2, 3, 5, 8, 13, ...

它是由
$$a_{n+2}=a_{n+1}+a_n,\quad a_0=0,a_1=1$$
递推所得。读者或许已经见过它的通项公式
$$a_{n}=\frac{\sqrt{5}}{5} \cdot \left[\left(\frac{1 + \sqrt{5}}{2}\right)^{n} - \left(\frac{1 - \sqrt{5}}{2}\right)^{n}\right]$$
这里假设我们没有如此高的智商可以求出这个复杂的表达式出来，但是我们通过研究数列发现，这个数列越来越大时，相邻两项趋于一个常数，这个常数也就是（假设我们只发现了后面的数值，并没有前面的根式）
$$\beta=\frac{1 + \sqrt{5}}{2}=1.61803398\dots$$

点击阅读全文...

在2018年的文章里《f-GAN简介：GAN模型的生产车间》笔者介绍了f-GAN，并评价其为GAN模型的“生产车间”，顾名思义，这是指它能按照固定的流程构造出很多不同形式的GAN模型来。前几天在arxiv上看到了新出的一篇论文《Designing GANs: A Likelihood Ratio Approach》（后面简称Designing GANs或原论文），发现它在做跟f-GAN同样的事情，但走的是一条截然不同的路（不过最后其实是殊途同归），整篇论文颇有意思，遂在此分享一番。

f-GAN回顾

从《f-GAN简介：GAN模型的生产车间》中我们可以知道，f-GAN的首要步骤是找到满足如下条件的函数$f$：

1、$f$是非负实数到实数的映射（$\mathbb{R}^* \to \mathbb{R}$）；

2、$f(1)=0$；

3、$f$是凸函数。

点击阅读全文...

（译自 陶哲轩 博客, 译者 liuxiaochuang）
（英文原文：Does one have to be a genius to do maths?）

这个问题的回答是一个大写的：不！为了达到对数学有一个良好的，有意义的贡献的目的，人们必须要刻苦努力；学好自己的领域，掌握一些其他领域的知识和工具；多问问题；多与其他数学工作者交流；要对数学有个宏观的把握。当然，一定水平的才智，耐心的要求，以及心智上的成熟性是必须的。但是，数学工作者绝不需要什么神奇的“天才”的基因，什么天生的洞察能力；不需要什么超自然的能力使自己总有灵感去出人意料的解决难题。

大众对数学家的形象有一个错误的认识：这些人似乎都使孤单离群的（甚至有一点疯癫）天才。他们不去关注其他同行的工作，不按常规的方式思考。他们总是能够获得无法解释的灵感（或者经过痛苦的挣扎之后突然获得），然后在所有的专家都一筹莫展的时候，在某个重大的问题上取得了突破的进展。这样浪漫的形象真够吸引人的，可是至少在现代数学学科中，这样的人或事是基本没有的。在数学中，我们的确有很多惊人的结论，深刻的定理，但是那都是经过几年，几十年，甚至几个世纪的积累，在很多优秀的或者伟大的数学家的努力之下一点一点得到的。每次从一个层次到另一个层次的理解加深的确都很不平凡，有些甚至是非常的出人意料。但尽管如此，这些成就也无不例外的建立在前人工作的基础之上，并不是全新的。（例如， Wiles 解决费马最后定理的工作，或者Perelman 解决庞加莱猜想的工作。）

点击阅读全文...

我小时候一直有个疑问：

直升机上的螺旋桨能不能用来挡雨？

一般的螺旋桨是若干个“条状”物通过旋转对称而形成的，也就是说，它并非一个面，按常理来说，它是没办法用来挡雨的。但是，如果在高速旋转的情况下，甚至假设旋转速度可以任意大，那么我们任意时刻都没有办法穿过它了，这种情况下，它似乎与一个实在的面无异？

力的无穷分解

当然，以上只是笔者小时候的一个“异想天开”的念头，读者不必较真。不过，这个疑问跟本文有什么联系呢？我们在研究振动问题之时，通常会遇到在变力的作用下的受迫振动问题，已知变力是时间的函数，比如$f(t)$，然而，虽然知道$f(t)$的具体形式，但是由于$f$的非线性性，加上外力之后的运动，不一定容易求解。然而，如果可以将一个变化的力分段为无数个无穷小时间内的恒力（冲力），那么我们就可以分段讨论我们要研究的运动，而通常来说，恒力的问题会比变力容易。将一个变力离散化，然后再取极限，那么是不是跟原来在变力下的运动是一样的呢？这跟文章开头的疑问有着类似的思想——离线的极限，跟连续本身，是不是等价的？

而让人惊喜的是，在通常的物理系统中，将力分段为无数个小区间内的恒力的做法，能够导致正确的答案，而且，这恰好是线性常微分方程的格林函数法。下面我们来分析这一做法。

点击阅读全文...