科学空间|Scientific Spaces

几年前，笔者曾经以自己对矩阵的粗浅理解写了一个“理解矩阵”系列，其中有一篇《为什么只有方阵有行列式？》讨论了非方阵的行列式问题，里边给出了“非方针的行列式不好看”和“方阵的行列式就够了”的观点。本文来再次思考这个问题。

首先回顾方阵的行列式，其实行列式最重要的价值在于它的几何意义：

n维方阵的行列式的绝对值，等于它的各个行（或列）向量所张成的n维立体的超体积。

这个几何意义是行列式的一切重要性的源头，相关的讨论可以参考《行列式的点滴》，它也是我们讨论非方阵行列式的基础。

分析

对于方阵$\boldsymbol{A}_{n\times n}$来说，可以将它看成$n$个行向量的组合，也可以看成$n$个列向量的组合，不管是哪一种，行列式的绝对值都等于这$n$个向量所张成的$n$维立体的超体积。换句话说，对于方阵来说，行、列向量的区分不改变行列式。

对于非方阵$\boldsymbol{B}_{n \times k}$就不一样了，不失一般性，假设$n > k$。我们可以将它看成$n$个$k$维行向量的组合，也可以看成$k$个$n$维列向量的组合。非方针的行列式，应该也具有同样含义，即它们所张成的立体的超体积。

我们来看第一种情况，如果看成$n$个$k$维行向量，那么就得视为这$n$个向量张成的$n$维体的超体积了，但是要注意$n > k$，因此这$n$个向量必然线性相关，因此它们根本就张不成一个$n$维体，也许是一个$n-1$维体甚至更低，这样一来，它的$n$维体的超体积自然为0。

但是第二种情况就没有那么平凡了。如果看成$k$个$n$维列向量，那么这$k$个向量虽然是$n$维的，但它们张成的是一个$k$维体，这$k$维体的超体积未必为0。我们就以这个非平凡的体积作为非方阵行列式的定义好了。

点击阅读全文...

非抛物面望远镜的校正镜方程求解
The Corrector Plate of Non-parabola Telescope

本文在牧夫天文论坛的讨论：
http://www.astronomy.ac/bbs/thread-160257-1-1.html

为了克服折射望远镜的色差问题，1670年，牛顿制造了第一台实用的反射式望远镜，将望远镜的主镜由玻璃透镜换成了抛物反射面，从而消除了色差。然而，相比球面镜，大口径的抛物面并不容易磨制。因为制作大球面镜只需要将曲率相等的小镜片相对自由组合在一起就行了，而抛物线每点的曲率并不相等，所以需要逐个磨制曲率不等的小镜片，并按照严格的顺序组合起来。这无疑大大增加了磨制难度。

Lamost是目前世界最大的施密特望远镜

为了解决这一难题，天文学家们想到了一个折衷的办法：以球面为主镜，并配以校正镜来校正球差。迎着这一思路，施密特望远镜随之而生。而当代的大望远镜基本上都是沿用这一思路。然而，校正镜是一个比抛物面更加复杂的四次曲面，磨制工艺要求更高，因此，校正镜也不宜过大。

点击阅读全文...

快要学期末了，不少学霸开始忙碌起来了。不过对非学霸的我来说，基本上每天都是一样的，希望把自己感兴趣的东西深入研究下去，因为我觉得，真正学会点有用的东西才是最重要的。数学分析和高等代数老师都要求写课程论文，我也写了我比较感兴趣的“欧拉数学”和“超复数研究”，之后会把这部分内容与大家分享。

虽然学期已经接近尾声了，但是我们的课程还没有上完。事实上，我们的新课一直上到十八周~随着考试的接近，我们的《高等代数》课程也已经要落幕了。最近在上的是二次型方面的内容，讲到正定二次型和正定矩阵。关于正定矩阵的判别，教科书上提供了两个判别方法，一个是基于定义的初等变换，另外一个就是主子式法。前者无可厚非，但是后者我似乎难以理解——它虽然是正确的，但是它很丑，计算量又大。我还没有想清楚主子式法到底有什么好的？在我看来，本文所探讨的基于二次方程判别式的方法才是简单、快捷的。

正定二次型
所谓正定二次型，就是关于n个变量$x_1,x_2,...,x_n$的二次齐次函数，只要$x_i$不全为0，它的值恒为正数。比如
$$2 x_1^2+x_2^2-2 x_1 x_2=x_1^2+(x_2-x_1)^2$$
这是一个比较简单的正定二次型，多元的还有
$$5 x_1^2+x_2^2+5 x_3^2+4 x_1 x_2-8 x_1 x_3-4 x_2 x_3$$

点击阅读全文...

这是一篇“散文”，我们来谈一下有着千丝万缕联系的三个东西：变分自编码器、信息瓶颈、正态分布。

众所周知，变分自编码器是一个很经典的生成模型，但实际上它有着超越生成模型的含义；而对于信息瓶颈，大家也许相对陌生一些，然而事实上信息瓶颈在去年也热闹了一阵子；至于正态分布，那就不用说了，它几乎跟所有机器学习领域都有或多或少的联系。

那么，当它们三个碰撞在一块时，又有什么样的故事可说呢？它们跟“遗忘”又有什么关系呢？

变分自编码器

在本博客你可以搜索到若干几篇介绍VAE的文章。下面简单回顾一下。

理论形式回顾

简单来说，VAE的优化目标是：
\begin{equation}KL(\tilde{p}(x)p(z|x)\Vert q(z)q(x|z))=\iint \tilde{p}(x)p(z|x)\log \frac{\tilde{p}(x)p(z|x)}{q(x|z)q(z)} dzdx\end{equation}
其中$q(z)$是标准正态分布，$p(z|x),q(x|z)$是条件正态分布，分别对应编码器、解码器。具体细节可以参考《变分自编码器（二）：从贝叶斯观点出发》。

点击阅读全文...

前些天刷Arxiv看到新文章《Self-Orthogonality Module: A Network Architecture Plug-in for Learning Orthogonal Filters》（下面简称“原论文”），看上去似乎有点意思，于是阅读了一番，读完确实有些收获，在此记录分享一下。

给全连接或者卷积模型的核加上带有正交化倾向的正则项，是不少模型的需求，比如大名鼎鼎的BigGAN就加入了类似的正则项。而这篇论文则引入了一个新的正则项，笔者认为整个分析过程颇为有趣，可以一读。

为什么希望正交？

在开始之前，我们先约定：本文所出现的所有一维向量都代表列向量。那么，现在假设有一个$d$维的输入样本$\boldsymbol{x}\in \mathbb{R}^d$，经过全连接或卷积层时，其核心运算就是：
\begin{equation}\boldsymbol{y}^{\top}=\boldsymbol{x}^{\top}\boldsymbol{W},\quad \boldsymbol{W}\triangleq (\boldsymbol{w}_1,\boldsymbol{w}_2,\dots,\boldsymbol{w}_k)\label{eq:k}\end{equation}
其中$\boldsymbol{W}\in \mathbb{R}^{d\times k}$是一个矩阵，它就被称“核”（全连接核／卷积核），而$\boldsymbol{w}_1,\boldsymbol{w}_2,\dots,\boldsymbol{w}_k\in \mathbb{R}^{d}$是该矩阵的各个列向量。

点击阅读全文...

L2正则是机器学习常用的一种防止过拟合的方法（应该也是一道经常遇到的面试题）。简单来说，它就是希望权重的模长尽可能小一点，从而能抵御的扰动多一点，最终提高模型的泛化性能。但是读者可能也会发现，L2正则的表现通常没有理论上说的那么好，很多时候加了可能还有负作用。最近的一篇文章《Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations》从“权重尺度偏移”这个角度分析了L2正则的弊端，并提出了新的WEISSI正则项。整个分析过程颇有意思，在这里与大家分享一下。

相关内容

这一节中我们先简单回顾一下L2正则，然后介绍它与权重衰减的联系以及与之相关的AdamW优化器。

L2正则的理解

为什么要添加L2正则？这个问题可能有多个答案。有从Ridge回归角度回答的，有从贝叶斯推断角度回答的，这里给出从扰动敏感性的角度的理解。

点击阅读全文...

数联天地论坛中的watt5151朋友提出了这样的一个问题：

三角形的“六接圆”

如图，已知三角形ABC，如何做一个圆，它与三角形三边都相交，而且六个交点可以连成三条直径？

点击阅读全文...

淡白口蘑

达尔文的进化学说告诉我们，自然界总是在众多的生物中挑出最能够适应环境的物种，赋予它们更高的生存几率，久而久之，这些物种经过亿万年的“优胜劣汰”，进化成了今天的千奇百怪的生物。无疑，经过长期的选择，优良的形状会被累积下来，换句话讲，这些物种在某些环境适应能力方面已经达到最优或近乎最优的状态（又是一个极值问题了）。好，现在我们来考虑蘑菇。

蘑菇是一种真菌生物，一般生长在阴暗潮湿的环境中。喜欢湿润的它自然也不希望散失掉过多的水分，因此，它努力地调整自身的形状，使它的“失水”尽可能地少。假设单位面积的蘑菇的失水速度是一致的，那么问题就变成了使一个给定体积的立体表面积尽可能少的问题了。并且考虑到水平各向同性生长的问题，理想的蘑菇形状应该就是一个平面图形的旋转体。那么这个旋转体是什么呢？聪明的你是否想到了是一个球体（的一部分）呢？

点击阅读全文...