科学空间|Scientific Spaces

关于行星留的周期的计算，我们之前已经讨论过这个问题，利用的是微积分的方法。也许不少还没有高数基础的朋友会感到很头晕，因此在这里给出一个从几何方面讨论的推导。

关于留，很多人认为就是行星相对于地球的速度为0的时刻，其实这个说法稍欠准确，严格来讲应该要将速度改为“角速度”或“切向速度”（天文的切向就是指与视线方向垂直的方向）。实际的运动中，没有哪一瞬间行星相对于地球的运动速度是为0的。根据这句话，我们可以作出下面的图（依旧只考虑正圆运动）：

行星留-运动分析

点击阅读全文...

七月再次“农忙”，农村里要插秧了，播下种苗，等待再次收获的季节^_^

我一直觉得我的数学能力偏向于分析计算而不擅长于几何，纵使遇到几何问题，也是满脑子的解析几何做法，没有纯几何的美。而这几天为了加强数学竞赛题目的能力，我一直在看IMO的题目，并且企图独立做出一些题目，但都无果。我比较感兴趣的是不等式，我感觉一道简单的式子，不用太多的文字就可以讲清楚的题目非不等式莫属，但是IMO的不等式题实在高深，我还没有能够独立做出一道来（参考答案可以看懂，只是想不到思路），或许是我在努力追求统一的方法而不肯研究那些特定的技巧的原因吧。不料今天看了一下2001年IMO的几何题目，发现我可能将它做出来，于是研究了一会，最终很幸运地做了出来。虽然不是最简单的方法，但也与大家分享一下。

IMO-42-1

如图，O是锐角三角形ABC的外心，AP是三角形的垂线段，∠B-∠C不小于30°。证明∠BAC+∠BOP < 90°

点击阅读全文...

向量之间的运算有点积和叉积（Cross Product，向量积、外积），其中点积是比较简单的，而且很容易推广到高维；但是叉积不同，一般来说它只不过是三维空间中的东西。叉积的难以推广在于它的多重含义性，如果将向量及其叉积放到张量里边来看（这属于微分形式的内容），那么三维以上的向量叉积是不存在的；但是如果只是把叉积看成是“由两个向量生成第三个与其正交的向量”的工具的话，那么叉积也是可以高维推广的，而且推广的技巧非常巧妙，与三维空间的叉积也非常相似。

回顾三维空间

为了推广三维空间的叉积，首先回顾三维空间的叉积来源是有益的。叉积起源于四元数乘法，但是从目的性来讲，我们希望构造一个向量$\boldsymbol{w}=(w_1,w_2,w_3)$，使得它与已知的两个不共线的向量$\boldsymbol{u}=(u_1,u_2,u_3),\boldsymbol{v}=(v_1,v_2,v_3)$垂直（正交）。从普适性的角度来讲，我们还希望构造出来的向量没有任何“奇点”，为此，我们只用乘法构造。至于叉积的几何意义，则是后话，毕竟，先达到基本的目的再说。

点击阅读全文...

这也是我的期末论文之一...全文共17页，包括了四元数的构造方法，初等应用等。附录包括行列式与体积、三维旋转的描述等。使用LaTex进行写作（LaTex会让你爱上数学写作的）

几何的数与数的几何
――超复数的浅探究

摘要
今天，不论是数学还是物理的高维问题，都采用向量分析为基本工具，数学物理中难觅四元数的影子。然而在历史上，四元数的发展有着重要的意义。四元数（Quaternion）运算实际上是向量分析的“鼻祖”，向量点积和叉积的概念也首先出现在四元数的运算中，四元数的诞生还标记着非交换代数的开端。即使是现在，四元数还是计算机描述三维空间旋转问题最简单的工具。另外，作为复数的推广，四元数还为某些复数问题的一般化提供了思路。

本文把矩阵与几何适当地结合起来，利用矩阵行列式$\det (AB) =(\det A)(\det B)$这一性质得出了四元数以及更高维的超复数的生成规律，并讨论了它的一些性质以及它在描述旋转方面的应用。部分证明细节和不完善的思想放到了附录之中。

点击阅读全文...

在查找量子化有关资料的时候，笔者查找到了一系列名为《漫谈几何量子化》的文章，并进一步查询得知，作者为季候风，原来发表在繁星客栈（顺便提一下，繁星客栈是最早的理论物理论坛之一，现在已经不能发帖了，但是上面很多资料都弥足珍贵），据说这是除正则量子化和路径积分量子化外的第三种量子化方法。网上鲜有几何量子化的资料，更不用说是中文资料了，于是季候风前辈的这一十五篇文章便显得格外有意义了。

然而，虽然不少网站都转载了这系列文章，但是无一例外地，文章中的公式图片已经失效了，后来笔者在百度网盘那找到其中的十四篇pdf格式的（估计是网友在公式图片失效前保存下来的），笔者通过替换公式服务器的方式找回了第十五篇，把第十五篇也补充进去了。（见漫谈几何量子化（原文档）.zip）

虽然这样已经面前能够阅读了，但是总感觉美中不足，虽然笔者花了三天时间把文章重新用$\LaTeX$录入了，主要是把公式重新录入了，简单地排版了一下。现放出来与大家分享。

点击阅读全文...

对于复杂模型来说，参数的初始化显得尤为重要。糟糕的初始化，很多时候已经不单是模型效果变差的问题了，还更有可能是模型根本训练不动或者不收敛。在深度学习中常见的自适应初始化策略是Xavier初始化，它是从正态分布$\mathcal{N}\left(0,\frac{2}{fan_{in} + fan_{out}}\right)$中随机采样而构成的初始权重，其中$fan_{in}$是输入的维度而$fan_{out}$是输出的维度。其他初始化策略基本上也类似，只不过假设有所不同，导致最终形式略有差别。

标准的初始化策略的推导是基于概率统计的，大概的思路是假设输入数据的均值为0、方差为1，然后期望输出数据也保持均值为0、方差为1，然后推导出初始变换应该满足的均值和方差条件。这个过程理论上没啥问题，但在笔者看来依然不够直观，而且推导过程的假设有点多。本文则希望能从几何视角来理解模型的初始化方法，给出一个更直观的推导过程。

信手拈来的正交

前者时间笔者写了《n维空间下两个随机向量的夹角分布》，其中的一个推论是

推论1： 高维空间中的任意两个随机向量几乎都是垂直的。

点击阅读全文...

前段时间公司组织技术分享，轮到笔者时，大家希望我讲讲VAE。鉴于之前笔者也写过变分自编码器系列，所以对笔者来说应该也不是特别难的事情，因此就答应了下来，后来仔细一想才觉得犯难：怎么讲才好呢？

变分自编码器示意图

对于VAE来说，之前笔者有两篇比较系统的介绍：《变分自编码器（一）：原来是这么一回事》和《变分自编码器（二）：从贝叶斯观点出发》。后者是纯概率推导，对于不做理论研究的人来说其实没什么意义，也不一定能看得懂；前者虽然显浅一点，但也不妥，因为它是从生成模型的角度来讲的，并没有说清楚“为什么需要VAE”（说白了，VAE可以带来生成模型，但是VAE并不一定就为了生成模型），整体风格也不是特别友好。

笔者想了想，对于大多数不了解但是想用VAE的读者来说，他们应该只希望大概了解VAE的形式，然后想要知道“VAE有什么作用”、“VAE相比AE有什么区别”、“什么场景下需要VAE”等问题的答案，对于这种需求，上面两篇文章都无法很好地满足。于是笔者尝试构思了VAE的一种几何图景，试图从几何角度来描绘VAE的关键特性，在此也跟大家分享一下。

点击阅读全文...

这篇文章介绍一个发表在NeurIPS 2019的做词向量和句向量的模型JoSE（Joint Spherical Embedding），论文名字是《Spherical Text Embedding》。JoSE模型思想上和方法上传承自Doc2Vec，评测结果更加漂亮，但写作有点故弄玄虚之感。不过笔者决定写这篇文章，是因为觉得里边的某些分析过程有点意思，可能会对一般的优化问题都有些参考价值。

优化目标

在思想上，这篇文章基本上跟Doc2Vec是一致的：为了训练句向量，把句子用一个id表示，然后把它也当作一个词，跟句内所有的词都共现，最后训练一个Skip Gram模型，训练的方式都是基于负采样的。跟Doc2Vec不一样的是，JoSE将全体向量的模长都归一化了（也就是只考虑单位球面上的向量），然后训练目标没有用交叉熵，而是用hinge loss：
\begin{equation}\max(0, m - \cos(\boldsymbol{u}, \boldsymbol{v}) - \cos(\boldsymbol{u}, \boldsymbol{d}) + \cos(\boldsymbol{u}', \boldsymbol{v}) + \cos(\boldsymbol{u}', \boldsymbol{d})\label{eq:loss}\end{equation}

点击阅读全文...