科学空间|Scientific Spaces

在上一些关于限制性三体问题的探讨中，我们得出了在平面上的方程：
$$\ddot{R}+2i\omega \dot{R}=\omega^2 R-GM\frac{R-l_1}{|R-l_1|^3}-Gm\frac{R-l_2}{|R-l_2|^3}\tag{32}$$
能量积分为：
$$\frac{1}{2}|\dot{R}|^2=\frac{1}{2} \omega^2 |R|^2+\frac{GM}{|R-l_1|}+\frac{Gm}{|R-l_2|}-C\tag{33}$$
下面就以这两个方程为基础，再说说限制性三体问题的那些事儿...

点击阅读全文...

笔者很少会谈到定义性的东西，原因很简单，因为我也不见得会比大家清楚，或者说也未必比大家所知道的准确。不过，刚刚与同好讨论过与质量相关的问题，就跟大家分享一下。

最初的问题是能量能不能转化为物质，我觉得根据$E=mc^2$，是显然可以的，例子嘛，我首先想到在量子场论中的真空是会不断产生和湮灭正负电子对的，因此这可以作为一个证据。但是这个感觉上太遥远了，所以我在互联网搜索了一下，不过搜到的内容大同小异：

当辐射光子能量足够高时，在它从原子核旁边经过时，在核库仑场作用下，辐射光子可能转化成一个正电子和一个负电子，这种过程称作电子对效应。
（正负电子对效应）

点击阅读全文...

上一篇文章讲的是基于词典和AC自动机的快速分词。基于词典的分词有一个明显的优点，就是便于维护，容易适应领域。如果迁移到新的领域，那么只需要添加对应的领域新词，就可以实现较好地分词。当然，好的、适应领域的词典是否容易获得，这还得具体情况具体分析。本文要讨论的就是新词发现这一部分的内容。

这部分内容在去年的文章《新词发现的信息熵方法与实现》已经讨论过了，算法是来源于matrix67的文章《互联网时代的社会语言学：基于SNS的文本数据挖掘》。在那篇文章中，主要利用了三个指标——频数、凝固度（取对数之后就是我们所说的互信息熵）、自由度（边界熵）——来判断一个片段是否成词。如果真的动手去实现过这个算法的话，那么会发现有一系列的难度。首先，为了得到$n$字词，就需要找出$1\sim n$字的切片，然后分别做计算，这对于$n$比较大时，是件痛苦的时间；其次，最最痛苦的事情是边界熵的计算，边界熵要对每一个片段就行分组统计，然后再计算，这个工作量的很大的。本文提供了一种方案，可以使得新词发现的计算量大大降低。

点击阅读全文...

如果依次阅读该系列文章的读者，就会发现这个系列共提供了两种从0到1的无监督分词方案，第一种就是《【中文分词系列】 2. 基于切分的新词发现》，利用相邻字凝固度（互信息）来做构建词库（有了词库，就可以用词典法分词）；另外一种是《【中文分词系列】 5. 基于语言模型的无监督分词》，后者基本上可以说是提供了一种完整的独立于其它文献的无监督分词方法。

但总的来看，总感觉前面一种很快很爽，却又显得粗糙；后面一种很好很强大，却又显得太过复杂（viterbi是瓶颈之一）。有没有可能在两者之间折中一下？这就导致了本文的结果，达到了速度与效果的平衡。至于为什么说“更好”？因为笔者研究词库构建也有一段时间了，以往构建的词库总不能让人（让自己）满意，生成的词库一眼看上去，都能够扫到不少不合理的地方，真的要用得需要经过较多的人工筛选。而这一次，一次性生成的词库，一眼扫过去，不合理的地方少了很多，如果不细看，可能就发现不了了。

分词的目的

点击阅读全文...

写在前面

在《理解黎曼几何》系列，笔者分享了一些黎曼几何的“几何”心得，同时遗留了一个问题：怎么真正地去算黎曼张量？MTW的《引力论》中提到了一种基于外微分的方法，可是我不熟悉外微分，遂学习了一番。确实，是《引力论》中快捷计算曲率张量的步骤让笔者决定深入了解外微分的。果然，可观的效益是第一推动力。

这系列文章主要分享一些外微分的学习心得，曾经过多次修改和完善，包含的内容很多，比如外积、活动标架、外微分及其在黎曼几何的一些应用等，最后包括一种计算曲率的有效方式。

符号说明：在本系列中，用粗体的字母表示向量、矩阵以及基底，用普通字母来表示标量，它有可能是一个标量函数，也有可能是向量的分量，如无说明，则用$n$表示空间（流形）的维度。本文中同样使用了爱因斯坦求和法则，即相同的上下指标表示$1\sim n$遍历求和，即$\alpha_{\mu}\beta^{\mu}=\sum_{\mu=1}^{n} \alpha_{\mu}\beta^{\mu}$，习惯上将下标写在前面，比如$\alpha_{\mu}\beta^{\mu}$事实上跟$\beta^{\mu}\alpha_{\mu}$等价，但习惯写成前者。常用的一些记号是：$\mu,\nu$表示分量指标，$x^{\mu}$表示点的坐标分量，$dx^{\mu}$表示切向量（微元）的分量，$\alpha,\beta,\omega$等希腊字母也常用来表示微分形式。符号的使用有重复的地方，但符号的意义基本都在符号出现的附近有说明，因此应该不至于混淆。

最后，就是笔者其实对外微分还不是特别有感觉，因此文章中可能出现谬误之处，请读者见谅并指出。本系列命名为“外微分浅谈”，不是谦虚，确实是很浅，认识得浅，说的也很浅～

点击阅读全文...

大概在1年前，我们提出了旋转位置编码（RoPE），并发布了对应的预训练模型RoFormer。随着时间的推移，RoFormer非常幸运地得到了越来越多的关注和认可，比如EleutherAI新发布的60亿和200亿参数的GPT模型中就用上了RoPE位置编码，Google新提出的FLASH模型论文中则明确指出了RoPE对Transformer效果有明显的提升作用。

与此同时，我们也一直在尝试继续加强RoFormer模型，试图让RoFormer的性能“更上一层楼”。经过近半年的努力，我们自认为取得了还不错的成果，因此将其作为“RoFormerV2”正式发布：

Github：https://github.com/ZhuiyiTechnology/roformer-v2

点击阅读全文...

上集回顾

在上一篇文章中，笔者分享了自己对最大熵原理的认识，包括最大熵原理的意义、最大熵原理的求解以及一些简单而常见的最大熵原理的应用。在上一篇的文末，我们还通过最大熵原理得到了正态分布，以此来说明最大熵原理的深刻内涵和广泛意义。

本文中，笔者将介绍基于最大熵原理的模型——最大熵模型。本文以有监督的分类问题来介绍最大熵模型，所谓有监督，就是基于已经标签好的数据进行的。

事实上，第二篇文章的最大熵原理才是主要的，最大熵模型，实质上只是最大熵原理的一个延伸，或者说应用。

最大熵模型

分类：意味着什么？

在引入最大熵模型之前，我们先来多扯一点东西，谈谈分类问题意味着什么。假设我们有一批标签好的数据：
$$\begin{array}{c|cccccccc}
\hline
\text{数据}x & 1 & 2 & 3 & 4 & 5 & 6 & \dots & 100 \\
\hline
\text{标签}y & 1 & 0 & 1 & 0 & 1 & 0 & \dots & 0\\
\hline \end{array}$$

点击阅读全文...

过去虽然没有细看，但印象里一直觉得变分自编码器（Variational Auto-Encoder，VAE）是个好东西。于是趁着最近看概率图模型的三分钟热度，我决定也争取把VAE搞懂。于是乎照样翻了网上很多资料，无一例外发现都很含糊，主要的感觉是公式写了一大通，还是迷迷糊糊的，最后好不容易觉得看懂了，再去看看实现的代码，又感觉实现代码跟理论完全不是一回事啊。

终于，东拼西凑再加上我这段时间对概率模型的一些积累，并反复对比原论文《Auto-Encoding Variational Bayes》，最后我觉得我应该是想明白了。其实真正的VAE，跟很多教程说的的还真不大一样，很多教程写了一大通，都没有把模型的要点写出来～于是写了这篇东西，希望通过下面的文字，能把VAE初步讲清楚。

分布变换

通常我们会拿VAE跟GAN比较，的确，它们两个的目标基本是一致的——希望构建一个从隐变量$Z$生成目标数据$X$的模型，但是实现上有所不同。更准确地讲，它们是假设了$Z$服从某些常见的分布（比如正态分布或均匀分布），然后希望训练一个模型$X=g(Z)$，这个模型能够将原来的概率分布映射到训练集的概率分布，也就是说，它们的目的都是进行分布之间的变换。

生成模型的难题就是判断生成分布与真实分布的相似度，因为我们只知道两者的采样结果，不知道它们的分布表达式

点击阅读全文...