科学空间|Scientific Spaces

实变函数中有一个勒贝格控制收敛定理，一般认为它是判断积分和取极限可交换的很好用的方法。勒贝格控制收敛定理是说，如果定义在集合$E$上的函数列$\left\{f_n(x)\right\}$满足$|f_n(x)|\leq F(x)$，而$F(x)$在$E$上可积，那么积分和取极限就可以交换，即
$$\lim_{n\to\infty}\left(\int_E f_n (x)dx\right)=\int_E \left(\lim_{n\to\infty}f_n (x)\right)dx$$
本文不打算谈该定理的证明，只是谈谈该定理的应用相关的话题。首先，请有兴趣的读者，做做以下题目：
$$\lim_{n\to\infty}\left(\int_0^1 \frac{n^2 x}{1+n^4 x^4}dx\right)$$

点击阅读全文...

对于任意的素数$p$，集合$\mathbb{Z}_p=\{0,1,2,\dots,p-1\}$在模$p$的加法和乘法之下，构成一个域，这是学过抽象代数或者初等数论的读者都会知道的一个事实。其中，根据域的定义，$\mathbb{Z}_p$首先要在模$p$的加法下成为一个交换群，而且由于$\mathbb{Z}_p$的特殊性，它还是一个循环群，这也是比较平凡的事实。但是，考虑乘法呢？

首先，$0$是没有逆元的，我们考虑乘法，是在$\mathbb{Z}^\cdot _p=\mathbb{Z}_p \verb|\| \{0\}=\{1,2,\dots,p-1\}$上考虑的。如果我说，$\mathbb{Z}^\cdot _p$在模$p$之下的乘法也作成一个循环群，这结论就不是很平凡的了！然而这确实是事实，对于所有的素数$p$均成立。而有了这事实，数论中的一些结论就会相当显然了，比如当$d\mid (p-1)$时，$\mathbb{Z}_p$中的$d$次剩余就只有$\frac{p-1}{d}$个了，这是循环群的基本结论。

在《数学天书中的证明》一书中，有该结论的一个证明，但这个证明是存在性的，而我在另外一本书上也看到过类似的存在性证明，也就是说，似乎流行的证明都是存在性的，它告诉我们$\mathbb{Z}^\cdot _p$是一个循环群，但是没告诉我们怎么找到它的生成元。而事实上，高斯在他的《算术探索》中就给出了一个构造性的证明。（在数论中，本文的结论是“原根”那一章的基本知识。）下面笔者正是要重复高斯的证明，供读者参考。

点击阅读全文...

欧几里得

本文的主题是平行线，了解数学的朋友可能会想我会写有关非欧几何的内容。但这次不是，本文的内容纯粹是我们从小就开始学习的欧氏几何，基于“欧几里得第五公设”（又称平行公设）。但即便是从小就学习的欧氏几何中的平行线，也许里边的很多问题我们都没有思考清楚。因为平行是几何中非常基本的情形，因此，在讨论这种基本命题的时候，相当容易会出现循环论证、甚至本末倒置的情况。

我们从初中开始就被灌输“同位角相等，两直线平行”、“内错角相等，两直线平行”之类的平行线判断法则，当然，还少不了的是“过直线外一点只能作一条直线与已知直线平行”。但是，这些内容之中，有多少是基本的公理，有多少是可以证明的，该如何证明，我想很多人都理解不清楚，我自己也没有一个很好的答案。那些在初中教授平行线的老师们，估计也没多少个能够把它说清楚的。后来我发现，我居然不会证明“同位角相等，两直线平行”，“欧几里得第五公设”好像并没有告诉我们这个判定法则呀。于是，我翻看了一下初中的数学教科书，发现原来当初“同位角相等，两直线平行”这一判定法则是不加证明地让我们接受的，无怪乎我怎么也想不到关于这一法则的简单的证明...

于是，我想写这篇文章，为大家理解平行线的整个逻辑提供一点参考。

点击阅读全文...

本文要研究的是关于$t$的函数
$$\exp\left(\frac{1}{2}t^2+xt\right)$$
在$t=0$处的泰勒展开式。显然，它并不困难，手算或者软件都可以做出来，答案是：
$$1+x t+\frac{1}{2} \left(x^2+1\right) t^2+\frac{1}{6}\left(x^3+3 x\right) t^3 +\frac{1}{24} \left(x^4+6 x^2+3\right) t^4 + \dots$$
不过，本文将会给出笔者构造的该级数的一个图解方法。通过这个图解方法比较比较直观而方便地手算出展开式的前面一些项。后面我们再来谈谈这种图解技术的起源以及进一步的应用。

级数的图解方法：说明

首先，很明显要写出这个级数，关键是写出展开式的每一项，也就是要求出
$$f_k (x) = \left.\frac{d^k}{dt^k}\exp\left(\frac{1}{2}t^2+xt\right)\right|_{t=0}$$
$f_k (x)$是一个关于$x$的$k$次整系数多项式，$k$是展开式的阶，也是求导的阶数。

这里，我们用一个“点”表示一个$x$，用“两点之间的一条直线”表示“相乘”，那么，$x^2$就可以表示成

x^2项

点击阅读全文...

熵的概念

作为一名物理爱好者，我一直对统计力学中“熵”这个概念感到神秘和好奇。因此，当我接触数据科学的时候，我也对最大熵模型产生了浓厚的兴趣。

熵是什么？在通俗的介绍中，熵一般有两种解释：（1）熵是不确定性的度量；（2）熵是信息的度量。看上去说的不是一回事，其实它们说的就是同一个意思。首先，熵是不确定性的度量，它衡量着我们对某个事物的“无知程度”。熵为什么又是信息的度量呢？既然熵代表了我们对事物的无知，那么当我们从“无知”到“完全认识”这个过程中，就会获得一定的信息量，我们开始越无知，那么到达“完全认识”时，获得的信息量就越大，因此，作为不确定性的度量的熵，也可以看作是信息的度量，说准确点，是我们能从中获得的最大的信息量。

点击阅读全文...

上集回顾

在第一篇中，笔者介绍了“熵”这个概念，以及它的一些来龙去脉。熵的公式为
$$S=-\sum_x p(x)\log p(x)\tag{1}$$
或
$$S=-\int p(x)\log p(x) dx\tag{2}$$
并且在第一篇中，我们知道熵既代表了不确定性，又代表了信息量，事实上它们是同一个概念。

说完了熵这个概念，接下来要说的是“最大熵原理”。最大熵原理告诉我们，当我们想要得到一个随机事件的概率分布时，如果没有足够的信息能够完全确定这个概率分布（可能是不能确定什么分布，也可能是知道分布的类型，但是还有若干个参数没确定），那么最为“保险”的方案是选择使得熵最大的分布。

最大熵原理

承认我们的无知

很多文章在介绍最大熵原理的时候，会引用一句著名的句子——“不要把鸡蛋放在同一个篮子里”——来通俗地解释这个原理。然而，笔者窃以为这句话并没有抓住要点，并不能很好地体现最大熵原理的要义。笔者认为，对最大熵原理更恰当的解释是：承认我们的无知！

点击阅读全文...

上集回顾

在上一篇文章中，笔者分享了自己对最大熵原理的认识，包括最大熵原理的意义、最大熵原理的求解以及一些简单而常见的最大熵原理的应用。在上一篇的文末，我们还通过最大熵原理得到了正态分布，以此来说明最大熵原理的深刻内涵和广泛意义。

本文中，笔者将介绍基于最大熵原理的模型——最大熵模型。本文以有监督的分类问题来介绍最大熵模型，所谓有监督，就是基于已经标签好的数据进行的。

事实上，第二篇文章的最大熵原理才是主要的，最大熵模型，实质上只是最大熵原理的一个延伸，或者说应用。

最大熵模型

分类：意味着什么？

在引入最大熵模型之前，我们先来多扯一点东西，谈谈分类问题意味着什么。假设我们有一批标签好的数据：
$$\begin{array}{c|cccccccc}
\hline
\text{数据}x & 1 & 2 & 3 & 4 & 5 & 6 & \dots & 100 \\
\hline
\text{标签}y & 1 & 0 & 1 & 0 & 1 & 0 & \dots & 0\\
\hline \end{array}$$

点击阅读全文...

学过实变函数的朋友，总会知道有个叫勒贝格积分的东西，号称是黎曼积分的改进版。虽然“实变函数学十遍，泛函分析心泛寒”，在学习实变函数的时候，我们通常都是云里雾里的，不过到最后，在老师的“灌溉”之下，也就耳濡目染了知道了一些结论，比如“黎曼可积的函数（在有限区间），也是勒贝格可积的”，说白了，就是“勒贝格积分比黎曼积分强”。那么，问题来了，究竟强在哪儿？为什么会强？

黎曼

勒贝格

这个问题，笔者在学习实变函数的时候并没有弄懂，后来也一直搁着，直到最近认真看了《重温微积分》之后，才有了些感觉。顺便说，齐民友老师的《重温微积分》真的很赞，值得一看。

本是同根生，相煎何太急？

点击阅读全文...