科学空间|Scientific Spaces

在这篇文章中，我们将探讨一个被称为“梯度流（Gradient Flow）”的概念。简单来说，梯度流是将我们在用梯度下降法中寻找最小值的过程中的各个点连接起来，形成一条随（虚拟的）时间变化的轨迹，这条轨迹便被称作“梯度流”。在文章的后半部分，我们将重点讨论如何将梯度流的概念扩展到概率空间，从而形成“Wasserstein梯度流”，为我们理解连续性方程、Fokker-Planck方程等内容提供一个新的视角。

梯度下降

假设我们想搜索光滑函数$f(\boldsymbol{x})$的最小值，常见的方案是梯度下降（Gradient Descent），即按照如下格式进行迭代：
\begin{equation}\boldsymbol{x}_{t+1} = \boldsymbol{x}_t -\alpha \nabla_{\boldsymbol{x}_t}f(\boldsymbol{x}_t)\label{eq:gd-d}\end{equation}
如果$f(\boldsymbol{x})$关于$\boldsymbol{x}$是凸的，那么梯度下降通常能够找到最小值点；相反，则通常只能收敛到一个“驻点”——即梯度为0的点，比较理想的情况下能收敛到一个极小值（局部最小值）点。这里没有对极小值和最小值做严格区分，因为在深度学习中，即便是收敛到一个极小值点也是很难得的了。

点击阅读全文...

在大学第二学期，我们的《数学分析》终于龟速地爬行到了定积分这一章节。对于一些比较复杂的定积分，我总想用自己的方法来解决它，这就重新燃起了我对“费曼积分法——积分符号内取微分”的热情。尤其是我用费曼积分法解决了几道比较有趣复杂的定积分问题时，成就感高涨，遂在此总结，与大家共勉。

这和欧拉数学有什么关系呢？之前已经提到过，欧拉数学是用一种不严谨却极具创造性的方式，给予我们对数学的介乎感性和理性的直观理解。我觉得费曼积分法也属于这个范畴内，它着眼于用一种特殊的视角解决问题，而暂时忽略掉数学严密性。在读费曼的故事中，我感觉到这种思想是贯穿他一生的研究之中的。

本文继续对费曼积分法的研究，得出一些不是很严谨的结论，为以后的应用奠下基础。

一、不成立的函数

首先我们重新考虑$\int_0^{\infty} \frac{\sin x}{x}dx$。这一次我们将它引入复数范畴内，考虑：
$$\int_0^{\infty}\frac{\cos x+i \sin x}{x}dx=\int_0^{\infty}\frac{e^{ix}}{x}dx$$

点击阅读全文...