科学空间|Scientific Spaces

3、费曼图和量子电动力学的重整化

在1947年美国避难岛（Shelter Island)会议上，兰姆报导了他的重大发现，即现今所称的兰姆位移;氢原子的$2S_{\frac{1}{2}}$能级比$2P_{\frac{1}{2}}$高出约1000MHz。而按照狄拉克理论，对纯库仑相互作用的电子-质子系统，这两个能级应该是简并的。人们很快就认识到，该位移应归之于一阶近似的辐射校正[19]。贝特用一个电子的校正质量就非相对论近似得出了氢原子nS能级的位移公：

$$\frac{8}{3\pi}(\frac{e^2}{\hbar c})Ry \frac{Z^4}{n^3} Ln\frac{K}{ < E_n-E_m > _{AV}}$$

点击阅读全文...

本文希望用尽可能简短的语言把CRF（条件随机场，Conditional Random Field）的原理讲清楚，这里In A Nutshell在英文中其实有“导论”、“科普”等意思（霍金写过一本《果壳中的宇宙》，这里东施效颦一下）。

网上介绍CRF的文章，不管中文英文的，基本上都是先说一些概率图的概念，然后引入特征的指数公式，然后就说这是CRF。所谓“概率图”，只是一个形象理解的说法，然而如果原理上说不到点上，你说太多形象的比喻，反而让人糊里糊涂，以为你只是在装逼。（说到这里我又想怼一下了，求解神经网络，明明就是求一下梯度，然后迭代一下，这多好理解，偏偏还弄个装逼的名字叫“反向传播”，如果不说清楚它的本质是求导和迭代求解，一下子就说反向传播，有多少读者会懂？）

好了，废话说完了，来进入正题。

逐标签Softmax

CRF常见于序列标注相关的任务中。假如我们的模型输入为$Q$，输出目标是一个序列$a_1,a_2,\dots,a_n$，那么按照我们通常的建模逻辑，我们当然是希望目标序列的概率最大
$$P(a_1,a_2,\dots,a_n|Q)$$
不管用传统方法还是用深度学习方法，直接对完整的序列建模是比较艰难的，因此我们通常会使用一些假设来简化它，比如直接使用朴素假设，就得到
$$P(a_1,a_2,\dots,a_n|Q)=P(a_1|Q)P(a_2|Q)\dots P(a_n|Q)$$

点击阅读全文...

今天介绍一个有意思的LSTM变种：ON-LSTM，其中“ON”的全称是“Ordered Neurons”，即有序神经元，换句话说这种LSTM内部的神经元是经过特定排序的，从而能够表达更丰富的信息。ON-LSTM来自文章《Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks》，顾名思义，将神经元经过特定排序是为了将层级结构（树结构）整合到LSTM中去，从而允许LSTM能自动学习到层级结构信息。这篇论文还有另一个身份：ICLR 2019的两篇最佳论文之一，这表明在神经网络中融合层级结构（而不是纯粹简单地全向链接）是很多学者共同感兴趣的课题。

ON-LSTM运算流程示意图。主要是将分段函数用cumax光滑化变成可导。

笔者留意到ON-LSTM是因为机器之心的介绍，里边提到它除了提高了语言模型的效果之外，甚至还可以无监督地学习到句子的句法结构！正是这一点特性深深吸引了我，而它最近获得ICLR 2019最佳论文的认可，更是坚定了我要弄懂它的决心。认真研读、推导了差不多一星期之后，终于有点眉目了，遂写下此文。

在正式介绍ON-LSTM之后，我忍不住要先吐槽一下这篇文章实在是写得太差了，将一个明明很生动形象的设计，讲得异常晦涩难懂，其中的核心是$\tilde{f}_t$和$\tilde{i}_t$的定义，文中几乎没有任何铺垫就贴了出来，也没有多少诠释，开始的读了好几次仍然像天书一样...总之，文章写法实在不敢恭维～

点击阅读全文...

本文介绍一种神经网络的可视化方法：积分梯度（Integrated Gradients），它首先在论文《Gradients of Counterfactuals》中提出，后来《Axiomatic Attribution for Deep Networks》再次介绍了它，两篇论文作者都是一样的，内容也大体上相同，后一篇相对来说更易懂一些，如果要读原论文的话，建议大家优先读后一篇。当然，它已经是2016～2017年间的工作了，“新颖”说的是它思路上的创新有趣，而不是指最近发表。

笔者在中文情感分类上对积分梯度的实验效果（越红的token越重要）

所谓可视化，简单来说就是对于给定的输入$x$以及模型$F(x)$，我们想办法指出$x$的哪些分量对模型的决策有重要影响，或者说对$x$各个分量的重要性做个排序，用专业的话术来说那就是“归因”。一个朴素的思路是直接使用梯度$\nabla_x F(x)$来作为$x$各个分量的重要性指标，而积分梯度是对它的改进。然而，笔者认为，很多介绍积分梯度方法的文章（包括原论文），都过于“生硬”（形式化），没有很好地突出积分梯度能比朴素梯度更有效的本质原因。本文试图用自己的思路介绍一下积分梯度方法。

点击阅读全文...

也许不少同好已经在一些书籍上看到过这样的论述：

各向同性的薄球壳，其内部任意一点所受到来自球壳的引力为0。

这是一个很神奇的事情，因为这意味着这是一个均匀引力场，虽然我们在很多问题上都假设了引力场均匀，但是我们却很难知道如何构造一个真正的均匀引力场（而构造一个真正的均匀力场都分析某些问题是很有用的，例如推导一些比例系数），现在眼前就摆着一个均匀引力场了。并且利用它我们就可以计算均匀实心球内部一点所受到的引力（等于它与一个球体的引力）。而关于它的证明，当然也可以利用微积分的知识，可是我们在这里介绍一个初等的方法，相信它会使我们更加感受到物理的神奇和有趣。

点击阅读全文...

学过高中物理的同学都会知道，在经典力学和静电学理论中，万有引力和库仑力有着类似的性质，它们都与距离平方成反比。现在我从引力角度向大家提出一个问题：

一块密度均匀的无限大的平面板，它所产生的引力场是否均匀的？也就是说，板外任意一点的等质量物体受到的引力是否相同？

对于静电力也可以提出类似的问题，只要把引力换成库仑力，把质量换成电荷即可。只要类比有限的情况，我们就会得出结论：场一定是不均匀的！因为力与距离平方成反比，距离不同，受力就不等。果真如此吗？

点击阅读全文...

之前曾在《自然极值》系列文章中提到过均匀重力场下的悬链线形状问题，并且在那文章中向读者提出：在一个质点（地球）引力场中的悬链线形状会是怎么样的。说实话，提出这个问题的时候，我还不懂怎么解答这个问题，不过现在会了，回头一看，已经几个月了，时间过得真快...

与之前的思路一样，我们依旧采用的是“平衡态公理”，即总势能最小。从天体力学中我们知道，任意两个质点间的势能为$-\frac{Gm_1 m_2}{r}$。对于本题的悬链线问题，我们可以把地球放到坐标原点位置，而悬链的两个固定点分别为$(x_1,y_1)$和$(x_2,y_2)$，链的总长度为l。即
$$\int_{x_1}^{x_2} \sqrt{dx^2+dy^2}=l$$

点击阅读全文...

本博客的文章其实一定程度上反映了我在该时期的学习研究，所以我觉得写blog是一件很惬意的事情，它记录着我的成长历程。读者可能留意到，我上学期说对量子力学很感兴趣，也算是入了一点点门。这学期开学初表示对摄动理论方面的知识很感兴趣，也研究了一两个星期。再后来就将学习重点放在了相对论上面了。现在呢？我在学习朗道的《场论》，主要先学习电磁场（电动力学）。

有的读者可能比较无语：你怎么变来变去，学习不是贵在精而不在多吗？

点击阅读全文...