一维弹簧的运动(上)
By 苏剑林 | 2014-03-11 | 28401位读者 | 引用无监督分词和句法分析!原来BERT还可以这样用
By 苏剑林 | 2020-06-10 | 83712位读者 | 引用BERT的一般用法就是加载其预训练权重,再接一小部分新层,然后在下游任务上进行finetune,换句话说一般的用法都是有监督训练的。基于这个流程,我们可以做中文的分词、NER甚至句法分析,这些想必大家就算没做过也会有所听闻。但如果说直接从预训练的BERT(不finetune)就可以对句子进行分词,甚至析出其句法结构出来,那应该会让人感觉到意外和有趣了。
本文介绍ACL 2020的论文《Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT》,里边提供了直接利用Masked Language Model(MLM)来分析和解释BERT的思路,而利用这种思路,我们可以无监督地做到分词甚至句法分析。
路径积分系列:4.随机微分方程
By 苏剑林 | 2016-06-09 | 28901位读者 | 引用本章将路径积分用于随机微分方程,并且得到了与不对称随机游走一样的结果,从而证明了它与该模型的等价性.
将路径积分用于随机微分方程的研究,这一思路由来已久. 费曼在他的著作[5]中,已经建立了路径积分与线性随机微分方程的关系. 而对于非线性的情况,也有不少研究,但比较混乱,如文献[8]甚至给出了错误的结果.
本文从路径积分的离散化概念出发,明确地建立了两个路径积分微元的雅可比行列式关系,从而对非线性随机微分方程也建立了路径积分. 本文的结果跟文献[9]的结果是一致的.
概念
本文所研究的仅仅是随机常微分方程,它与一般的常微分方程的区别在于布朗运动项的引入,如常见的一类随机微分方程为
$$dx(t)=p(x(t),t)dt + \sqrt{\alpha} dW_t.\tag{48}$$
其中$W_t$代表着一个标准的布朗运动. 由于引入了随机项,所以解$x(t)$不再是确定的,而是有一定的概率分布.
在对随机微分方程中,感兴趣的量有很多,比如关于$x$的某个量的期望、方差,或者稳定性,等等. 随机微分方程领域中有各种分析的技巧,但是显然,直接求出$x(t)$的概率分布后对概率分布进行研究,是最理想最容易的方案. 路径积分正是给出了求概率分布的一个方法.
澳洲恐龙洞穴揭示气候变化
By 苏剑林 | 2009-07-14 | 26668位读者 | 引用科学家计划研制造云船对抗全球变暖(图)
By 苏剑林 | 2009-08-12 | 23595位读者 | 引用世界各国能否联手应对气候变化?
By 苏剑林 | 2009-08-18 | 24430位读者 | 引用纠缠的时空(一):洛仑兹变换的矩阵
By 苏剑林 | 2013-02-01 | 38461位读者 | 引用我现在是越来越佩服爱因斯坦了,他的相对论是他天才的思想的充分体现。只有当相对论提出之后,宏观物理的大多数现象和规律才得到了统一的描述。狭义相对论中爱因斯坦对我们速度叠加常识的否定已经显示了他莫大的勇气,而一项头脑风暴性的工作——广义相对论则将他惊人的创造力体现得完美无瑕。我是被量子力学的数学吸引的,于相对论则是被相对论美妙的逻辑体系吸引。当然,其中也有相当美妙的数学。
狭义相对论中的核心内容之一就是被称为洛仑兹变换的东西,这在相对论发表之前已经由洛仑兹推导出来了,只不过他不承认他的物理意义,也就没有就此进行一次物理革命,革命的任务则由爱因斯坦完成。很久前我就已经看过洛仑兹变换的推导,那是直接设一种线性关系来求解的。但是我总感觉那样的推导不够清晰(也许是我的理解方式有问题吧),而且没有说明狭义相对论的两条原理如何体现出现。所以在研究过矩阵之后,我就尝试用矩阵来推导洛仑兹变换,发现效果挺好的,而且我觉得能够体现出相对论中的对称性。
两条原理
1、狭义相对性原理:在所有惯性系中,物理定律有相同的表达形式。这是力学相对性原理的推广,它适用于一切物理定律,其本质是所有惯性系平权。
2、光速不变原理:所有惯性系中,真空中的光速都等于c=299 792 458 m/s,与光源运动无关。迈克耳孙-莫雷实验是其有力证明。
纠缠的时空(二):洛仑兹变换的矩阵(续)
By 苏剑林 | 2013-02-27 | 20122位读者 | 引用在上一篇文章中,我们以矩阵的方式推导出了洛仑兹变换。矩阵表述不仅仅具有形式上的美,还具有很重要的实用价值,比如可以很方便地寻找各种不变量。当洛仑兹变换用矩阵的方式表达出来后,很多线性代数中已知的理论都可以用在上边。在这篇小小的续集中,我们将尝试阐述这个思想。
本文中,继续设光速$c=1$。
我们已经得到了洛仑兹变换的矩阵形式:
\begin{equation}\left[\begin{array}{c} x\\t \end{array}\right]=\frac{1}{\sqrt{1-v^2}}\left[\begin{array}{c c}1 & v\\ v & 1 \end{array}\right]\left[\begin{array}{c}x'\\t' \end{array}\right]\end{equation}
最近评论