3 Apr

P-tuning:自动构建模版,释放语言模型潜能

在之前的文章《必须要GPT3吗?不,BERT的MLM模型也能小样本学习》中,我们介绍了一种名为Pattern-Exploiting Training(PET)的方法,它通过人工构建的模版与BERT的MLM模型结合,能够起到非常好的零样本、小样本乃至半监督学习效果,而且该思路比较优雅漂亮,因为它将预训练任务和下游任务统一起来了。然而,人工构建这样的模版有时候也是比较困难的,而且不同的模版效果差别也很大,如果能够通过少量样本来自动构建模版,也是非常有价值的。

P-tuning直接使用[unused]来构建模版,不关心模版的自然语言性

P-tuning直接使用[unused]来构建模版,不关心模版的自然语言性

最近Arxiv上的论文《GPT Understands, Too》提出了名为P-tuning的方法,成功地实现了模版的自动构建。不仅如此,借助P-tuning,GPT在SuperGLUE上的成绩首次超过了同等级别的BERT模型,这颠覆了一直以来“GPT不擅长NLU”的结论,也是该论文命名的缘由。

点击阅读全文...

26 Jul

一道自然数的数学题

感觉题目有点像抽屉原理,不过似乎复杂一点:

有12个互不相等的自然数,它们均小于37,求证:这些自然数两两相减的差中,至少有3个相等

我的解答:

点击阅读全文...

9 Jan

精确自由落体运动定律的讨论(二)

跳伞过程中的自由落体阶段.jpg

之前在这篇文章中,我们使用过一个牛顿引力场中的自由落体公式:
$t=\sqrt{\frac{r_0}{2GM}}{r_0 \cdot arctg \sqrt{\frac{r_0 -r}{r}}+\sqrt{r(r_0 -r)}}$——(1)

我们来尝试一下推导出这个公式来。同时,站长在逐渐深入研究的过程中,发现微分方程极其重要。以前一些我认为不可能解决的问题,都用微分方程逐渐解决了。在以后的文章里,我们将会继续体验到微分方程的伟大魔力!因此,建议各位有志研究物理学的朋友,一定要掌握微分方程,更加深入的,需要用到偏微分方程!

首先,质量为m的物理在距离地心r处的引力为$\frac{GMm}{r^2}$,根据牛顿第二定律F=ma,自然下落的物体所获得的加速度为$\frac{GM}{r^2}$。假设物体从距离地心r开始向地心自由下落,求位移s关于t的函数s=s(t).

点击阅读全文...

26 Dec

精确自由落体运动定律的讨论

比萨斜塔.jpg

在初中或高中,自由落体试验简单地用这个公式来描述出来:
$$s=1/2 g t^2$$
其中$g=9.8m//s^2$,等于1kg物体在地球表面所受的重力。
但是这个公式很明显有一个问题,就是实际上在地球,g不是恒定的,会随着距离(即海拔高度)的变化而变化,上述公式能够在一定范围内描述自然落体运动。但是当距离很大时,公式便失效了。

点击阅读全文...

4 Apr

关于自由落体公式的简单修正

自由落体公式-示意图

自由落体公式-示意图

自由落体的一般定义是:只考虑吸引天体和被吸引天体的引力因素,忽略其他的运动和大气摩擦等因素,物体从静止(相对于吸引天体)开始接近吸引天体的运动。根据这个定义,假设地球为一个均匀球体,半径为r,质量为M,物体从距离地表h高度处自由落下。求落到地面的时间t,或者根据时间t求h。

令s为t时刻物体左右下落的物体与地表的距离,忽略物体的小质量,那么可以列出微分方程:
$$\frac{d^2 s}{dt^2}=-\frac{GM}{(r+s)^2}\tag{1}$$并且初始条件是$t=0,s=h,\dot{s}=v=0$

在实际应用中,我们不必求出这道微分方程的精确解,因为这个解极其麻烦,在之前曾经讨论过。我们只需要求出一个有足够精确度的近似解就行。

点击阅读全文...

21 Feb

大自然的隐身术——保护色

草蜢

草蜢

保护色(Crypsis)和拟态现象都表现为与环境色彩相似,不易被识别,保护色表现为与环境色彩相似,这里的“环境色彩”应是环境中主要的占优势的色彩,如春夏的草坪是绿色,冬天的雪地是白色;拟态是与环境中某种生物或非生物相似,而这种生物或非生物的颜色等特征并不一定在环境中占优势,并非主要色彩,保护色则与运动状态基本无关,如枯叶蝶停息在树枝上的模样像枯叶,“停息”状态才像枯叶,一旦飞舞起来就不像了。而我们捕捉昆虫也许都有这种体验:有时看到昆虫由这里飞向另一个地方,但马上在另一个地方搜寻,却不能立即找到。

点击阅读全文...

27 Nov

《自然极值》系列——2.费马原理

物理学的美不仅仅表现在简洁的公式上。我们还惊奇地发现,很多物理现象都是按照使某个变量达到极值的方式发生。一个典型的例子就是费马原理,它指出了光的传播路径的一个重要规律:光总是沿着所花时间最短的路径传播。这里我们将简单介绍一下费马原理。

费马原理俗称“最快到达原理”、“最小时间原理”。1657年,费马提出:

从P点到达Q点,在所有可行的路径中,光选择了所需时间最短的一条。
从P点到达Q点,在所有可行的路径中,光选择了所需时间为极值的一条。

这是一个极其奇妙的原理,也是自然界中最神奇的极值之一。作为非生物的光,居然自主地选择了最优路径,成为世界上“效率最高”的东西,这让人不得不佩服宇宙的伟大。这究竟是造物者的精心设计,还是无心之作?

点击阅读全文...

28 Nov

《自然极值》系列——3.平衡态公理

黄果树大瀑布

黄果树大瀑布

光学定律无疑是一个美妙的原理,而自然界中还存在另外一个我们随处可见的“公理”。平时的生活中,我们总能看见“水往低处流”的现象,这是因为水处于地球重力场的结果(也正因为如此,某些轻生者的自杀活动才得以顺利进行;当然,我们并不需要为了验证这一点而亲自试验。)。由此我们可以联想到一个名词:重力势能。“水往低处流”意味着什么呢?高度变低了。高度更低意味着什么呢?重力势能降低了!换句话说,自然界中物体有趋于势能最低的倾向。我们可以从这个角度来解释:体系总有趋于稳定的倾向,而拥有的能量(势能)越高,则越不稳定。

点击阅读全文...