7 Feb

你的CRF层的学习率可能不够大

CRF是做序列标注的经典方法,它理论优雅,实际也很有效,如果还不了解CRF的读者欢迎阅读旧作《简明条件随机场CRF介绍(附带纯Keras实现)》。在BERT模型出来之后,也有不少工作探索了BERT+CRF用于序列标注任务的做法。然而,很多实验结果显示(比如论文《BERT Meets Chinese Word Segmentation》)不管是中文分词还是实体识别任务,相比于简单的BERT+Softmax,BERT+CRF似乎并没有带来什么提升,这跟传统的BiLSTM+CRF或CNN+CRF的模型表现并不一样。

基于CRF的4标签分词模型示意图

基于CRF的4标签分词模型示意图

这两天给bert4keras增加了用CRF做中文分词的例子(task_sequence_labeling_cws_crf.py),在调试过程中发现了CRF层可能存在学习不充分的问题,进一步做了几个对比实验,结果显示这可能是CRF在BERT中没什么提升的主要原因,遂在此记录一下分析过程,与大家分享。

点击阅读全文...

9 Jan

精确自由落体运动定律的讨论(二)

跳伞过程中的自由落体阶段.jpg

之前在这篇文章中,我们使用过一个牛顿引力场中的自由落体公式:
$t=\sqrt{\frac{r_0}{2GM}}{r_0 \cdot arctg \sqrt{\frac{r_0 -r}{r}}+\sqrt{r(r_0 -r)}}$——(1)

我们来尝试一下推导出这个公式来。同时,站长在逐渐深入研究的过程中,发现微分方程极其重要。以前一些我认为不可能解决的问题,都用微分方程逐渐解决了。在以后的文章里,我们将会继续体验到微分方程的伟大魔力!因此,建议各位有志研究物理学的朋友,一定要掌握微分方程,更加深入的,需要用到偏微分方程!

首先,质量为m的物理在距离地心r处的引力为$\frac{GMm}{r^2}$,根据牛顿第二定律F=ma,自然下落的物体所获得的加速度为$\frac{GM}{r^2}$。假设物体从距离地心r开始向地心自由下落,求位移s关于t的函数s=s(t).

点击阅读全文...

20 Dec

【空间天文网】2010年天文月历

这是兄弟网站“空间天文网”原创作品,上面还尽可能详细的标注了与日期对应的天象。精挑细选了6张高质量的天文风光摄影作品。可以作为电脑桌面,也可以打印出来,能够使您在视觉享受的同时了解近期的天象信息 在此对“空间天文网”站长表示无限感谢^_^!。

请移步“科学空间相册”阅览:http://album.spaces.ac.cn/?id=20_1

26 Dec

精确自由落体运动定律的讨论

比萨斜塔.jpg

在初中或高中,自由落体试验简单地用这个公式来描述出来:
$$s=1/2 g t^2$$
其中$g=9.8m//s^2$,等于1kg物体在地球表面所受的重力。
但是这个公式很明显有一个问题,就是实际上在地球,g不是恒定的,会随着距离(即海拔高度)的变化而变化,上述公式能够在一定范围内描述自然落体运动。但是当距离很大时,公式便失效了。

点击阅读全文...

23 Jan

《积分公式大全》电子书

注:2019.02.13 由科学空间苏剑林(https://kexue.fm)更新,修正公式76,并简化latex。

物理、天文研究得深入了,微积分的应用自然也就多了(其实很多内容都用到微积分)。所以弄出一个几何或者力学问题,随手就列出一道积分或者微分方程,这时求解是最重要的。对于我来说,求导数可以娓娓道来,轻松而得;而积分则比较困难(这与个人的技巧有关,更重要的是事实:导数几乎有通用的公式,而积分只能“凑”出来)。

因此,很多积分干脆依靠现成的公式,懒得去推导了。然后,并非随时随地都有《数学分析》在手的,对计算机数学软件的实用又不大熟悉,这时候只能够求助这一本《积分表》了。只要不是故意去钻那些竞赛级别的数学难题,这已经足够应付物理等方面的应用了。

这时候就这也不用愁到处找$\int \sqrt{a^2-x^2}dx$的结果了。

点击阅读全文...

26 Jan

《巨眼问苍穹》:讲述望远镜的400年

eyes_on_the_skies

eyes_on_the_skies

《巨眼问苍穹》是国际天文学联合会推出的庆祝望远镜400周年的书籍和电影,也是2009年美狄亚评委会特别奖获奖片

这部影片具有多个名称,其中中文名译为《巨眼问苍穹》、《望远镜的400年》或者《400年的故事-望远镜》等,英文名为《400 Years Of Telescope》,但也发现名为《Eyes On The Skies》的称呼。也不知道哪个更准确一点,不管他了,内容实质是一样的。片长60分钟,有英文、德文和中文配音,并有33种语言的字幕。目前已有30万个DVD免费分发到科学中心、天文馆、天文爱好者俱乐部的教育机构。该书132页,有英文,德文,芬兰文,韩文、日文和中文等多种语言(书籍站长还没有看过,影片就看了一下)。

点击阅读全文...

31 Jan

【NASA每日一图】神秘的Voynich(伏尼契)手稿

图片说明:神秘的Voynich(伏尼契)手稿,版权:Yale University&B. E. Schaefer (LSU)

图片说明:神秘的Voynich(伏尼契)手稿,版权:Yale University&B. E. Schaefer (LSU)

点击阅读全文...

31 Jan

星座计划“破产”,重返月球搁浅

法新社报道说,一名不愿意透露姓名的白宫顾问说,“(重返月球的)星座计划已经死亡。”

新一代探月飞行器假想图

新一代探月飞行器假想图

28日,美国官员透露,布什政府于2004年通过的、计划耗资高达2300亿美元的“重返月球”计划实际上已经被美国总统奥巴马搁浅了。相反,奥巴马在未来五年将向美国国家航空航天局(NASA)拨款59亿美元,其中一部分将用于延长国际太空站的使用寿命至2020年,另外还将用于在航天飞机退役后,鼓励私人公司研制航天器来向空间站运送宇航员。随着“重返月球”计划的终结,新一代“土星”系列火箭、登月飞船、月球车等一系列相关设备的研制计划也将终止,可以在很大程度上减轻美国政府的财政压力。

点击阅读全文...