限于Blog的限制,想记录一下平时的心情和感悟,就去开通了一下新浪的“微博”。
用以前注册的bojone@sina.cn开通的,我的地址为:
http://t.sina.com.cn/bojone
欢迎大家也来注册交流,成为科学空间的Fans:
http://t.sina.com.cn/
两名美国经济学家同获2009年诺贝尔经济学奖
By 苏剑林 | 2009-10-13 | 18277位读者 | 引用绿色和平:工厂排污36计
By 苏剑林 | 2009-10-14 | 25552位读者 | 引用电影《宇宙之旅》(IMAX Cosmic Voyage)
By 苏剑林 | 2009-10-25 | 35774位读者 | 引用写在2009年终结之际...
By 苏剑林 | 2009-12-31 | 16307位读者 | 引用今天是2009年的最后一天了,再过4个小时,就要用上新的日历,写上新的一年了。
回过头来,才发现,其实我这一年里收获了很多,懂得了很多,成熟了很多...当然,也有犯了不少的错误。
这一年,我经历了许许多多的第一次:第一次外出、第一次...本来想详细列出一个“年终总结”来的,不过想了想,还是不要了。留在心底慢慢品味,慢慢懂得,慢慢长大...
感谢所有的人——包括亲人、朋友、老师,以及一切和我相关的人。不论是朋友,还是敌人;是伙伴,还是对手,他们都是我所需要的人。因为有他们,我的生活才能够更加有声有色!
美国科学家用3000幅照片拼接夜空全景
By 苏剑林 | 2009-11-03 | 18668位读者 | 引用首次报名参加天文竞赛,期待中...
By 苏剑林 | 2009-11-15 | 17168位读者 | 引用你的CRF层的学习率可能不够大
By 苏剑林 | 2020-02-07 | 116337位读者 | 引用CRF是做序列标注的经典方法,它理论优雅,实际也很有效,如果还不了解CRF的读者欢迎阅读旧作《简明条件随机场CRF介绍(附带纯Keras实现)》。在BERT模型出来之后,也有不少工作探索了BERT+CRF用于序列标注任务的做法。然而,很多实验结果显示(比如论文《BERT Meets Chinese Word Segmentation》)不管是中文分词还是实体识别任务,相比于简单的BERT+Softmax,BERT+CRF似乎并没有带来什么提升,这跟传统的BiLSTM+CRF或CNN+CRF的模型表现并不一样。
这两天给bert4keras增加了用CRF做中文分词的例子(task_sequence_labeling_cws_crf.py),在调试过程中发现了CRF层可能存在学习不充分的问题,进一步做了几个对比实验,结果显示这可能是CRF在BERT中没什么提升的主要原因,遂在此记录一下分析过程,与大家分享。
最近评论