2012年,地球完蛋了?
By 苏剑林 | 2009-10-25 | 30185位读者 | 引用最新调查解“毒”珠江:工业水污染触目惊心!
By 苏剑林 | 2009-10-30 | 21788位读者 | 引用沉痛,默哀!中国科学巨星钱学森逝世
By 苏剑林 | 2009-10-31 | 23240位读者 | 引用钱学森:人生书写时代
By 苏剑林 | 2009-10-31 | 18386位读者 | 引用美国科学家用3000幅照片拼接夜空全景
By 苏剑林 | 2009-11-03 | 17532位读者 | 引用你的CRF层的学习率可能不够大
By 苏剑林 | 2020-02-07 | 103782位读者 | 引用CRF是做序列标注的经典方法,它理论优雅,实际也很有效,如果还不了解CRF的读者欢迎阅读旧作《简明条件随机场CRF介绍(附带纯Keras实现)》。在BERT模型出来之后,也有不少工作探索了BERT+CRF用于序列标注任务的做法。然而,很多实验结果显示(比如论文《BERT Meets Chinese Word Segmentation》)不管是中文分词还是实体识别任务,相比于简单的BERT+Softmax,BERT+CRF似乎并没有带来什么提升,这跟传统的BiLSTM+CRF或CNN+CRF的模型表现并不一样。
这两天给bert4keras增加了用CRF做中文分词的例子(task_sequence_labeling_cws_crf.py),在调试过程中发现了CRF层可能存在学习不充分的问题,进一步做了几个对比实验,结果显示这可能是CRF在BERT中没什么提升的主要原因,遂在此记录一下分析过程,与大家分享。
科学空间:2009年12月重要天象
By 苏剑林 | 2009-12-05 | 22833位读者 | 引用哥本哈根气候大会召开情况
By 苏剑林 | 2009-12-08 | 16366位读者 | 引用开始了,成与否,期待吧!
我们能够做的,也只有期待......
简介
12月7日起,192个国家的环境部长和其他官员们将在哥本哈根召开联合国气候会议,商讨《京都议定书》一期承诺到期后的后续方案,就未来应对气候变化的全球行动签署新的协议。这是继《京都议定书》后又一具有划时代意义的全球气候协议书,毫无疑问,对地球今后的气候变化走向产生决定性的影响。这是一次被喻为“拯救人类的最后一次机会”的会议。会议将在现代化的Bella中心举行,为期两周。联合国气候会议一年召开一次,其前身为1992年在里约热内卢召开的地球峰会,地球峰会的目的是协调应对气候变化而采取的国际行动。
最近评论