29
Jan
网站更新记录（2018年01月）
By 苏剑林 | 2018-01-29 | 29164位读者 | 引用也许读者会发现，这几天访问科学空间可能出现不稳定的情况，原因是我这几天都在对网站进行调整。
这次的调整幅度很大，不过从外表上可能很难发现，特此记录留念一下。主要的更新内容包括：
1、主题的优化：本博客用的geekg主题其实比较老了，去年花钱请人对它进行了第一次大升级，加入了响应式设计，这几天主要解决该主题的一些历史遗留问题，包括图片显示、边距、排版等细微调整；
2、内部的优化：大幅度减少了插件的使用，把一些基本的功能（如网站目录、归档页）等都内嵌到主题中，减少了对插件的依赖，也提升了可用性；
3、文章的优化：其实这也是个历史遗留问题，主要是早期写文章的时候比较随意，html代码、公式的LaTeX代码等都不规范，因此早期的文章显示效果可能比较糟糕，于是我就做了一件很疯狂的事情——把800多篇文章都过一遍！经过了两天多的时间，基本上修复了早期文章的大部分问题；
4、域名的优化：网站全面使用https！网站放在阿里云上面，可是阿里云有一套自以为是的监管系统，无故屏蔽我的一些页面。为了应对阿里云的恶意屏蔽，只好转向https，当然，这不会对读者平时访问造成影响，因为跳转https是自动的。目前两个域名spaces.ac.cn和kexue.fm都会自动跳转到https。
16
Mar
现在可以用Keras玩中文GPT2了（GPT2_ML）
By 苏剑林 | 2020-03-16 | 89341位读者 | 引用前段时间留意到有大牛开源了一个中文的GPT2模型，是最大的15亿参数规模的，看作者给的demo，生成效果还是蛮惊艳的，就想着加载到自己的bert4keras来玩玩。不过早期的bert4keras整体架构写得比较“死”，集成多个不同的模型很不方便。前两周终于看不下去了，把bert4keras的整体结构重写了一遍，现在的bert4keras总能算比较灵活地编写各种Transformer结构的模型了，比如GPT2、T5等都已经集成在里边了。
GPT2科普
GPT，相信很多读者都听说过它了，简单来说，它就是一个基于Transformer结构的语言模型，源自论文《GPT：Improving Language Understanding by Generative Pre-Training》，但它又不是为了做语言模型而生，它是通过语言模型来预训练自身，然后在下游任务微调，提高下游任务的表现。它是“Transformer + 预训练 + 微调”这种模式的先驱者，相对而言，BERT都算是它的“后辈”，而GPT2，则是GPT的升级版——模型更大，训练数据更多——模型最大版的参数量达到了15亿。
31
May
基于最小熵原理的NLP库：nlp zero
By 苏剑林 | 2018-05-31 | 97868位读者 | 引用陆陆续续写了几篇最小熵原理的博客，致力于无监督做NLP的一些基础工作。为了方便大家实验，把文章中涉及到的一些算法封装为一个库，供有需要的读者测试使用。
由于面向的是无监督NLP场景，而且基本都是NLP任务的基础工作，因此命名为nlp zero。
地址
Github: https://github.com/bojone/nlp-zero
Pypi: https://pypi.org/project/nlp-zero/
可以直接通过
pip install nlp-zero==0.1.6进行安装。整个库纯Python实现，没有第三方调用，支持Python2.x和3.x。
14
Jan
基于CNN和序列标注的对联机器人
By 苏剑林 | 2019-01-14 | 41831位读者 | 引用缘起
前几天在量子位公众号上看到了《这个脑洞清奇的对联AI，大家都玩疯了》一文，觉得挺有意思，难得的是作者还整理并公开了数据集，所以决定自己尝试一下。
动手
“对对联”，我们可以看成是一个句子生成任务，可以用seq2seq完成，跟笔者之前写的《玩转Keras之seq2seq自动生成标题》一样，稍微修改一下输入即可。上面提到的文章所用的方法也是seq2seq，可见这算是标准做法了。
18
Feb
恒等式 det(exp(A)) = exp(Tr(A)) 赏析
By 苏剑林 | 2019-02-18 | 61147位读者 | 引用本文的主题是一个有趣的矩阵行列式的恒等式
\begin{equation}\det(\exp(\boldsymbol{A})) = \exp(\text{Tr}(\boldsymbol{A}))\label{eq:main}\end{equation}
这个恒等式在挺多数学和物理的计算中都出现过，笔者都在不同的文献中看到过好几次了。
注意左端是矩阵的指数，然后求行列式，这两步都是计算量非常大的运算；右端仅仅是矩阵的迹（一个标量），然后再做标量的指数。两边的计算量差了不知道多少倍，然而它们居然是相等的！这不得不说是一个神奇的事实。
所以，本文就来好好欣赏一个这个恒等式。
26
Mar
科学空间浏览指南（FAQ）
By 苏剑林 | 2019-03-26 | 125286位读者 | 引用事实上，除了写博客内容，在这几年里，笔者是花了相当一部分时间来做科学空间的“表面功夫”，为此还专门学了一点php、css和js。虽然不敢说精益求精，但总体来说网站的浏览体验应该比前几年要好得多。
考虑到有些读者可能需要的功能，但一时半会未必能留意到，遂来整理一些站内技巧。
文章篇
什么环境阅读文章最佳？
两年前科学空间就已经加入了响应式设计，自动适应不同分辨率的屏幕。因此，不管哪个分辨率的环境应该都能看清文字内容，唯一的问题是，在小屏幕手机下公式可能会显示不全或者错位。为了较好地阅读公式，最好在7寸以上的屏幕上阅读。如果一定要用小屏幕的手机，可以考虑横屏阅读。
5
Dec
万能的seq2seq：基于seq2seq的阅读理解问答
By 苏剑林 | 2019-12-05 | 82950位读者 | 引用今天给bert4keras新增加了一个例子：阅读理解式问答（task_reading_comprehension_by_seq2seq.py），语料跟之前一样，都是用WebQA和SogouQA，最终的得分在0.77左右（单模型，没精调）。
用seq2seq做阅读理解的模型图示
方法简述
由于这次主要目的是给bert4keras增加demo，因此效率就不是主要关心的目标了。这次的目标主要是通用性和易用性，所以用了最万能的方案——seq2seq来实现做阅读理解。
用seq2seq做的话，基本不用怎么关心模型设计，只要把篇章和问题拼接起来，然后预测答案就行了。此外，seq2seq的方案还自然地包括了判断篇章有无答案的方法，以及自然地导出一种多篇章投票的思路。总而言之，不考虑效率的话，seq2seq做阅读理解是一种相当优雅的方案。
这次实现seq2seq还是用UNILM的方案，如果还不了解的读者，可以先阅读《从语言模型到Seq2Seq：Transformer如戏，全靠Mask》了解相应内容。
最近评论