科学空间|Scientific Spaces

这篇文章我们讨论一个编程题：如何更优雅地在Python中实现重试。

在文章《新年快乐！记录一下 Cool Papers 的开发体验》中，笔者分享了开发Cool Papers的一些经验，其中就提到了Cool Papers所需要的一些网络通信步骤。但凡涉及到网络通信，就有失败的风险（谁也无法保证网络不会间歇性抽风），所以重试是网络通信的基本操作。此外，当涉及到多进程、数据库、硬件交互等操作时，通常也需要引入重试机制。

在Python中，实现重试并不难，但如何更加简单而又不失可读性地实现重试，还是有一定技巧的。接下来笔者分享一下自己的尝试。

循环重试

完整的重试流程大致上包含循环重试、异常处理、延时等待、后续操作等部分，其标准写法就是用for循环，用“try ... except ...”来捕捉异常，一个参考代码是：

点击阅读全文...

我们经常听到在政治、军事等问题上，以色列和巴勒斯坦有多少的冲突，打了多少的仗，这就是所谓的“巴以冲突”。可是，在IT技术领域，两国的技术人员却跨越隔离墙的重重障碍，携手开发出全球的又一个“第一”。

在经过了三年的开发之后，以色列的一家软件开发公司近日宣布推出全球首款基于互联网的虚拟操作系统。运用这一系统，用户可以在世界上任何地方直接读取自己个人电脑上的桌面和数据。

Ghost官方网站：http://g.ho.st

这款操作系统叫作“Ghost”，其中文名称为“精灵”，英文名，全称Global Hosted Operating System，意思是“全球主操作系统”，Ghost是全球首款基于网络的“云计算”操作系统。目前该系统可以提供包括简体中文在内的20种语言的版本，全球用户已经达到20万。

点击阅读全文...

$$\pi=\frac{426880\sqrt{10005}}{\sum_{n=0}^{\infty} \frac{(6n)!(545140134n+13591409)}{(n!)^3(3n)!(-640320)^{3n}}}$$

首先得感谢ASCIIMath Image Fallback网站，是他们开发出这个强大的js，使得在任何网站的输入数学公式成为可能。然后感谢“数学研发论坛”，是他们的站长郭先强完善了这个js文件，使其达到前所未有的强大化。

科学空间是通过调用一个js来显示数学公式的，只要在需要显示数学公式的网站加入代码以下代码，就可以实现支持数学公式的功能。

点击阅读全文...

2016年即将画上句号了，在此祝各位读者2017年快乐，新的一年事事大顺哈～

happy new year 2017

所谓新年新气象，科学空间也换上新外衣。咦，怎么感觉没什么变化？别急，请继续看下去。

点击阅读全文...

“看那挖坑的人，有啥不一样～”

在这个系列中，我们尝试从能量的视角理解GAN。我们会发现这个视角如此美妙和直观，甚至让人拍案叫绝。

本视角直接受启发于Benjio团队的新作《Maximum Entropy Generators for Energy-Based Models》，这篇文章前几天出现在arxiv上。当然，能量模型与GAN的联系由来已久，并不是这篇文章的独创，只不过这篇文章做得仔细和完善一些。另外本文还补充了自己的一些理解和思考上去，力求更为易懂和完整。

作为第一篇文章，我们先来给出一个直白的类比推导：GAN实际上就是一场前仆后继（前挖后跳？）的“挖坑”与“跳坑”之旅～

总的来说，本文的大致内容如下：

1、给出了GAN/WGAN的清晰直观的能量图像；

2、讨论了判别器（能量函数）的训练情况和策略；

3、指出了梯度惩罚一个非常漂亮而直观的能量解释；

4、讨论了GAN中优化器的选择问题。

点击阅读全文...

今天是3月14日，刚好是3.14，也就是很多理科生都喜欢调侃的“圆周率节”（π day）～

π能否表示为一个分数？

点击阅读全文...

这两周投入了比较多的精力去做bert4keras的开发，除了一些API的规范化工作外，其余的主要工作量是构建预训练部分的代码。在昨天，预训练代码基本构建完毕，并同时在TPU/多GPU环境下测试通过，从而有志（有算力）改进预训练模型的同学多了一个选择。——这可能是目前最为清晰易懂的bert及其预训练代码。

预训练代码链接： https://github.com/bojone/bert4keras/tree/master/pretraining

经过这两周的开发（填坑），笔者的最大感想就是：Keras已经成为了tensorflow的黄金标准了。只要你的代码按照Keras的标准规范写，那可以轻松迁移到tf.keras中去，继而可以非常轻松地在TPU或多GPU环境下训练，真正的几乎是一劳永逸。相反，如果你的写法过于灵活，包括像笔者之前介绍的很多“移花接木”式的Keras技巧，就可能会有不少问题，甚至可能出现的一种情况是：就算你已经在多GPU上跑通了，在TPU上你也死活调不通。

Keras和Tensorflow

点击阅读全文...

Bert是什么，估计也不用笔者来诸多介绍了。虽然笔者不是很喜欢Bert，但不得不说，Bert确实在NLP界引起了一阵轩然大波。现在不管是中文还是英文，关于Bert的科普和解读已经满天飞了，隐隐已经超过了当年Word2Vec刚出来的势头了。有意思的是，Bert是Google搞出来的，当年的word2vec也是Google搞出来的，不管你用哪个，都是在跟着Google大佬的屁股跑啊～

Bert刚出来不久，就有读者建议我写个解读，但我终究还是没有写。一来，Bert的解读已经不少了，二来其实Bert也就是基于Attention的搞出来的大规模语料预训练的模型，本身在技术上不算什么创新，而关于Google的Attention我已经写过解读了，所以就提不起劲来写了。

Bert的预训练和微调（图片来自Bert的原论文）

总的来说，我个人对Bert一直也没啥兴趣，直到上个月末在做信息抽取比赛时，才首次尝试了Bert。因为后来想到，即使不感兴趣，终究也是得学会它，毕竟用不用是一回事，会不会又是另一回事。再加上在Keras中使用（fine tune）Bert，似乎还没有什么文章介绍，所以就分享一下自己的使用经验。

点击阅读全文...