30
Oct
11月03日美国“发现号”航天飞机“绝唱”
By 苏剑林 | 2010-10-30 | 18337位读者 | 引用
26
Jan
唠叨下，关于三体问题周期轨道
By 苏剑林 | 2011-01-26 | 33289位读者 | 引用
在查找量子化有关资料的时候，笔者查找到了一系列名为《漫谈几何量子化》的文章，并进一步查询得知，作者为季候风，原来发表在繁星客栈（顺便提一下，繁星客栈是最早的理论物理论坛之一，现在已经不能发帖了，但是上面很多资料都弥足珍贵），据说这是除正则量子化和路径积分量子化外的第三种量子化方法。网上鲜有几何量子化的资料，更不用说是中文资料了，于是季候风前辈的这一十五篇文章便显得格外有意义了。
然而，虽然不少网站都转载了这系列文章，但是无一例外地，文章中的公式图片已经失效了，后来笔者在百度网盘那找到其中的十四篇pdf格式的（估计是网友在公式图片失效前保存下来的），笔者通过替换公式服务器的方式找回了第十五篇，把第十五篇也补充进去了。（见漫谈几何量子化（原文档）.zip）
虽然这样已经面前能够阅读了，但是总感觉美中不足，虽然笔者花了三天时间把文章重新用$\LaTeX$录入了，主要是把公式重新录入了，简单地排版了一下。现放出来与大家分享。
4
Dec
结果恒为整数的多项式
By 苏剑林 | 2014-12-04 | 23558位读者 | 引用昨晚上初等数论的时候，有这么一道题
求证
$$\frac{1}{3}x^3+\frac{1}{5}x^5+\frac{7}{15}x$$
恒为整数，其中$x$是一个整数。
更一般地，可以得到
$$\sum_{p\in\mathbb{P}}\frac{1}{p}x^p + \left(1-\sum_{p\in\mathbb{P}}\frac{1}{p}\right)x$$
恒为整数，其中$\mathbb{P}$是有限个素数的集合，还有更多整数值函数问题。要证明这些函数的值恒为整数，可以通过同余分析，证明分子总能被分母整除。但是，更妙的、同时往往会更简单的方法是，将结果赋予必然为整数的意义——可以是计算上的，也可以是操作上的。
29
Apr
节省显存的重计算技巧也有了Keras版了
By 苏剑林 | 2020-04-29 | 49855位读者 | 引用不少读者最近可能留意到了公众号文章《BERT重计算：用22.5%的训练时间节省5倍的显存开销（附代码）》，里边介绍了一个叫做“重计算”的技巧，简单来说就是用来省显存的方法，让平均训练速度慢一点，但batch_size可以增大好几倍。该技巧首先发布于论文《Training Deep Nets with Sublinear Memory Cost》，其实在2016年就已经提出了，只不过似乎还没有特别流行起来。
探索
公众号文章提到该技巧在pytorch和paddlepaddle都有原生实现了，但tensorflow还没有。但事实上从tensorflow 1.8开始，tensorflow就已经自带了该功能了，当时被列入了tf.contrib这个子库中，而从tensorflow 1.15开始，它就被内置为tensorflow的主函数之一，那就是tf.recompute_grad。
找到tf.recompute_grad之后，笔者就琢磨了一下它的用法，经过一番折腾，最终居然真的成功地用起来了，居然成功地让batch_size从48增加到了144！然而，在继续整理测试的过程中，发现这玩意居然在tensorflow 2.x是失效的...于是再折腾了两天，查找了各种资料并反复调试，最终算是成功地补充了这一缺陷。
最后是笔者自己的开源实现：
该实现已经内置在bert4keras中，使用bert4keras的读者可以升级到最新版本（0.7.5+）来测试该功能。
7
Dec
最近评论