19
Apr
《教材如何写》:BoJone的粗浅看法
By 苏剑林 | 2011-04-19 | 21288位读者 | 引用在科学空间所转载的上两篇文章中，matrix67和范翔都表达了他们对大多数现行（数学&物理）教材的不满和对编写教材的一些建议。今天，BoJone也来发发牢骚，说说教材。
首先得说明下，目前BoJone只是一个高二生，或者说，是一个爱好数学、物理的高中生，因此本文所描写的观点仅仅是个人的看法，而且应该带有诸多的不成熟看法。不论如何，谨在此提出，欢迎讨论。
BoJone认为，人类都有着追求利益的倾向，要是一样东西能够对我们有“好处”，给我们带来方便，那么我们就很乐意去拥有它，或者去学习它。数学、物理理论也应当如此，当教材编写者想要引入一个新概念或介绍一个新理论、方法时，首先要做的并不是如何从严格上定义、推导、证明、最后才去应用，而相反，他们应该要大书特书引入新概念和方法后有什么“好处”。只有了解到了它的用处之后，读者才会有明确的目的和足够的心思去进一步的学习。这一步对于一些抽象的理论的学习是很重要的，要不然，那么繁琐、枯燥的推理证明过程会抹杀掉绝大多数人的信心，纵使后来“终于”弄懂了它的用处，也兴趣倍减。说到这里，就不得不批评一下人教版数学选修教材中的一个很让人反感的做法，在《选修2-2》中它引入了复数，但仅仅简单交待了复数的加减乘除运算和模等定义后就了事，对于复数的一些精华，比如复数乘法代表着坐标旋转等，则全然不提，这样的“复数”有何意义呢？有同学问我：“学复数有什么用？”我只能回答：“就目前来说，复数的唯一作用就是增加了我们高考的负担。”
生日祝福
2012年3月28日，我19岁了。
三月是一个很美的月份，我的很多值得纪念的日子都在三月发生，还有好友们都在三月接二连三地生日，几乎让我措手不及了，呵呵。我的同桌黄金，好友家益，还有我自己都在这个月成为十九岁的孩子了。算起来，我应该是“最年轻”的了^_^
3-25-聚餐合照
我的生日收到了许多人的祝福，这让我觉得很意外，我一直觉得，我不善于人际交往，所以不应该会有太多人关注我，但惊喜在我身上发生了。谢谢大家。
人生如梦，繁星流动，和你同路，从不相识开始心接近，默默以真挚待人......这是《朋友》的歌词，也是我们之间的真实写照。感谢上天，让我的人生之路上有你们的相伴，人生因为你们而更加精彩。愿能够与你们一起度过、奋斗过更多的日子！我们相约，我们是一辈子的朋友！
6
Nov
王骁威：勇敢的追梦者
By 苏剑林 | 2012-11-06 | 40676位读者 | 引用破解数学猜想
王骁威
今天在看《广州日报》时，偶然发现了一个不曾听闻的名字——王骁威。
他，跟我一样是一个90后，是韶关学院的大四学生，而现在，他多了一点名头：“仅用1表示数问题中的素数猜想”这一难题的破解者。
“仅用1表示数问题中的素数猜想”出现在加拿大数学家Richard K·Guy的著作《数论中未解决的问题》中，是上世纪50年代，加拿大数学家Richard K·Guy提出一个数论猜想：对于给定的素数p，$f(p)=f(p-1)+1$是否能成立。其中，“仅用1表示数”指的是只用1通过加法和乘法以及括号来表示自然数，对于给定的自然数n，用1来表示时，1的最少个数记为$f(n)$。据说在之前就有诸多数学家论证过，在3亿之前的素数里，上述猜想是成立的。
但是王骁威通过举出反例证否了这个命题，他指出p=353942783时这个公式并不成立。他是经过四个月的钻研，王骁威运用集合论的运算、分析、优化，才成功发现这个猜想的反例的。发现反例之后，王骁威陷入兴奋，把整理成的报告寄给国内几家杂志社，结果却令他失望，几家杂志社对他的论文均不感兴趣。“我也怀疑过自己的努力是否值得，但对数学的强烈兴趣让我坚持下来。”王骁威说自己将论文译成英文，英文名为《A counterexample to the prime conjecture of expressing numbers using just ones》（中文名为《仅用1表示数中素数猜想的一个反例》），投往全球最权威的数论杂志———美国艾斯维尔出版社的《Journal of Number Theory》（数论杂志），国外专家的青睐终于让他收获成功的喜悦，论文发表在杂志第133期（明年二月）上。数学大师丘成桐也通过邮件与王骁威交流，并对他表示肯定。
20
Jun
《虚拟的实在(3)》——相对论动力学
By 苏剑林 | 2013-06-20 | 27192位读者 | 引用半个多月没有写文章了，一是因为接近期末考了，比较忙，当然最主要的原因还是人变懒了，呵呵，别人是忙里偷闲，我是闲里偷懒了。
这篇文章主要跟大家分享一下相对论动力学的知识。我们之前已经接触过相对论的坐标变换了，接下来的任务应该是把经典力学的动力学定律改成为相对论版本的，这显然也是学习场论的必经之路——懂得如何构造力学定律的相对版版本，是懂得构造相对论性场的基础。和朗道的《力学》与《场论》一样，我们的主线就是“最小作用量原理”。让我们回忆一下，在经典力学中，一个自由粒子的作用量是
$$S_m=\int Ldt=\int \frac{1}{2} m v^2dt$$
7
Feb
视频演示：费曼的茶杯
By 苏剑林 | 2014-02-07 | 18897位读者 | 引用
18
Apr
最小熵原理（一）：无监督学习的原理
By 苏剑林 | 2018-04-18 | 85437位读者 | 引用话在开头
在深度学习等端到端方案已经逐步席卷NLP的今天，你是否还愿意去思考自然语言背后的基本原理？我们常说“文本挖掘”，你真的感受到了“挖掘”的味道了吗？
无意中的邂逅
前段时间看了一篇关于无监督句法分析的文章，继而从它的参考文献中发现了论文《Redundancy Reduction as a Strategy for Unsupervised Learning》，这篇论文介绍了如何从去掉空格的英文文章中将英文单词复原。对应到中文，这不就是词库构建吗？于是饶有兴致地细读了一番，发现论文思路清晰、理论完整、结果漂亮，让人赏心悦目。
尽管现在看来，这篇论文的价值不是很大，甚至其结果可能已经被很多人学习过了，但是要注意：这是一篇1993年的论文！在PC机还没有流行的年代，就做出了如此前瞻性的研究。虽然如今深度学习流行，NLP任务越做越复杂，这确实是一大进步，但是我们对NLP原理的真正了解，还不一定超过几十年前的前辈们多少。
这篇论文是通过“去冗余”（Redundancy Reduction）来实现无监督地构建词库的，从信息论的角度来看，“去冗余”就是信息熵的最小化。无监督句法分析那篇文章也指出“信息熵最小化是无监督的NLP的唯一可行的方案”。我进而学习了一些相关资料，并且结合自己的理解思考了一番，发现这个评论确实是耐人寻味。我觉得，不仅仅是NLP，信息熵最小化很可能是所有无监督学习的根本。
10
Jun
漫谈重参数：从正态分布到Gumbel Softmax
By 苏剑林 | 2019-06-10 | 224202位读者 | 引用最近在用VAE处理一些文本问题的时候遇到了对离散形式的后验分布求期望的问题，于是沿着“离散分布 + 重参数”这个思路一直搜索下去，最后搜到了Gumbel Softmax，从对Gumbel Softmax的学习过程中，把重参数的相关内容都捋了一遍，还学到一些梯度估计的新知识，遂记录在此。
文章从连续情形出发开始介绍重参数，主要的例子是正态分布的重参数；然后引入离散分布的重参数，这就涉及到了Gumbel Softmax，包括Gumbel Softmax的一些证明和讨论；最后再讲讲重参数背后的一些故事，这主要跟梯度估计有关。
基本概念
重参数（Reparameterization）实际上是处理如下期望形式的目标函数的一种技巧：
\begin{equation}L_{\theta}=\mathbb{E}_{z\sim p_{\theta}(z)}[f(z)]\label{eq:base}\end{equation}
这样的目标在VAE中会出现，在文本GAN也会出现，在强化学习中也会出现（$f(z)$对应于奖励函数），所以深究下去，我们会经常碰到这样的目标函数。取决于$z$的连续性，它对应不同的形式：
\begin{equation}\int p_{\theta}(z) f(z)dz\,\,\,\text{(连续情形)}\qquad\qquad \sum_{z} p_{\theta}(z) f(z)\,\,\,\text{(离散情形)}\end{equation}
当然，离散情况下我们更喜欢将记号$z$换成$y$或者$c$。
最近评论