31
Jul
我们真的需要把训练集的损失降低到零吗？
By 苏剑林 | 2020-07-31 | 65828位读者 | 引用在训练模型的时候，我们需要损失函数一直训练到0吗？显然不用。一般来说，我们是用训练集来训练模型，但希望的是验证集的损失越小越好，而正常来说训练集的损失降低到一定值后，验证集的损失就会开始上升，因此没必要把训练集的损失降低到0。
既然如此，在已经达到了某个阈值之后，我们可不可以做点别的事情来提升模型性能呢？ICML 2020的论文《Do We Need Zero Training Loss After Achieving Zero Training Error?》回答了这个问题。不过论文的回答也仅局限在“是什么”这个层面上，并没很好地描述“为什么”，另外看了知乎上kid丶大佬的解读，也没找到自己想要的答案。因此自己分析了一下，记录在此。
左图：不加Flooding的训练示意图；右图：加了Flooding的训练示意图
后台提示，本文是科学空间的第1000篇文章。
本想写下一篇文章的，但是看到这个提示，就先瞎写个水文纪念一下。都说人老了就喜欢各种感叹，这话还真不假。看到别人高考来个感想，博客十周年了来个感想，现在第1000篇文章了也来个感想，似乎总想找点理由感叹一下一样。那今天又能扯些啥犊子呢？
1000
首先，自恋一下。1000篇文章，如果要印刷下来，就算每篇文章印一页，那也能印个1000页了，相信不少人都没捧起过1000页的书吧（我还真读过，有文章为证：《哈哈，我的“〈圣经〉”到了》），我居然能写个1000篇，也是挺佩服自己的。当然，早期的文章有部分是转载的，不是全部都自己写的，不过还是坚持了不少原创内容，而且就算是转载的也是经过自己编辑整理的，不算纯Copy，所以也勉强能说的过去吧。
然后，庆幸一下。博客开始的主题是天文和科普，后来慢慢偏向了理论物理和数学，现在则偏向了机器学习，但不管怎样，总算很庆幸地在科学这条路坚持了下来。虽然没有像幼时设想的那样成为一名真正的自然科学家/数学家，但终究有点相关，闲时依然可以做做科学计算，勉强也对得起当初的梦想。
6
Oct
《积分公式大全》网络版本
By 苏剑林 | 2010-10-06 | 20455位读者 | 引用为了方便各位读者查阅，BoJone特意制作了这个积分公式表的电子版本。
数学公式采用JsMath技术显示，为了能够更清晰地显示数学公式，推荐读者下载TeX-fonts字体。
原著的具体说明和下载，请点击
22
Jul
今天你食了吗？（广东云浮观测日偏食之旅）
By 苏剑林 | 2009-07-22 | 33656位读者 | 引用
2
Aug
互联网的虚拟操作系统：全球主操作系统
By 苏剑林 | 2009-08-02 | 16041位读者 | 引用
我们经常听到在政治、军事等问题上，以色列和巴勒斯坦有多少的冲突，打了多少的仗，这就是所谓的“巴以冲突”。可是，在IT技术领域，两国的技术人员却跨越隔离墙的重重障碍，携手开发出全球的又一个“第一”。
在经过了三年的开发之后，以色列的一家软件开发公司近日宣布推出全球首款基于互联网的虚拟操作系统。运用这一系统，用户可以在世界上任何地方直接读取自己个人电脑上的桌面和数据。
Ghost官方网站：http://g.ho.st
这款操作系统叫作“Ghost”，其中文名称为“精灵”，英文名，全称Global Hosted Operating System，意思是“全球主操作系统”，Ghost是全球首款基于网络的“云计算”操作系统。目前该系统可以提供包括简体中文在内的20种语言的版本，全球用户已经达到20万。
5
Aug
经典电视剧：《仙剑奇侠传3》专辑
By 苏剑林 | 2009-08-05 | 23626位读者 | 引用
4
Sep
《冲出亚马逊》—在世界立起五星红旗！
By 苏剑林 | 2009-09-04 | 18268位读者 | 引用
20
Sep
最近评论