科学空间|Scientific Spaces

Pre Norm与Post Norm之间的对比是一个“老生常谈”的话题了，本博客就多次讨论过这个问题，比如文章《浅谈Transformer的初始化、参数化与标准化》、《模型优化漫谈：BERT的初始标准差为什么是0.02？》等。目前比较明确的结论是：同一设置之下，Pre Norm结构往往更容易训练，但最终效果通常不如Post Norm。Pre Norm更容易训练好理解，因为它的恒等路径更突出，但为什么它效果反而没那么好呢？

笔者之前也一直没有好的答案，直到前些时间在知乎上看到 @唐翔昊 的一个回复后才“恍然大悟”，原来这个问题竟然有一个非常直观的理解！本文让我们一起来学习一下。

点击阅读全文...

翻译语录：
这是一篇关于气候变暖对变温动物的影响的文章。原文很长，来自“科学美国人”网站，本文有所删减。
在人类不断报道气候变化对人类所造成的影响的时候，自然界的其他生物也在受着气候的影响。也许，自然界的其他生物才是最大的受害者。无论如何，为了我们，为了自然，为了地球，为了后代，我们都应该自觉地去减少温室效应。只要人人都节约一点点，世界就会多一片绿色、一片蓝天！

点击阅读全文...

前言：也许你从未见过宇宙飞船，也许你躺在星空下却无所事事，也许你有望远镜却无观测对象，不过，这种心情可以结束了，因为我们可以观测国际空间站！对于这一新闻，无疑是令我们振奋人心的消息！对于天文爱好者来说，更是令人兴奋！不论如何，在繁星中寻找国际空间站是一件无比写意的事情。不仅是能力的挑战，还有耐心！

图片说明：May 22, 2009拍摄到的国际空间站，来源：NASA

点击阅读全文...

笔者语录：现在温室效应愈演愈烈。不过，在千万年前，情况正好相反，二氧化碳含量的急剧下降，使地球越来越冷。而一个“救星”的出现挽救了地球！这个伟大的“救星”，就是我们随处可见的植物。现在，就让我们随着《新科学家》的脚步，去看看那远古的“救星”！

图片说明：原始森林。来自搜索引擎，图片有可能经过PS。

点击阅读全文...

科学空间是使用typecho程序搭建的博客，侧边栏提供了搜索功能，然而typecho内置搜索功能仅仅是基于字符串的全匹配查找，因此导致很多合理的查询都没法得到结果，比如“2018天象”、“新词算法”都没法给出结果，原因就是文章中都不包含这些字符串。

于是就萌生了加强搜索功能的想法，之前也有读者建议过这个事情。这两天搜索了一下，本来计划用Python下的Whoosh库来建立一个全文检索引擎，但感觉整合和后期维护的工作量太大，还是放弃了。后来想到在typecho自身的搜索上加强，在公司同事（大佬）的帮助下，完成了这个改进。

由于是直接修改typecho源文件实现的改进，因此如果typecho升级后就可能被覆盖，因此在这里做个备忘。

探索

通过在Github检索我发现，typecho的搜索功能是在var/Widget/Archive.php中实现的，具体代码大概在1185～1192行：

点击阅读全文...

笔录：
长文章更能够显示出一个人的翻译能力和翻译耐心——除了要有熟悉的语言处理能力外，还有持之以恒。现在大家来评价下翻译得如何吧！
这一次讲述的是关于恐龙的问题，再次联系到了气候变暖的问题。既然在千万年前气候变暖已经这么严重了，那么恐龙们能够熬过这一关吗？能！因为它们挖洞了。让我们来走近它们！

图片：白垩纪恐龙，图片来自Google搜索。

点击阅读全文...

很久没有翻译过文章了，最近都在偷懒中......不过不能总是偷懒，也要锻炼下了。今天翻译了一篇关于“宇宙模型”的文章，原文来自《新科学家》。原来，宇宙与我们平时吃的零食很相似...... 面包圈、薯片、号角、花生、苹果，这些是你心目中的宇宙吗？让我们来共同见识下！

点击阅读全文...

笔者：翻译完这篇文章，感觉可以用一个字来形容：累！的确，这篇文章的不少句子都让人很模糊，我也只是意译+请教+google出来的，有任何的错误欢迎指出！翻译过程中，不断地使用了词典、Google，加上向人请教，才勉强完成了。 冰期、史前文明、灭绝、天体撞击，这些被谈论得越来越多了，究竟真相如何呢？又或者会不会发生在我们的将来呢？

点击阅读全文...