科学空间|Scientific Spaces

不知道大家有没有留意到前段时间的《Transformers without Normalization》？这篇论文试图将Transformer模型中的Normalization层用一个Element-wise的运算DyT替代，以期能提高速度并保持效果。这种基础架构的主题本身自带一点吸引力，加之Kaiming He和Yann LeCun两位大佬挂名，所以这篇论文发布之时就引起了不少围观，评价也是有褒有贬。

无独有偶，上周的一篇新论文《The Mathematical Relationship Between Layer Normalization and Dynamic Activation Functions》从梯度分析和微分方程的视角解读了DyT，并提出了新的替代品。个人感觉这个理解角度非常本质，遂学习和分享一波。

写在前面

DyT全称是Dynamic Tanh，它通过如下运算来替代Normalization层：
$$\begin{equation}\mathop{\text{DyT}}(\boldsymbol{x}) = \boldsymbol{\gamma} \odot \tanh(\alpha \boldsymbol{x}) + \boldsymbol{\beta}\end{equation}$$

点击阅读全文...

图片：天文台发射的激光束，版权：Yuri Beletsky&ESO

点击阅读全文...

证明下列极限：
$$\lim_{x \to 0}\left(\frac{a^x+b^x}{2}\right)^{3/x}=ab\sqrt{ab}$$

解：
这是我认为比较难的极限题目之一，由麦克劳林公式可以推出：
$$a^x=1+x \ln a+\frac{x^2 \ln^2 a}{2!}+\frac{x^3 \ln^3 a}{3!}+...$$

点击阅读全文...

Google更换Logo，想必那一天必定是什么重大日子，值得怀念的日子。今天，我们登陆google.cn，就可以发现Google变样了：

点击阅读全文...

夏已去，秋踏来，天转凉，多添衣，今天处暑，轻声问候，让友情为你暖心；诚挚祝福，传我情谊：处暑快乐，七夕同乐！

科学空间在此祝所有的人七夕快乐，天天快乐！愿天下有情人终成眷属！

七夕寻星：http://kexue.fm/archives/93/

同时，在这个美好的节日，请大家聆听美妙的童话旋律——《樱花草》：
http://m1.6621.cn/m/200909/bojone/5f311cfa11b248dc.mp3

点击阅读全文...

不知不觉已到了9月尾声，上学已经一个月了。8天长假明天开始...

国庆中秋都快到了，祝大家节日快乐，天天快乐！

从上个月的20日开始，生活似乎有了新的起点：从珠海带回来了三本比我年龄还大的“高等数学”黄皮书，是我正式开始了高等数学的系统接触，短短的十天之内，对数学的了解似乎我之前所有加起来还要多。

正是上学，经过一周的军训，和老师、同学都熟了，问数学老师借来了另外几本高数书，还有一些奥林匹克数学竞赛、数学方法等等的书籍。正在不断地向数学殿堂迈进......

点击阅读全文...

秋雁南飞，枫叶飘红，夕阳璀璨下，13亿人民的生日依旧到来，在这举国同庆的日子里，祝大家财源滚滚来，生活甜蜜蜜！

客套的话就不多说了，当然，不仅仅要国庆快乐，还要天天快乐！

点击阅读全文...

开始了，成与否，期待吧！
我们能够做的，也只有期待......

简介
12月7日起，192个国家的环境部长和其他官员们将在哥本哈根召开联合国气候会议，商讨《京都议定书》一期承诺到期后的后续方案，就未来应对气候变化的全球行动签署新的协议。这是继《京都议定书》后又一具有划时代意义的全球气候协议书，毫无疑问，对地球今后的气候变化走向产生决定性的影响。这是一次被喻为“拯救人类的最后一次机会”的会议。会议将在现代化的Bella中心举行，为期两周。联合国气候会议一年召开一次，其前身为1992年在里约热内卢召开的地球峰会，地球峰会的目的是协调应对气候变化而采取的国际行动。

点击阅读全文...