科学空间|Scientific Spaces

前些天我们在《VQ一下Key，Transformer的复杂度就变成线性了》介绍了“Transformer-VQ”，这是通过将Key序列做VQ（Vector Quantize）变换来实现Attention复杂度线性化的方案。诚然，Transformer-VQ提供了标准Attention到线性Attentino的一个非常漂亮的过渡，给人一种“大道至简”的美感，但熟悉VQ的读者应该能感觉到，当编码表大小或者模型参数量进一步增加时，VQ很可能会成为效果提升的瓶颈，因为它通过STE（Straight-Through Estimator）估计的梯度大概率是次优的（FSQ的实验结果也算是提供了一些佐证）。此外，Transformer-VQ为了使训练效率也线性化所做的梯度截断，也可能成为将来的效果瓶颈之一。

为此，笔者花了一些时间思考可以替代掉VQ的线性化思路。从Transformer-VQ的$\exp\left(QC^{\top}\right)$形式中，笔者联想到了Performer，继而“顺藤摸瓜”地发现原来Performer可以视为Soft版的Transformer-VQ。进一步地，笔者尝试类比Performer的推导方法来重新导出Transformer-VQ，为其后的优化提供一些参考结果。

点击阅读全文...

氯化氢（HCl），一种无色气体，当它溶于水后变成为了我们常用的盐酸（hydrochloric acid），学名“氢氯酸”。这是一种具有高强度腐蚀性的无机酸，在工业上具有重要的用途。我们胃中的酸也是胃酸。气态的HCl被称为海洋酸性气体。

盐酸是一种一元酸，在水中会发生以下反应：
$$HCl + H_2O=H_3O^+ + Cl^-$$

因此，盐酸可以用来制作其他氯化物（如NaCl）。盐酸是一种强酸，它在水中基本上能够完全解离。

点击阅读全文...

翻译语录：总的来说，这篇文章的翻译还是比较顺利，不懂的词查一下软件就OK，所以这次要说一下翻译以外的问题：众所周知，二氧化碳会造成温室效应，而二氧化硫能够抑制温室效应。不过糟糕的是，几乎所有大气环境治理手段都将把其它污染性气体转变成二氧化碳为目标，包括处理二氧化硫。这就造成了约治理环境，温室效应越强的问题。这时我们的环境学家也应考虑下两者的均衡问题了。

图片说明：俄罗斯Kamtchatka火山爆发

点击阅读全文...

(说明：由于本文章含有较多的根号，推荐使用IE直接阅读，或者使用IE+MathPlayer。火狐浏览器对根号的显示是相当的差。)

大家知道，1到4次的代数方程都有求根公式（尽管未必是最简单的方法），对于1次和2次方程的求根，大家可能滚瓜烂熟了。但是你了解三次方程的解法吗？
$$ax^3+bx^2+cx+d=0\,(a\neq0)$$

网上有不少关于这方面的资料，但是却有着两个缺点：一是缺乏描述专业数学公式的相关程序（很多网站都是这样）；二是语言过于专业，不能大众化（如维基百科）。

点击阅读全文...

七月流逝，八月悄来。又迎来新的一个月，今天是第一天，也是建军节。 回味过去的一个月，我学会了很多，也体验了很多，自己似乎更加成熟了。 一切都会过去，一切都会流逝，惟有不变的，是人的情感。

点击阅读全文...

一直呆在老家，很少出去到外面，这个暑假到了珠海玩了一下。
珠海离我们很近，坐车，3小时左右的路程（大约209公里）。不过也把我们累得，这是我目前来说走得最远的路程。

落脚点为“翠微香山花园”：

图片说明：香山花园，不过GE的图片已经很久了，现在已经有很大变化了

随后，到了一些地方游玩：地下商场、渔女、圆明新园......

点击阅读全文...

我并非一个出色的人物，但在学习上也取得了一点微小的成就，考试也得到了心中理想的成绩。

相对于同龄人来说，我是一个相对优秀的人物。也许很多人会认为，我付出了很多的努力，肯定很用功，肯定“不会放过放假的时间来学习”......

不论你是孩子的家长，还是本身在学习的孩子，都请你们听一下：我不刻苦，我不用功，反而，我很懒。

的确，我没有糊弄大家。说点实际的情况，人们都说，初三（相对于初一、初二）是一个紧张的阶段，因为要迎来中考。而我，在初三，对于理科，我几乎没有做过一点作业，上课的时候也是一边听讲，一边在做自己的事情。从这个角度来讲，很多和我一样的学生，都是班级的落后生。而我，在中考中，考得了全县的第7名。

点击阅读全文...

本证明是站长经过很长时间独立研究得出，望转载者要注明原作者和出处，否则定追究版权责任！ （公式很多，推荐使用火狐浏览器）

关于这个不等式由来已久，从$\frac{a+b}{2} \geq \sqrt{ab}$开始，人们逐渐地发现，只要$a_1,a_2,...,a_n \geq 0$，那么就一定会有$\frac{a_1+a_2+...+a_n}{n} \geq \sqrt[n]{a_1 a_2...a_n}$。对于比较小的n，人们已经可以证明上式成立，但是，一般形式的证明则是近年来的事情。

我自己很早就接触到了这个不等式（好像是3年前，我读六年级），从那个时候开始，我就一直寻找这个不等式的证明，但是除了n=2的情况外，其余一直未果。直到三个月前的一节数学课，在发愣之余就想出来了(^_^)。一开始证明了n=3的情况，然后就势如破竹，证明了对于任何的n，这条不等式都成立。

点击阅读全文...