科学空间|Scientific Spaces

前面我们用两篇文章《重温SSM（一）：线性系统和HiPPO矩阵》和《重温SSM（二）：HiPPO的一些遗留问题》介绍了HiPPO的思想和推导——通过正交函数基对持续更新的函数进行实时逼近，其拟合系数的动力学正好可以表示为一个线性ODE系统，并且对于特定的基底以及逼近方式，我们可以将线性系统的关键矩阵精确地算出来。此外，我们还讨论了HiPPO的离散化和相关性质等问题，这些内容奠定了后续的SSM工作的理论基础。

接下来，我们将介绍HiPPO的后续应用篇《Efficiently Modeling Long Sequences with Structured State Spaces》（简称S4），它利用HiPPO的推导结果作为序列建模的基本工具，并从新的视角探讨了高效的计算和训练方式，最后在不少长序列建模任务上验证了它的有效性，可谓SSM乃至RNN复兴的代表作之一。

基本框架

S4使用的序列建模框架，是如下的线性ODE系统：
\begin{equation}\begin{aligned}
x'(t) =&\, A x(t) + B u(t) \\
y(t) =&\, C^* x(t) + D u(t)
\end{aligned}\end{equation}

点击阅读全文...

在矩阵压缩这个问题上，我们通常有两个策略可以选择，分别是低秩化和稀疏化。低秩化通过寻找矩阵的低秩近似来减少矩阵尺寸，而稀疏化则是通过减少矩阵中的非零元素来降低矩阵的复杂性。如果说SVD是奔着矩阵的低秩近似去的，那么相应地寻找矩阵稀疏近似的算法又是什么呢？

接下来我们要学习的是论文《Monarch: Expressive Structured Matrices for Efficient and Accurate Training》，它为上述问题给出了一个答案——“Monarch矩阵”，这是一簇能够分解为若干置换矩阵与稀疏矩阵乘积的矩阵，同时具备计算高效且表达能力强的特点，论文还讨论了如何求一般矩阵的Monarch近似，以及利用Monarch矩阵参数化LLM来提高LLM速度等内容。

Monarch矩阵形式M=PLPR

值得指出的是，该论文的作者也正是著名的Flash Attention的作者Tri Dao，其工作几乎都在致力于改进LLM的性能，这篇Monarch也是他主页上特意展示的几篇论文之一，单从这一点看就非常值得学习一番。

点击阅读全文...

（译自 陶哲轩 博客, 译者 liuxiaochuang）
（英文原文：Does one have to be a genius to do maths?）

这个问题的回答是一个大写的：不！为了达到对数学有一个良好的，有意义的贡献的目的，人们必须要刻苦努力；学好自己的领域，掌握一些其他领域的知识和工具；多问问题；多与其他数学工作者交流；要对数学有个宏观的把握。当然，一定水平的才智，耐心的要求，以及心智上的成熟性是必须的。但是，数学工作者绝不需要什么神奇的“天才”的基因，什么天生的洞察能力；不需要什么超自然的能力使自己总有灵感去出人意料的解决难题。

大众对数学家的形象有一个错误的认识：这些人似乎都使孤单离群的（甚至有一点疯癫）天才。他们不去关注其他同行的工作，不按常规的方式思考。他们总是能够获得无法解释的灵感（或者经过痛苦的挣扎之后突然获得），然后在所有的专家都一筹莫展的时候，在某个重大的问题上取得了突破的进展。这样浪漫的形象真够吸引人的，可是至少在现代数学学科中，这样的人或事是基本没有的。在数学中，我们的确有很多惊人的结论，深刻的定理，但是那都是经过几年，几十年，甚至几个世纪的积累，在很多优秀的或者伟大的数学家的努力之下一点一点得到的。每次从一个层次到另一个层次的理解加深的确都很不平凡，有些甚至是非常的出人意料。但尽管如此，这些成就也无不例外的建立在前人工作的基础之上，并不是全新的。（例如， Wiles 解决费马最后定理的工作，或者Perelman 解决庞加莱猜想的工作。）

点击阅读全文...

高效Transformer，泛指所有概率Transformer效率的工作，笔者算是关注得比较早了，最早的博客可以追溯到2019年的《为节约而生：从标准Attention到稀疏Attention》，当时做这块的工作很少。后来，这类工作逐渐多了，笔者也跟进了一些，比如线性Attention、Performer、Nyströmformer，甚至自己也做了一些探索，比如之前的“Transformer升级之路”。再后来，相关工作越来越多，但大多都很无趣，所以笔者就没怎么关注了。

本文模型脉络图

大抵是“久旱逢甘霖”的感觉，最近终于出现了一个比较有意思的高效Transformer工作——来自Google的《Transformer Quality in Linear Time》，经过细读之后，笔者认为论文里边真算得上是“惊喜满满”了～

点击阅读全文...

转载自2011年1月的《天文爱好者》 作者：薛国轩

“多萝西计划”再探地外文明

据美国空间网站2010年11月13日报道，在人类“探索地外文明”（英文缩写为SETI）50周年纪念之际，世界多个国家的天文学家从本月起再度展开“且听外星人”的联合行动，以延续开始于1960年的“奥兹玛计划”。新的探索活动被命名为“多萝西计划”（Project Dorothy），已于11月5日正式启动，将持续整整一个月时间，来自澳大利亚、日本、韩国、意大利、荷兰、法国、阿根廷和美国的天文学家参与其中。他们将把大大小小的望远镜指向地球周围的一些星球，以期收听到外星人的“天外来音”。

Allen Telescope Array

点击阅读全文...

这是Arnold给物理系学生出的基础数学题。原文是Arnold于1991年，在Russian Math Surveys 46:1(1991),271-278上发的一篇文章，英文名叫 A mathematical trivium，这篇文章是有个前言的，用两页纸的内容吐槽了1991年的学生数学学得很烂，尤其是物理系的。文后附了100道数学题，号称是物理系学生的数学底线。

这是给物理系出的数学题，所以和一般的数学竞赛题目不同，没太多证明题，主要就是计算和解模型，而且还有不少近似估算的，带有明显的物理风格。虽然作者说这是物理系学生数学的底线，但即使对于数学系的学生来说，这些题目还是有不少难度的。网络也有一些题目的答案，但是都比较零散。在这里与大家分享一下题目。什么时候有时间了，或者刚好碰到类似的研究，我也会把题目做做，与各位分享。希望有兴趣的朋友做了之后也把答案与大家交流呀。

1

点击阅读全文...

进入期末了，很多同学都开始复习了，这学期我选的几门课到现在还不是很熟悉，本想也在趁着这段时间好好看看。偏生五天前我在浏览数学研发论坛的编程擂台时看到了这样的一道题目：

设对于给定的$L$，方程
$$\frac{1}{x}+\frac{1}{y}=\frac{1}{n}$$
满足$0 < x < y \leq L$的正整数解共有$f(L)$种情况。比如$f(6)=1,f(12)=3,f(1000)=1069$，求$f(10^{12})$。

这道题目的来源是Project Euler的第454题：Diophantine reciprocals III（丢潘图倒数方程），题目简短易懂，但又不失深度，正符合我对理想题目的定义。而且最近在学习Python学习得不亦乐乎，看到这道题目就跃跃欲试。于是乎，我的五天时间就没有了，而且过程中几乎耗尽了我现在懂的所有编程技巧。由于不断地测试运行，我的电脑发热量比平时大了几倍，真是辛苦了我的电脑。最后的代码，自我感觉已经是我目前写的最精彩的代码了。在此与大家共享和共勉~

上述表达式是分式，不利于编程，由于$n=\frac{xy}{x+y}$，于是上述题目也等价于求$(x+y)|xy$（意思是$x+y$整除$xy$）的整数解。

点击阅读全文...

笔者最近迷上了数据挖掘和机器学习，要做数据分析首先得有数据才行。对于我等平民来说，最廉价的获取数据的方法，应该是用爬虫在网络上爬取数据了。本文记录一下笔者爬取天猫某商品的全过程，淘宝上面的店铺也是类似的做法，不赘述。主要是分析页面以及用Python实现简单方便的抓取。

笔者使用的工具如下

Python 3——极其方便的编程语言。选择3.x的版本是因为3.x对中文处理更加友好。

Pandas——Python的一个附加库，用于数据整理。

IE 11——分析页面请求过程（其他类似的流量监控工具亦可）。

剩下的还有requests,re，这些都是Python自带的库。

实例页面（美的某热水器）：http://detail.tmall.com/item.htm?id=41464129793

点击阅读全文...