30
Oct
低秩近似之路（四）：ID
By 苏剑林 | 2024-10-30 | 8241位读者 | 引用这篇文章的主角是ID（Interpolative Decomposition），中文可以称之为“插值分解”，它同样可以理解为是一种具有特定结构的低秩分解，其中的一侧是该矩阵的若干列（当然如果你偏好于行，那么选择行也没什么问题），换句话说，ID试图从一个矩阵中找出若干关键列作为“骨架”（通常也称作“草图”）来逼近原始矩阵。
可能很多读者都未曾听说过ID，即便维基百科也只有几句语焉不详的介绍（链接），但事实上，ID跟SVD一样早已内置在SciPy之中（参考scipy.linalg.interpolative），这侧面印证了ID的实用价值。
基本定义
前三篇文章我们分别介绍了伪逆、SVD、CR近似，它们都可以视为寻找特定结构的低秩近似：
\begin{equation}\mathop{\text{argmin}}_{\text{rank}(\tilde{\boldsymbol{M}})\leq r}\Vert \tilde{\boldsymbol{M}} - \boldsymbol{M}\Vert_F^2\end{equation}
15
Oct
让MathJax的数学公式随窗口大小自动缩放
By 苏剑林 | 2024-10-15 | 10136位读者 | 引用随着MathJax的出现和流行，在网页上显示数学公式便逐渐有了标准答案。然而，MathJax（包括其竞品KaTeX）只是负责将网页LaTeX代码转化为数学公式，对于自适应分辨率方面依然没有太好的办法。像本站一些数学文章，因为是在PC端排版好的，所以在PC端浏览效果尚可，但转到手机上看就可能有点难以入目了。
经过测试，笔者得到了一个方案，让MathJax的数学公式也能像图片一样，随着窗口大小而自适应缩放，从而尽量保证移动端的显示效果，在此跟大家分享一波。
背景思路
这个问题的起源是，即便在PC端进行排版，有时候也会遇到一些单行公式的长度超出了网页宽度，但又不大好换行的情况，这时候一个解决方案是用HTML代码手动调整一下公式的字体大小，比如
<span style="font-size:90%">
\begin{equation}一个超长的数学公式\end{equation}
</span>
22
Nov
生成扩散模型漫谈（二十六）：基于恒等式的蒸馏（下）
By 苏剑林 | 2024-11-22 | 3532位读者 | 引用继续回到我们的扩散系列。在《生成扩散模型漫谈（二十五）：基于恒等式的蒸馏（上）》中，我们介绍了SiD（Score identity Distillation），这是一种不需要真实数据、也不需要从教师模型采样的扩散模型蒸馏方案，其形式类似GAN，但有着比GAN更好的训练稳定性。
SiD的核心是通过恒等变换来为学生模型构建更好的损失函数，这一点是开创性的，同时也遗留了一些问题。比如，SiD对损失函数的恒等变换是不完全的，如果完全变换会如何？如何从理论上解释SiD引入的$\lambda$的必要性？上个月放出的《Flow Generator Matching》（简称FGM）成功从更本质的梯度角度解释了$\lambda=0.5$的选择，而受到FGM启发，笔者则进一步发现了$\lambda = 1$的一种解释。
接下来我们将详细介绍SiD的上述理论进展。
27
Jun
哈哈，我的“《圣经》”到了
By 苏剑林 | 2013-06-27 | 54640位读者 | 引用
7
Jul
百科翻译：草原上的狐狸（Swift Fox）
By 苏剑林 | 2009-07-07 | 36660位读者 | 引用
1
Mar
科学空间|Scientific Spaces 介绍
By 苏剑林 | 2009-03-01 | 397170位读者 | 引用中山大学基础数学研究生，本科为华南师范大学。93年从奥尔特星云移民地球，因忘记回家路线，遂仰望星空，希望找到时空之路。同时兼爱各种科学，热衷钻牛角尖，因此经常碰壁，但偶然把牛角钻穿，也乐在其中。偏爱物理、天文、计算机，喜欢思考，虽擅长理性分析，但也容易感情用事，崇拜Feynman。爱好阅读，没事偷懒玩玩象棋，闲时爱好进入厨房做几道小菜，偶尔也开开数据“挖掘机”。明明要学基础数学，偏偏不务正业，沉溺神经网络，妄想人工智能，曾未在ACL、AAAI、COLING等会议上发表一篇文章。近期还挣扎在NLP大坑，在科学空间（https://kexue.fm）期待大家的拯救。
历史内容
华南师范大学数学系学生。93年从奥尔特星云移民地球，因忘记回家路线，遂仰望星空，希望找到时空之路。同时兼爱各种科学，热衷钻牛角尖，因此经常碰壁，但偶然把牛角钻穿，也乐在其中。偏爱物理、天文，喜欢思考，虽擅长理性分析，但也容易感情用事，崇拜费曼。长期阅读《天文爱好者》和《环球科学》，没事偷懒玩玩象棋，闲时爱好进入厨房做几道小菜，偶尔也当当电工。近期主要学习理论物理，在科学空间期待大家的指教。
名称：科学空间|Scientific Spaces
网址：http://kexue.fm
站长：苏剑林
信念：探索我们的世界，聆听我们的自然
网站历史
2009.03.01 网站初步建立，刚开始的时候使用的是BoBlog以及宇宙驿站的空间，内容定位：科学转载。 2009.03.28 开始进行大规模推广，访问量开始提高 2009.03-05 期间进行过多次改变，特别是Blog程序的转换，内容上的改革等
我并非一个出色的人物，但在学习上也取得了一点微小的成就，考试也得到了心中理想的成绩。
相对于同龄人来说，我是一个相对优秀的人物。也许很多人会认为，我付出了很多的努力，肯定很用功，肯定“不会放过放假的时间来学习”......
不论你是孩子的家长，还是本身在学习的孩子，都请你们听一下：我不刻苦，我不用功，反而，我很懒。
的确，我没有糊弄大家。说点实际的情况，人们都说，初三（相对于初一、初二）是一个紧张的阶段，因为要迎来中考。而我，在初三，对于理科，我几乎没有做过一点作业，上课的时候也是一边听讲，一边在做自己的事情。从这个角度来讲，很多和我一样的学生，都是班级的落后生。而我，在中考中，考得了全县的第7名。
18
Aug
如何在科学空间输入数学公式？——LaTeX帮助
By 苏剑林 | 2009-08-18 | 122497位读者 | 引用$$\pi=\frac{426880\sqrt{10005}}{\sum_{n=0}^{\infty} \frac{(6n)!(545140134n+13591409)}{(n!)^3(3n)!(-640320)^{3n}}}$$
首先得感谢ASCIIMath Image Fallback网站，是他们开发出这个强大的js，使得在任何网站的输入数学公式成为可能。然后感谢“数学研发论坛”，是他们的站长郭先强完善了这个js文件，使其达到前所未有的强大化。
科学空间是通过调用一个js来显示数学公式的，只要在需要显示数学公式的网站加入代码以下代码，就可以实现支持数学公式的功能。
最近评论