19
Sep
Softmax后传：寻找Top-K的光滑近似
By 苏剑林 | 2024-09-19 | 17935位读者 | 引用Softmax，顾名思义是“soft的max”，是$\max$算子（准确来说是$\text{argmax}$）的光滑近似，它通过指数归一化将任意向量$\boldsymbol{x}\in\mathbb{R}^n$转化为分量非负且和为1的新向量，并允许我们通过温度参数来调节它与$\text{argmax}$（的one hot形式）的近似程度。除了指数归一化外，我们此前在《通向概率分布之路：盘点Softmax及其替代品》也介绍过其他一些能实现相同效果的方案。
我们知道，最大值通常又称Top-1，它的光滑近似方案看起来已经相当成熟，那读者有没有思考过，一般的Top-$k$的光滑近似又是怎么样的呢？下面让我们一起来探讨一下这个问题。
问题描述
设向量$\boldsymbol{x}=(x_1,x_2,\cdots,x_n)\in\mathbb{R}^n$，简单起见我们假设它们两两不相等，即$i\neq j \Leftrightarrow x_i\neq x_j$。记$\Omega_k(\boldsymbol{x})$为$\boldsymbol{x}$最大的$k$个分量的下标集合，即$|\Omega_k(\boldsymbol{x})|=k$以及$\forall i\in \Omega_k(\boldsymbol{x}), j \not\in \Omega_k(\boldsymbol{x})\Rightarrow x_i > x_j$。我们定义Top-$k$算子$\mathcal{T}_k$为$\mathbb{R}^n\mapsto\{0,1\}^n$的映射：
\begin{equation}
[\mathcal{T}_k(\boldsymbol{x})]_i = \left\{\begin{aligned}1,\,\, i\in \Omega_k(\boldsymbol{x}) \\ 0,\,\, i \not\in \Omega_k(\boldsymbol{x})\end{aligned}\right.
\end{equation}
说白了，如果$x_i$属于最大的$k$个元素之一，那么对应的位置变成1，否则变成0，最终结果是一个Multi-Hot向量，比如$\mathcal{T}_2([3,2,1,4]) = [1,0,0,1]$。
11
Aug
广东珠海之旅（图片）
By 苏剑林 | 2009-08-11 | 17044位读者 | 引用
20
Sep
正十七边形的尺规作图存在之证明
By 苏剑林 | 2009-09-20 | 49508位读者 | 引用
6
Oct
中国香港“光纤之父”获2009诺贝尔物理学奖！
By 苏剑林 | 2009-10-06 | 28356位读者 | 引用中国网10月6日电，据诺贝尔基金会官方网站报道，瑞典皇家科学院诺贝尔奖委员会宣布，将2009年度诺贝尔物理学奖授予一名中国香港科学家高琨(Charles K. Kao)和两名美国科学家博伊尔(Willard S. Boyle)和乔治-E-史密斯(George E. Smith)。科学家Charles K. Kao 因为“在光学通信领域中光的传输的开创性成就” 而获奖，科学家因博伊尔和乔治-E-史密斯因“发明了成像半导体电路——电荷藕合器件图像传感器CCD” 获此殊荣。
2009年诺贝尔物理学奖获得者高锟、博伊尔和史密斯（从左至右）
2009年诺贝尔物理学奖获得者高锟、博伊尔和史密斯（从左至右）
25
Oct
电影《宇宙之旅》(IMAX Cosmic Voyage)
By 苏剑林 | 2009-10-25 | 32830位读者 | 引用
18
Apr
【奥赛之行】非同一般的天文奥赛
By 苏剑林 | 2010-04-18 | 22762位读者 | 引用
13
Jan
混沌的世界——“星之轨迹”的研究
By 苏剑林 | 2012-01-13 | 38307位读者 | 引用（本文已被刊登在2012年1月的《天文爱好者》上，于笔者而言这是一份很棒的新年礼物！）
在去年第七期《天爱》上，我们看到了N体问题所呈现出来的一些对称、漂亮的周期轨道，这体现了N体问题和谐有序的一面。但是这仅仅是N体问题的冰山一角，笔者也提到过N体问题的本质是混沌、无序的，通俗来讲就是非常乱，无法用数学方程来精确描述。这看起来是一种不完美。但试想，探索当初伽利略将望远镜对准月球后，看到的是如想象中光滑的月面，那么他还会惊叹宇宙的神奇吗？
本文就让我们来更深入地了解一下N体问题的研究历史。
观测&拟合时代
由于人类的自我优越感以及日月星辰东升西落的经验，让我们长期都认为地球是宇宙的中心。第一个比较系统提出地心说的人当属天文学家欧多克斯（Eudoxus，死于公元前347年左右），但他的地心说是非常粗糙的，以至于无法解释很多基本现象，如无法准确预言日食和解释行星逆行等。但亚里士多德接受了地心说，并且由于他在政治和科学上的权威，使地心说免去了夭折的命运。后来托勒密通过他的本轮，完善了地心说，使之延续到了16世纪。
最近评论