7
Aug
2009年英仙座流星雨观测
By 苏剑林 | 2009-08-07 | 19665位读者 | 引用
30
May
科学空间：2010年6月重要天象
By 苏剑林 | 2010-05-30 | 28028位读者 | 引用
20100626月球模拟
进入六月，除除了水星外肉眼可见的几颗大行星观测条件还不错。前半夜的主要观测目标是金星、火星和土星，他们之间的角距离也在逐渐缩小。后半夜木星升起，我们又有机会一睹这颗太阳系内最大行星的风采了。6月21日是夏至节气，当天北半球白昼是一年中最长的，而夜晚最短，且越往北越短。在北极圈以内地区当天太阳将不会落到地平线以下18度之内时，辉光都会影响到我们目视的极限星等，因此夏至前后一段时间北纬50度以上地区不太适合进行天文观测了。而对于北纬30至40度左右的观测者来说，这期间适合开展人造天体，特别是国际空间站的观测活动。
站长注：这篇文章来源于网络，原文是繁体中文版本，我经过修改整理而成。它原来是《费曼的6堂Easy物理课》这本书的解说，但是由于内容上的详细和扼要，我更愿意把它当做物理学家费曼的解说，与大家分享。
伟哉！费曼
社会上普遍有种错误的想法，总以为科学是完全客观的，不但不会因人而异，更不会感情用事。对比之下，科学以外的各种人类活动，则多多少少会受到一般潮流动向、突发的时尚风潮，以及当事人的性格、偏好所左右。唯有科学，得受制于科学社群都同意的规则、步骤，与严密的测试、检验。科学仅着重于得到的结论，而不在乎谁是做研究、做实验的人。
以上说法显然是无稽之谈，科学既然靠人推动，就跟其他人类活动相同，都会受到大环境趋势及个人意念的影响。在科学领域，研究潮流的趋向受到主题素材选择的影响并不大，却相当取决于当时科学家对整个世界的看法。
16
Nov
天体力学巨匠——拉普拉斯
By 苏剑林 | 2012-11-16 | 45999位读者 | 引用本文其实好几个月前就已经写好了，讲的是我最感兴趣的天体力学领域的故事，已经发表在2012年11月的《天文爱好者》上。
天体力学巨匠——拉普拉斯
作为一本天文科普杂志，《天文爱好者》着眼于普及天文，内容偏向于有趣的天体物理等，比较少涉及到天体力学。事实上，在天文发展史中，天体力学——研究天体纯粹在万有引力作用下演化的科学——占据了相当重要的地位。过去，天文就被划分为天体力学、天体物理以及天体测量学三个大块。只是在近现代，由于电子计算机的飞速发展，天体力学的多数问题都交给了计算机数值计算解决，因此这一领域逐渐淡出了人们视野。不过，回味当初那段天体力学史，依然让我们觉得激动人心。
首先引入“天体力学（Celestial mechanics）”这一术语的是法国著名数学家、天文巨匠拉普拉斯。他的全名为皮埃尔?西蒙?拉普拉斯（Pierre?Simon marquis de Laplace），因研究太阳系稳定性的动力学问题被誉为法国的牛顿和天体力学之父。他和生活在同一时代的法国著名数学家拉格朗日以及勒让德（Adrien-Marie Legendre）并称为“三L”。
神秘的少年时期
由于1925年的一场大火，很多拉普拉斯的生活细节资料都丢失了。根据W. W. Rouse Ball的说法，他可能是一个普通农民或农场工人的儿子，1749年3月23日出生于诺曼底卡尔瓦多斯省的伯蒙特恩奥格。少年时期，拉普拉斯凭借着自己的才能和热情，在富人邻居的帮助下完成了学业。他父亲希望这能使他将来以宗教为业，16岁时，他被送往卡昂大学读神学。但他很快在数学上显露头角。
欢聚兴隆，畅言科普
记信息时代的天文科普研讨会暨第三届宇宙驿站站长联谊会
在信息时代的今天，利用互联网相互交流以及查找各种资讯已经成为了许多天文爱好者的必经之道。同好们也许都浏览过牧夫天文论坛、星友空间站、空间天文网等天文科学网站，事实上，它们都源于一个共同的科普网站群体——宇宙驿站。正如她的名字所言，宇宙驿站是我们一大群天文爱好者在互联网上的“家”，她为我们这群热衷于网络科普的站长免费提供了稳定的网站空间。
宇宙驿站发起于2002年，是国家天文台LAMOST项目之一，迄今已经有近百位站长在上面“安家”。2013年6月28日到6月30日，我们这群站长齐聚兴隆，开展了一次别开生面的会议——“信息时代的天文科普研讨会暨第三届站长联谊会”。
25
Dec
从loss的硬截断、软化到focal loss
By 苏剑林 | 2017-12-25 | 193395位读者 | 引用前言
今天在QQ群里的讨论中看到了focal loss，经搜索它是Kaiming大神团队在他们的论文《Focal Loss for Dense Object Detection》提出来的损失函数，利用它改善了图像物体检测的效果。不过我很少做图像任务，不怎么关心图像方面的应用。本质上讲，focal loss就是一个解决分类问题中类别不平衡、分类难度差异的一个loss，总之这个工作一片好评就是了。大家还可以看知乎的讨论：
《如何评价kaiming的Focal Loss for Dense Object Detection？》
看到这个loss，开始感觉很神奇，感觉大有用途。因为在NLP中，也存在大量的类别不平衡的任务。最经典的就是序列标注任务中类别是严重不平衡的，比如在命名实体识别中，显然一句话里边实体是比非实体要少得多，这就是一个类别严重不平衡的情况。我尝试把它用在我的基于序列标注的问答模型中，也有微小提升。嗯，这的确是一个好loss。
接着我再仔细对比了一下，我发现这个loss跟我昨晚构思的一个loss具有异曲同工之理！这就促使我写这篇博文了。我将从我自己的思考角度出发，来分析这个问题，最后得到focal loss，也给出我昨晚得到的类似的loss。
15
Apr
基于CNN的阅读理解式问答模型：DGCNN
By 苏剑林 | 2018-04-15 | 432169位读者 | 引用2019.08.20更新：开源了一个Keras版（https://kexue.fm/archives/6906）
早在年初的《Attention is All You Need》的介绍文章中就已经承诺过会分享CNN在NLP中的使用心得，然而一直不得其便。这几天终于下定决心来整理一下相关的内容了。
背景
事不宜迟，先来介绍一下模型的基本情况。
模型特点
本模型——我称之为DGCNN——是基于CNN和简单的Attention的模型，由于没有用到RNN结构，因此速度相当快，而且是专门为这种WebQA式的任务定制的，因此也相当轻量级。SQUAD排行榜前面的模型，如AoA、R-Net等，都用到了RNN，并且还伴有比较复杂的注意力交互机制，而这些东西在DGCNN中基本都没有出现。
这是一个在GTX1060上都可以几个小时训练完成的模型！
截止到2018.04.14的排行榜
DGCNN，全名为Dilate Gated Convolutional Neural Network，即“膨胀门卷积神经网络”，顾名思义，融合了两个比较新的卷积用法：膨胀卷积、门卷积，并增加了一些人工特征和trick，最终使得模型在轻、快的基础上达到最佳的效果。在本文撰写之时，本文要介绍的模型还位于榜首，得分（得分是准确率与F1的平均）为0.7583，而且是到目前为止唯一一个一直没有跌出前三名、并且获得周冠军次数最多的模型。
3
Feb
让研究人员绞尽脑汁的Transformer位置编码
By 苏剑林 | 2021-02-03 | 193078位读者 | 引用不同于RNN、CNN等模型，对于Transformer模型来说，位置编码的加入是必不可少的，因为纯粹的Attention模块是无法捕捉输入顺序的，即无法区分不同位置的Token。为此我们大体有两个选择：1、想办法将位置信息融入到输入中，这构成了绝对位置编码的一般做法；2、想办法微调一下Attention结构，使得它有能力分辨不同位置的Token，这构成了相对位置编码的一般做法。
虽然说起来主要就是绝对位置编码和相对位置编码两大类，但每一类其实又能衍生出各种各样的变种，为此研究人员可算是煞费苦心、绞尽脑汁了，此外还有一些不按套路出牌的位置编码。本文就让我们来欣赏一下研究人员为了更好地表达位置信息所构建出来的“八仙过海，各显神通”般的编码方案。
绝对位置编码
形式上来看，绝对位置编码是相对简单的一种方案，但即便如此，也不妨碍各路研究人员的奇思妙想，也有不少的变种。一般来说，绝对位置编码会加到输入中：在输入的第$k$个向量$\boldsymbol{x}_k$中加入位置向量$\boldsymbol{p}_k$变为$\boldsymbol{x}_k + \boldsymbol{p}_k$，其中$\boldsymbol{p}_k$只依赖于位置编号$k$。
最近评论