科学空间|Scientific Spaces

持续将“Transformer升级之路”系列关注到本篇的读者，想必都已经对旋转位置编码（RoPE）有所了解。简单来说，RoPE是施加在Attention的Query（$\boldsymbol{Q}$）和Key（$\boldsymbol{K}$）上的旋转变换，形式上属于绝对位置编码，但结合Attention的内积（Dot-Product）特性，能够自动实现相对位置的效果。

那么，RoPE可以加在Value（$\boldsymbol{V}$）上吗？看上去不可以，因为对$\boldsymbol{V}$旋转后就不是相对位置编码了。然而事情并没有那么绝对，本文就来讨论加在$\boldsymbol{V}$上RoPE，我们可以称之为“第二类旋转位置编码”。

基础回顾

我们将Dot-Product Attention分解为
$$\begin{equation}\boldsymbol{o}_i = \sum_j a_{i,j}\boldsymbol{v}_j,\qquad a_{i,j} = \frac{e^{s_{i,j}}}{\sum\limits_j e^{s_{i,j}}},\qquad s_{i,j} = \boldsymbol{q}_i^{\top}\boldsymbol{k}_j\end{equation}$$

点击阅读全文...

日食之后的八月，精彩天象仍将不断上演。英仙座流星雨将在本月出现极大，这同时也拉开了下半年流星雨季的大幕。木星和海王星冲日以及水星东大距等天象，将使行星观测再次成为热点。

观测关注：

太阳由巨蟹座运行到狮子座
01日 月掩心宿二
06日 南宝瓶座ι流星雨极大（ZHR=2）
07日 木星合月
11日 土星环消失（从太阳的方向看倾角为0）
12日 北宝瓶座δ流星雨极大（ZHR=5-10）
13日 英仙座流星雨极大（01:30-04:00, ZHR=100）
15日 木星冲日
16日 火星合月
17日 天鹅座κ流星雨极大（ZHR=3）
18日 金星合月；海王星冲日
20日 北宝瓶座ι流星雨极大
25日 水星东大距
28日 月掩心宿二

点击阅读全文...

今天我已经加入了“我在乎，我行动”的队伍。尽管力量渺小，都是仍有希望。愿每个人都可以行动起来！每个人都在沪，每个人都行动！

哥本哈根大会是制止气候变化的最佳机会，从现在到十二月是最重要的行动时间。我们还有多少时间拯救地球？让更多的人来参加“我在乎，我行动 ”吧！
http://icare.greenpeace.org.cn/

点击阅读全文...

据美国宇航局太空网报道，人类首次登陆月球40周年庆典已经结束，但是美国宇航局能否把人类送上火星仍是一个谜。

休斯顿美国宇航局约翰逊太空中心月球和火星综合研究部研究人员布雷特·德雷克(Bret Drake)说：“目前我们仍把人类探索火星看成是未来的最高目标。人类踏上另一颗行星的风险可能最大，但它也是最有历史纪念意义的事情。”

当前的科技水平可能刚刚达到，也有可能还远远不及前往火星的载人任务所需的技术水平。因此前往这颗红色行星的载人任务仍是一个巨大挑战。但是美国宇航局仍坚持远征火星，而且有关火星探索的新想法层出不穷。德雷克说：“火星是长期以来我们一直向往的地方。”

点击阅读全文...

9月意味着秋的到来，而十月更加是秋高气爽的季节，这样的气候对于天文爱好者来说是莫大的喜讯。而中秋和国庆的同喜，则更加令人高兴。在此提前祝愿大家国庆快乐、中秋快乐！大家想好去哪里玩了吗？

在玩之前，不妨关注下10月的天象。近期主要有三个方面的星象可供天文爱好者们观测，其中包含两场流星雨、行星合月和行星相合。喜欢拍照的朋友一定会喜欢的。

主要天象：

◆10月◆　太阳由室女座运行到天秤座
03日 中秋快乐！
06日 水星西大距
08日 月掩昴星团；水星合土星
09日 天龙座流星雨极大（00:40, ZHR=20）
12日 月掩火星
13日 金星合土星
14日 金星合木星
18日 双子座ε流星雨极大（ZHR=2）
21日 月掩心宿二；猎户座流星雨极大（ZHR=30）
23日 小狮座流星雨极大（ZHR=2）
27日 木星合月

点击阅读全文...

由于备战考试，这篇预报姗姗来迟。现在，终于可以跟大家见面了。2009年最后一月的夜空，并没有因为严冬的到来而显得冷清。精彩天象将接踵而来，想必寒冷的天气挡不住天文爱好者的热情。当然，光有热情还不够，防寒的措施一定要做好，要是为了一夜观测而吊上一周的点滴，那就不大好了。

12月22日是冬至节气，意味着北半球到了黑夜最长的时段，可观测时间也达到了最长！在这里我也希望大家合理安排观测时间，注意休息，切勿过于疲劳。愿大家在最好的一个月中，能够更好地享受天文的乐趣，以此完美地结束这个天文年！

点击阅读全文...

带着鼓励与期待，科学空间迈入了新的一年。虽然天文年已经过去，但是天文不会过去。2010年仍将是精彩天象不断上演的一年，科学空间会一如既往地带给大家准确、丰富的天象信息，为大家的天文观测提供一点点有用信息。同时在此祝大家新的一年里更加开心快乐、更上一层楼！

点击阅读全文...

文章转载于：http://gerry.lamost.org/blog/?p=417

logo_iya2009

去年是国际天文年，在翻译官方宣传手册之外，还在朋友们的鼓励下给《天文爱好者》写了一年的连载，介绍著名星表。编辑李鉴给这个系列起了个很棒的名字：“群星的族谱”。前后四五百年，二十多代天文学家，上千个星表，在新线索的串联下，发展脉络清晰可见。我常常因为灵光乍现激动得匆匆提笔，却在下笔的一刻冒出更多的问题……在积累有限之外，自己的笔力也还不足以驾驭这样宏大的题材，就当成框架索引来看好了。虽然遗憾种种，但总算是完成了

。这里是这个系列的番外篇，介绍星表数据库，发表在2010年1月的爱好者杂志上。

讲星表，就不能不提到法国斯特拉斯堡天文数据中心（Strasbourg Astronomical Data Center），这个始建于1972年的数据中心汇集了有文献记载的近万个星表，提供了详尽的查询方式，是天文学家获取数据的首选。而它的身世却少有人知……

点击阅读全文...