科学空间|Scientific Spaces

从文章《从语言模型到Seq2Seq：Transformer如戏，全靠Mask》中我们可以知道，只要配合适当的Attention Mask，Bert（或者其他Transformer模型）就可以用来做无条件生成（Language Model）和序列翻译（Seq2Seq）任务。

可如果是有条件生成呢？比如控制文本的类别，按类别随机生成文本，也就是Conditional Language Model；又比如传入一副图像，来生成一段相关的文本描述，也就是Image Caption。

相关工作

八月份的论文《Encoder-Agnostic Adaptation for Conditional Language Generation》比较系统地分析了利用预训练模型做条件生成的几种方案；九月份有一篇论文《CTRL: A Conditional Transformer Language Model for Controllable Generation》提供了一个基于条件生成来预训练的模型，不过这本质还是跟GPT一样的语言模型，只能以文字输入为条件；而最近的论文《Plug and Play Language Models: a Simple Approach to Controlled Text Generation》将$p(x|y)$转化为$p(x)p(y|x)$来探究基于预训练模型的条件生成。

条件Normalization示意图

不过这些经典工作都不是本文要介绍的。本文关注的是以一个固定长度的向量作为条件的文本生成的场景，而方法是Conditional Layer Normalization——把条件融合到Layer Normalization的$\beta$和$\gamma$中去。

点击阅读全文...

正式直播活动计划于北京时间7月22日7时30分开始，11时30分结束，持续约4个小时。

（观看请安装PPlive插件，只能用IE或者IE内核浏览器观看）

简介：

点击阅读全文...

新浪科技讯 北京时间7月28日消息，据国外媒体报道，数学经常会让聪明人感觉自己笨得不行，有时甚至会让他们很生气。

事实上，数学本身非常有趣，它是我们日常生活的一部分，每个人都能从中获得享受。只不过在课堂上，数学被一些死板的老师教死板了。以下就是英国《每日邮报》最近公布的日常生活中的趣味数学：

你身上的计算器

从左到右给你的手指编

点击阅读全文...

A,B,C,D四人做10道回答是否的问题，答对了得一分，四人的答案和A,B,C的得分如图所示。问D的得分是多少？（附加说明：这里的答错不扣分）

事实上，这道题目本身已经把难度降到非常低了，因此推荐大家都去想一下。
如果你实在没有心思去想，可以直接看答案（不推荐）。

点击阅读全文...

美国当地时间28日上午11时30分(北京时间昨晚11时30分)，虽然海上的薄雾还未散去，美国宇航局的“战神Ⅰ-X”火箭在佛罗里达肯尼迪航天中心咆哮着发射升空。它是人类有史以来威力最大的火箭，这也是肯尼迪航天中心发出的最大的声音。

“战神I－X”火箭

“阿波罗11号”从这里登月40年之后，肯尼迪航天中心决心再次登月，这是美国重返月球的第一步。

点击阅读全文...

一枚炮弹以速度$v_0$向上射出，只考虑重力因素，请问炮弹到达多远的距离后就会开始自由下落？

大炮的发射

对于这个问题，我们首先采取的是高中生的做法。考虑地球重力，也就是说炮弹在做加速度为-g（-9.8m/s²）的匀变速运动。根据公式$v_t^2-v_0^2=2as$，可得$s=\frac{v_0^2}{2g}$。
此即炮弹能够走得最远距离。

但是看了这条式子，我们会发现，这个“距离”始终是有限的。换一句话说，只要$v_0$不趋于无穷大，s就不会无穷大。但是我们还听到过牛顿这样说过：假如炮弹以某个速度（就是我们现在所所说的第二宇宙速度）飞离地球，它就永远不会回来了。两者不是矛盾吗？

点击阅读全文...

两只小乌龟

寒假到了，黄老师说今年回老家去看看，所以把他宿舍里的几只小动物都家养在我家里了。其中有两只小乌龟，一只小猫。（喵喵喵...）

这个假期可以好好地近距离接触和观察小动物了。

小动物们都挺听话的，很是可爱，只是希望在下学期回来之后，老师不会看到成功减肥的猫。（^_^）

不多说了，先上图，瞧瞧它们（乡下地方，很简陋，见笑了）——

点击阅读全文...

最近发现科学空间的评论栏多次出现广告，内容有购物的、交友的等，更令人气愤的是广告内容都是外文的，包括俄语、英语，令人防不胜防。所以现在在这里严厉声明（外文版本为Google自动翻译，希望内行人士指证）：

中文版：
1、为了维护本blog利益，请不要在这里发布广告，这里仅仅是一个非营利性的科学博客！
2、在这里发布广告，也不会对你的网站产生任何的推广效果，反而会被删除以及得到坏形象！

俄文版：
1, пожалуйста, не реклама здесь, здесь просто некоммерческой науки блог!
2, если вы рекламируете здесь, он не может популяризации Вашего веб-сайта, и он будет удален, и вы дали негативный имидж к другим!

英文版：
1, Please do not advertise here, here is just a non-profit science blog!
2, If you advertise here, it can not popularize your web site , and it will be removed and you will gave a bad image to others!

点击阅读全文...