科学空间|Scientific Spaces

由于后面几篇要讲解Word2Vec怎么用，因此笔者先训练好了一个Word2Vec模型。为了节约读者的时间，并且保证读者可以复现后面的结果，笔者决定把这个训练好的模型分享出来，用Gensim训练的。单纯的词向量并不大，但第一篇已经说了，我们要用到完整的Word2Vec模型，因此我将完整的模型分享出来了，包含四个文件，所以文件相对大一些。

提醒读者的是，如果你想获取完整的Word2Vec模型，又不想改源代码，那么Python的Gensim库应该是你唯一的选择，据我所知，其他版本的Word2Vec最后都是只提供词向量给我们，没有完整的模型。

对于做知识挖掘来说，显然用知识库语料（如百科语料）训练的Word2Vec效果会更好。但百科语料我还在爬取中，爬完了我再训练一个模型，到时再分享。

模型概况

这个模型的大概情况如下：
$$\begin{array}{c|c}
\hline
\text{训练语料} & \text{微信公众号的文章，多领域，属于中文平衡语料}\\
\hline
\text{语料数量} & \text{800万篇，总词数达到650亿}\\
\hline
\text{模型词数} & \text{共352196词，基本是中文词，包含常见英文词}\\
\hline
\text{模型结构} & \text{Skip-Gram + Huffman Softmax}\\
\hline
\text{向量维度} & \text{256维}\\
\hline
\text{分词工具} & \text{结巴分词，加入了有50万词条的词典，关闭了新词发现}\\
\hline
\text{训练工具} & \text{Gensim的Word2Vec，服务器训练了7天}\\
\hline
\text{其他情况} & \text{窗口大小为10，最小词频是64，迭代了10次}\\
\hline
\end{array}$$

点击阅读全文...

不少读者都应该知道，损失函数与评测指标的不一致性是机器学习的典型现象之一，比如分类问题中损失函数用交叉熵，评测指标则是准确率或者F1，又比如文本生成中损失函数是teacher-forcing形式的交叉熵，评测指标则是BLEU、ROUGE等。理想情况下，当然是评测什么指标，我们就去优化这个指标，然而评测指标通常都是不可导的，而我们多数都是使用基于梯度的优化器，这就要求最小化的目标必须是可导的，这是不一致性的来源。

前些天在arxiv刷到了一篇名为《MLE-guided parameter search for task loss minimization in neural sequence modeling》的论文，顾名思义，它是研究如何直接优化文本生成的评测指标的。经过阅读，笔者发现这篇论文很有价值，事实上它提供了一种优化评测指标的新思路，适用范围并不局限于文本生成中。不仅如此，它甚至还包含了一种理解可导优化与不可导优化的统一视角。

采样视角

首先，我们可以通过采样的视角来重新看待优化问题：设模型当前参数为$\theta$，优化目标为$l(\theta)$，我们希望决定下一步的更新量$\Delta\theta$，为此，我们先构建分布
\begin{equation}p(\Delta\theta|\theta)=\frac{e^{-[l(\theta + \Delta\theta) - l(\theta)]/\alpha}}{Z(\theta)},\quad Z(\theta) = \int e^{-[l(\theta + \Delta\theta) - l(\theta)]/\alpha} d(\Delta\theta)\end{equation}

点击阅读全文...

1、说话最快的人︰1995年，加拿大人西恩·夏农用23.8秒背诵完《哈姆雷特》中“生还是死”的独白。

2、被单人拉行100英尺的最重汽车︰今年澳大利亚人德雷克·伯雅单人將30.68吨重的拖车拉行了30.5米。

3、跳浅水的最大高度︰今年一月，美国路易斯安那州的达尼·辛吉伯顿从8.9米的高度跳入30厘米深的水中。

4、憋气时间最长︰1959年，美国的濒B特·福斯特憋气13分零42.5秒。

5、全身与冰接触的最长时间︰今年一月，荷兰的威姆·霍夫在一个装满冰块的管子里呆了1小时零17分。

点击阅读全文...

太阳系中有多少颗行星？官方的回答是八颗——除非你碰巧住在美国伊利诺斯州。2009年初，“目中无人”的伊利诺斯州政府宣布，为”行星”制定标准的国际天文学联合会（IAU）其实是不公正地剥夺了冥王星的”行星”头衔。

三年前，IAU决定为“行星”一词起草首个科学上的定义。

在捷克首都布拉格召开的IAU大会上经过数天的激烈争论，与会代表投票通过了一个行星的定义。根据这个定义，冥王星被排除在了行星的行列之外，降级为“矮行星”。

[图片说明]：冥王星系统的想象画。

点击阅读全文...

由于备战考试，这篇预报姗姗来迟。现在，终于可以跟大家见面了。2009年最后一月的夜空，并没有因为严冬的到来而显得冷清。精彩天象将接踵而来，想必寒冷的天气挡不住天文爱好者的热情。当然，光有热情还不够，防寒的措施一定要做好，要是为了一夜观测而吊上一周的点滴，那就不大好了。

12月22日是冬至节气，意味着北半球到了黑夜最长的时段，可观测时间也达到了最长！在这里我也希望大家合理安排观测时间，注意休息，切勿过于疲劳。愿大家在最好的一个月中，能够更好地享受天文的乐趣，以此完美地结束这个天文年！

点击阅读全文...

均匀大圆挖去小圆后，求质心(重心)

不论在数学题目上，或者是物理应用中，我们总能够看到类似的题目：求一个规则物体挖去（或增加）一个规则物体后，其剩下部分的质心（重心）。

点击阅读全文...

太阳

为了准备IOAA，同时也加深对天体物理的理解，所以就系统地学习一下天体物理学了。今天看到“太阳”这一章，并由此简单估算了一下太阳的中心压强和温度。

天体物理学给出了关于恒星结构的一些方程。假设存在一颗各项同性的球形恒星，则有
$\frac{dm(r)}{dr}=4\pi r^2 \rho(r)$————质量方程
其中m(r)是与恒星球心距离为r的一个球形区域内的总质量，$\rho(r)$是距离球心r处的物质的密度。我们也可以写成积分的形式
$$m(r)=\int_0^R 4\pi r^2 \rho(r)dr$$
其中R是恒星半径。这个方程的意思其实就是每一个壳层的质量叠加，所以就不详细推导了。

点击阅读全文...

开发太空天梯

漫话
BoJone认为，科学的意义并非在于无休止地计算，而是利用有限的科学理论来解释尽可能多的自然、生活现象。正因如此，科学家们追求和谐、简洁、优美的科学理论。科学就是想方设法地把未知变成已知，并在此基础上进一步发展。

随着媒体技术的发展，我们接触信息的渠道越来越多。每每我们从互联网或报纸上看到一则科学新闻时，我们几乎都会为之兴奋。但是，外行看热闹，内行看门道。对于真正热爱科学的朋友来说，也许会更加感兴趣新闻内容的来由。也就是说，我们希望进一步了解结论是怎样得出来的——哪怕只是在很浅的层面上认识。

点击阅读全文...