科学空间|Scientific Spaces

资料图片：试管婴儿之父、英国科学家罗伯特-爱德华兹

诺贝尔奖委员会刚刚宣布，试管婴儿之父、英国科学家罗伯特-爱德华兹因其生育学研究获得今年诺贝尔生理学或医学奖，他的研究曾使400万人得以降生。

点击阅读全文...

转眼间，为期四天的北京大学天文夏令营就已经结束了。载着不舍的情绪，含着怀念的泪光，挥一挥道别的手，营员们各自踏上了自己归家的路。美好的时光总是如箭般飞逝，纵然有万般无奈与不舍，我们依然为能够拥有这段欢聚的宝贵时光而感到满足。是的，不管我们走到哪里，我们都不会忘记我们曾经相聚过，我们始终没有忘记，在星空的底下有一群人和我一样默默凝视着璀璨的银河；我们也一直在憧憬着，下一次天文聚会的到来。

闭上眼睛，相聚的日子仿佛就是昨天，相聚的情景仿佛就在眼前。一切都是那么美好，那么珍贵。

点击阅读全文...

高斯说过“数学是科学的皇后，而算术则是数学的女王。”这里的“算术”，其实就是我们现在所说的数论。从很小的时候开始，我便对数论情有独钟。虽然后来接触了很多更为有趣的数学分支，但是对数学的热情依然不减。我想，这大概是因为小时候的情结吧。小学时候，小小年纪的我，刚刚学完素数、合数、约数、整除等等概念，对数字尤其有兴趣。我想，在那时候我唯一能够读懂的数学难题只有数论这一领域吧。比如费马大定理，$x^n+y^n=z^n$，对于n大于2没有正整数解，很容易就知道它在讲什么；再比如，哥德巴赫猜想，每个大于4的偶数都可以分拆成两个奇素数之和，也很简单就弄懂它讲的是什么。所以，小小的我看懂了这些问题后就饶有兴致地摆弄数字啦，也许正因为如此，才让我对数字乃至对数学都有深厚的爱。

哥德巴赫猜想，无疑是数论中的一个璀璨明珠，可是目前来讲，它还是可望不可即的。一个看似如此简单的猜想，却困惑了数学家几百年，至今无人能解。尽管如此，我还是愿意细细地研究它，慢慢地品味它，在“论证”、或者说验算它的时候，欣赏到数学那神秘的美妙。本文主要就是研究给定偶数的“哥德巴赫分拆数”，即通过实际验算得出每个偶数分拆为两个素数之和的不同分拆方式的数目，比如6=3+3，只有一种分拆方式；8=3+5=5+3；有两种分拆方式；10=3+7=5+5=7+3，有三种分拆方式；等等。偶数2n的分拆数记为$G_2 (2n)$。

（这里定义的“分拆数”跟网上以及一般文献中的定义不同，这里把3+5和5+3看成是两种分拆方式，而网上一般的定义是只看成一种。我这里的定义的好处在于分拆方式的数目实际表示了分拆中涉及到的所有素数的个数。）

哥德巴赫猜想很难，这话没错，但是事实上哥德巴赫猜想是一个非常弱的命题。它说“每个大于4的偶数至少可以分拆成两个奇素数之和”,用上面的术语来说，就是每个偶数的“哥德巴赫分拆数”大于或等于1。可是经过实际验算发现，偶数越大，它的哥德巴赫分拆数越大，两者整体上是呈正相关关系的，比如$G_2 (100)=12,G_2 (1000)=56,G_2 (10000)=254$......所以，从强弱程度上来讲，这和“少于n的素数至少有一个”是差不多的（当然，难度有天壤之别）。

点击阅读全文...

写在前面：前面的博文已经提过，在上个月我参加了第四届泰迪杯数据挖掘竞赛，做的是A题，跟OCR系统有些联系，还承诺过会把最终的结果开源。最近忙于毕业、搬东西，一直没空整理这些内容，现在抽空整理一下。

把结果发出来，并不是因为结果有多厉害、多先进（相反，当我对比了百度的这篇论文《基于深度学习的图像识别进展：百度的若干实践》之后，才发现论文的内容本质上还是传统那一套，远远还跟不上时代的潮流），而是因为虽然OCR技术可以说比较成熟了，但网络上根本就没有对OCR系统进行较为详细讲解的文章，而本文就权当补充这部分内容吧。我一直认为，技术应该要开源才能得到发展（当然，在中国这一点也确实值得商榷，因为开源很容易造成山寨），不管是数学物理研究还是数据挖掘，我大多数都会发表到博客中，与大家交流。

点击阅读全文...

作为OCR系统的第一步，特征提取是希望找出图像中候选的文字区域特征，以便我们在第二步进行文字定位和第三步进行识别. 在这部分内容中，我们集中精力模仿肉眼对图像与汉字的处理过程，在图像的处理和汉字的定位方面走了一条创新的道路. 这部分工作是整个OCR系统最核心的部分，也是我们工作中最核心的部分.

传统的文本分割思路大多数是“边缘检测 + 腐蚀膨胀 + 联通区域检测”，如论文[1]. 然而，在复杂背景的图像下进行边缘检测会导致背景部分的边缘过多(即噪音增加)，同时文字部分的边缘信息则容易被忽略，从而导致效果变差. 如果在此时进行腐蚀或膨胀，那么将会使得背景区域跟文字区域粘合，效果进一步恶化.（事实上，我们在这条路上已经走得足够远了，我们甚至自己写过边缘检测函数来做这个事情，经过很多测试，最终我们决定放弃这种思路。）

因此，在本文中，我们放弃了边缘检测和腐蚀膨胀，通过聚类、分割、去噪、池化等步骤，得到了比较良好的文字部分的特征，整个流程大致如图2，这些特征甚至可以直接输入到文字识别模型中进行识别，而不用做额外的处理.由于我们每一部分结果都有相应的理论基础作为支撑，因此能够模型的可靠性得到保证.

图2：特征提取大概流程

点击阅读全文...

前言：这个暑假花了不少时间在中文分词和语言模型上面，碰了无数次壁，也得到了零星收获。打算写一个专题，分享一下心得体会。虽说是专题，但仅仅是一些笔记式的集合，并非系统的教程，请读者见谅。

中文分词

关于中文分词的介绍和重要性，我就不多说了，matrix67这里有一篇关于分词和分词算法很清晰的介绍，值得一读。在文本挖掘中，虽然已经有不少文章探索了不分词的处理方法，如本博客的《文本情感分类（三）：分词 OR 不分词》，但在一般场合都会将分词作为文本挖掘的第一步，因此，一个有效的分词算法是很重要的。当然，中文分词作为第一步，已经被探索很久了，目前做的很多工作，都是总结性质的，最多是微弱的改进，并不会有很大的变化了。

目前中文分词主要有两种思路：查词典和字标注。首先，查词典的方法有：机械的最大匹配法、最少词数法，以及基于有向无环图的最大概率组合，还有基于语言模型的最大概率组合，等等。查词典的方法简单高效（得益于动态规划的思想），尤其是结合了语言模型的最大概率法，能够很好地解决歧义问题，但对于中文分词一大难度——未登录词（中文分词有两大难度：歧义和未登录词），则无法解决；为此，人们也提出了基于字标注的思路，所谓字标注，就是通过几个标记（比如4标注的是：single，单字成词；begin，多字词的开头；middle，三字以上词语的中间部分；end，多字词的结尾），把句子的正确分词法表示出来。这是一个序列（输入句子）到序列（标记序列）的过程，能够较好地解决未登录词的问题，但速度较慢，而且对于已经有了完备词典的场景下，字标注的分词效果可能也不如查词典方法。总之，各有优缺点（似乎是废话～），实际使用可能会结合两者，像结巴分词，用的是有向无环图的最大概率组合，而对于连续的单字，则使用字标注的HMM模型来识别。

点击阅读全文...

好吧，我也做了一回标题党...其实本文的分词系统是一个三层的神经网络模型，因此只是“浅度学习”，写深度学习是显得更有吸引力。NNCWS的意思是Neutral Network based Chinese Segment System，基于神经网络的中文分词系统，Python写的，目前完全公开，读者可以试用。

闲话多说

这个程序有什么特色？几乎没有！本文就是用神经网络结合字向量实现了一个ngrams形式（程序中使用了7-grams）的分词系统，没有像《【中文分词系列】 4. 基于双向LSTM的seq2seq字标注》那样使用了高端的模型，也没有像《【中文分词系列】 5. 基于语言模型的无监督分词》那样可以无监督训练，这里纯粹是一个有监督的简单模型，训练语料是2014年人民日报标注语料。

点击阅读全文...

对于了解深度学习、自然语言处理NLP的读者来说，Word2Vec可以说是家喻户晓的工具，尽管不是每一个人都用到了它，但应该大家都会听说过它——Google出品的高效率的获取词向量的工具。

Word2Vec不可思议？

大多数人都是将Word2Vec作为词向量的等价名词，也就是说，纯粹作为一个用来获取词向量的工具，关心模型本身的读者并不多。可能是因为模型过于简化了，所以大家觉得这样简化的模型肯定很不准确，所以没法用，但它的副产品词向量的质量反而还不错。没错，如果是作为语言模型来说，Word2Vec实在是太粗糙了。

但是，为什么要将它作为语言模型来看呢？抛开语言模型的思维约束，只看模型本身，我们就会发现，Word2Vec的两个模型 —— CBOW和Skip-Gram —— 实际上大有用途，它们从不同角度来描述了周围词与当前词的关系，而很多基本的NLP任务，都是建立在这个关系之上，如关键词抽取、逻辑推理等。这几篇文章就是希望能够抛砖引玉，通过介绍Word2Vec模型本身，以及几个看上去“不可思议”的用法，来提供一些研究此类问题的新思路。

点击阅读全文...