“天地图”试用——很细致,有瑕疵
By 苏剑林 | 2010-10-30 | 19122位读者 | 引用RSGAN:对抗模型中的“图灵测试”思想
By 苏剑林 | 2018-10-22 | 125271位读者 | 引用这两天无意间发现一个非常有意义的工作,称为“相对GAN”,简称RSGAN,来自文章《The relativistic discriminator: a key element missing from standard GAN》,据说该文章还得到了GAN创始人Goodfellow的点赞。这篇文章提出了用相对的判别器来取代标准GAN原有的判别器,使得生成器的收敛更为迅速,训练更为稳定。
可惜的是,这篇文章仅仅从训练和实验角度对结果进行了论述,并没有进行更深入的分析,以至于不少人觉得这只是GAN训练的一个trick。但是在笔者来看,RSGAN具有更为深刻的含义,甚至可以看成它已经开创了一个新的GAN流派。所以,笔者决定对RSGAN模型及其背后的内涵做一个基本的介绍。不过需要指出的是,除了结果一样之外,本文的介绍过程跟原论文相比几乎没有重合之处。
“图灵测试”思想
SGAN
SGAN就是标准的GAN(Standard GAN)。就算没有做过GAN研究的读者,相信也从各种渠道了解到GAN的大概原理:“造假者”不断地进行造假,试图愚弄“鉴别者”;“鉴别者”不断提高鉴别技术,以分辨出真品和赝品。两者相互竞争,共同进步,直到“鉴别者”无法分辨出真、赝品了,“造假者”就功成身退了。
在建模时,通过交替训练实现这个过程:固定生成器,训练一个判别器(二分类模型),将真实样本输出1,将伪造样本输出0;然后固定判别器,训练生成器让伪造样本尽可能输出1,后面这一步不需要真实样本参与。
问题所在
然而,这个建模过程似乎对判别器的要求过于苛刻了,因为判别器是孤立运作的:训练生成器时,真实样本没有参与,所以判别器必须把关于真实样本的所有属性记住,这样才能指导生成器生成更真实的样本。
最小熵原理(四):“物以类聚”之从图书馆到词向量
By 苏剑林 | 2018-12-02 | 92085位读者 | 引用从第一篇看下来到这里,我们知道所谓“最小熵原理”就是致力于降低学习成本,试图用最小的成本完成同样的事情。所以整个系列就是一个“偷懒攻略”。那偷懒的秘诀是什么呢?答案是“套路”,所以本系列又称为“套路宝典”。
本篇我们介绍图书馆里边的套路。
先抛出一个问题:词向量出现在什么时候?是2013年Mikolov的Word2Vec?还是是2003年Bengio大神的神经语言模型?都不是,其实词向量可以追溯到千年以前,在那古老的图书馆中...
走进图书馆
图书馆里有词向量?还是千年以前?在哪本书?我去借来看看。
放书的套路
其实不是哪本书,而是放书的套路。
很明显,图书馆中书的摆放是有“套路”的:它们不是随机摆放的,而是分门别类地放置的,比如数学类放一个区,文学类放一个区,计算机类也放一个区;同一个类也有很多子类,比如数学类中,数学分析放一个子区,代数放一个子区,几何放一个子区,等等。读者是否思考过,为什么要这么分类放置?分类放置有什么好处?跟最小熵又有什么关系?
又折腾网络了......
By 苏剑林 | 2012-09-25 | 24751位读者 | 引用今晚主要干了两件事情:
1、实现了在windows 8的情况下,把自己的笔记本当做wifi的信号发射点,共享校园网(即“笔记本 wifi 热点”那技术,不知道这样会不会折损电脑寿命呀)。主要方法如下:
1.1、安装.net 3.5,安装方法:
挂载windows 8的安装光盘,
然后右击开始菜单(Win + X)的左下角,选择-命令提示符(管理员),接着然后输入如下命令:
dism.exe /online /enable-feature /featurename:NetFX3 /Source:F:\sources\sxs
其中F是安装光盘的驱动器符号。接下来是漫长等待,估计会有十多分钟,就会提示安装进度100%了。
1.2、安装Connectify软件,直接到官网下载最新的精简版就行,有兴趣可以购买专业版。安装后需要重新启动,然后简单地配置一下就行了,不再细说。
附:
顺便提一下,我也试过国内的wifi共享精灵,但是发现它会卡在“查找当前配置信息”那里,这折腾了我几个小时,最终还是没有解决...所以还是用回外国软件了。
中山大学力学网络教程
By 苏剑林 | 2010-07-21 | 19043位读者 | 引用为了避免以后出现资源无法访问的问题,BoJone把这部分内容拷贝到了科学空间的服务器上。
您现在所看到的版本,是位于“科学空间”服务器上的。
天文望远镜拍到宇宙最美部分(图)
By 苏剑林 | 2009-07-18 | 17917位读者 | 引用日本科学家发现人体能发出可见光(图)
By 苏剑林 | 2009-07-23 | 18776位读者 | 引用企图减缓美国数学进展的“阴谋”
By 苏剑林 | 2009-07-26 | 23333位读者 | 引用宇宙中存在所谓的“黑洞”,只要你步入了它的视界之内,就永远也出不去了(除非你能够超光速)。在数学中,也有类似的规则,只要把一个自然数代入这个规则,都无一不会陷入无限的循环之中,这样称之为“数字黑洞”。有一个“数字黑洞”,它令人十分着迷,甚至有人称它为“企图减缓美国数学进展的阴谋”——这就是“冰雹猜想”。
冰雹猜想:
任选一个自然数。当选定的自然数是偶数,将它除以2,如是奇数,将它乘以3加上1;当变换后的自然数成了偶数,再将它除以2,如成了奇数,再将它乘以3加上1,连续进行下去,最后都“落叶归根”——变成了1。
最近评论