22
Jul
初试在Python中使用PARI/GP
By 苏剑林 | 2014-07-22 | 31137位读者 | 引用
26
Aug
fashion-mnist的gan玩具
By 苏剑林 | 2017-08-26 | 59757位读者 | 引用
fashion_mnist_demo
mnist的手写数字识别数据集一直是各种机器学习算法的试金石之一，最近有个新的数据集要向它叫板，称为fashion-mnist，内容是衣服鞋帽等分类。为了便于用户往fashion-mnist迁移，作者把数据集做成了几乎跟mnist手写数字识别数据集一模一样——同样数量、尺寸的图片，同样是10分类，甚至连数据打包和命名都跟mnist一样。看来fashion mnist为了取代mnist，也是拼了，下足了功夫，一切都做得一模一样，最大限度降低了使用成本～这叫板的心很坚定呀。
叫板的原因很简单——很多人吐槽，如果一个算法在mnist没用，那就一定没用了，但如果一个算法在mnist上有效，那它也不见得在真实问题中有效～也就是说，这个数据集太简单，没啥代表性。
fashion-mnist的github：https://github.com/zalandoresearch/fashion-mnist/
6
May
记录一次爬取淘宝/天猫评论数据的过程
By 苏剑林 | 2015-05-06 | 172276位读者 | 引用笔者最近迷上了数据挖掘和机器学习，要做数据分析首先得有数据才行。对于我等平民来说，最廉价的获取数据的方法，应该是用爬虫在网络上爬取数据了。本文记录一下笔者爬取天猫某商品的全过程，淘宝上面的店铺也是类似的做法，不赘述。主要是分析页面以及用Python实现简单方便的抓取。
笔者使用的工具如下
Python 3——极其方便的编程语言。选择3.x的版本是因为3.x对中文处理更加友好。
Pandas——Python的一个附加库，用于数据整理。
IE 11——分析页面请求过程（其他类似的流量监控工具亦可）。
剩下的还有requests,re，这些都是Python自带的库。
实例页面（美的某热水器）：http://detail.tmall.com/item.htm?id=41464129793
24
May
It is time.
By 苏剑林 | 2015-05-24 | 55808位读者 | 引用终于可以缓一缓了~~
有留意科学空间的朋友可能发现这段时间更新比较缓慢，这一切还得从今年寒假说起...
今年一月底，由于各种原因，结合自己的兴趣，我找了一份实习工作，内容是Python编程。工作是在华南理工大学的论坛上发布的，说的比较简洁，我也比较简洁地投了简历过去，想不到收到回复了，也被录用了。二月上班，进去之后，才发现原来公司还是一家国内比较知名的电商企业，我的主要工作是数据挖掘...虽然我有一点Python的经验，但是数据挖掘基本上不在行的，所以只能够边工作边学习，疯狂恶补数据挖掘的知识。在这个过程中，我学会了很多关于数据挖掘的东西，要知道，在这之前，我不知道什么叫“特征”，什么是“逻辑回归”、“SVM”...那时候真是万千无知。
15
Jul
漫话模型|模型与选芒果
By 苏剑林 | 2015-07-15 | 38809位读者 | 引用很多人觉得“模型”、“大数据”、“机器学习”这些字眼很高大很神秘，事实上，它跟我们生活中选水果差不了多少。本文用了几千字，来试图教会大家怎么选芒果...
模型的比喻
芒果
假如我要从一批芒果中，找出好吃的那个来。而我不能直接切开芒果尝尝，所以我只能观察芒果，能观察到的量有颜色、表面的气味、大小等等，这些就是我们能够收集到的信息（特征）。
生活中还要很多这样的例子，比如买火柴（可能年轻的城里人还没见过火柴？），如何判断一盒火柴的质量？难道要每根火柴都划划，看看着不着火？显然不行，我们最多也只能划几根，全部划了，火柴也不成火柴了。当然，我们还能看看火柴的样子，闻闻火柴的气味，这些动作是可以接受的。
21
Oct
把Python脚本放到手机上定时运行
By 苏剑林 | 2015-10-21 | 42800位读者 | 引用毫无疑问，数据是数据分析的基础，而对于我等平民来说，获取大量数据的方式自然是通过爬虫采集，而对于笔者来说，写爬虫最自然的方式就是用Python写了。短短几行代码，就可以完成一个实用的爬虫，多清爽。（请参考：《记录一次爬取淘宝/天猫评论数据的过程》）
爬虫要住在哪里？
接下来的一个问题是，这个爬虫放到哪里运行？为了爬取每天更新的数据，往往需要每天都要运行一次爬虫，特别地，是在某个点定时运行。这样的话，老挂在自己的电脑运行是不大现实，因为自己的电脑总有关机的时候。也许有读者会想到放在云服务器里边，这是个方法，但是需要额外的成本。受到小虾大神的启发，我开始想把它放到路由器里边运行，某些比较好的路由器是可以外接U盘，且可以刷open-wrt系统的（一个Linux内核的路由器系统，可以像普通Linux那样装Python）。这对我来说是一种很吸引人的做法，但是我对Linux环境下的编译并不熟悉，尤其是路由器环境下的操作；另外路由器配置很低，一般都只是16M闪存、64M内存，如果没有耐心，那么是很难受得了的。
7
Mar
通过ssh动态端口转发共享校园资源（附带干货）
By 苏剑林 | 2016-03-07 | 36690位读者 | 引用众所周知，校园网最宝贵的资源应该有两样：一是IPv6，IPv6是访问Google等网站的最理想途径，当然IPv6并非所有高校都有；二是论文库，一般高校都会买了一部分论文库（知网、万方等）的下载权，供校园用户使用。如果说访问Google还有VPN等诸多方式的话，那么对于校外用户来说访问知网等资源就显得格外宝贵了，一般只是叫校内用户下载，或者就只能付费了（那个贵呀！）。
站长还是学生，在学校同时享用着IPv6和论文库资源，确实很爽。自从用上Openwrt的路由之后，一直想着怎么把校园网资源共享出去。曾经考虑过搭建PPTP VPN，但是感觉略有复杂（当然，跟其他VPN相比，搭建PPTP VPN算是非常简单的了，可是我还是不怎么喜欢。），而且当时还没解决内网穿透的问题。最近借助ssh反向代理的方式实现了内网穿透，继而认识到，通过ssh动态端口转发，居然还可以搭建代理，并且实现远程访问内网（校园网）资源，而且几乎不用在路由器本身上面做任何配置。不得不说，ssh真是一个极其强大的东西呀。
添加普通帐号
既然要共享，就没理由把root账户都分享出去了，因此，第一步要实现的是在Openwrt上添加一个代理账号，而且为了安全和保密，这个账号不允许真的登陆服务器进行操作，而只允许进行端口转发。
28
Dec
最近评论