21
Oct
把Python脚本放到手机上定时运行
By 苏剑林 | 2015-10-21 | 38158位读者 | 引用毫无疑问，数据是数据分析的基础，而对于我等平民来说，获取大量数据的方式自然是通过爬虫采集，而对于笔者来说，写爬虫最自然的方式就是用Python写了。短短几行代码，就可以完成一个实用的爬虫，多清爽。（请参考：《记录一次爬取淘宝/天猫评论数据的过程》）
爬虫要住在哪里？
接下来的一个问题是，这个爬虫放到哪里运行？为了爬取每天更新的数据，往往需要每天都要运行一次爬虫，特别地，是在某个点定时运行。这样的话，老挂在自己的电脑运行是不大现实，因为自己的电脑总有关机的时候。也许有读者会想到放在云服务器里边，这是个方法，但是需要额外的成本。受到小虾大神的启发，我开始想把它放到路由器里边运行，某些比较好的路由器是可以外接U盘，且可以刷open-wrt系统的（一个Linux内核的路由器系统，可以像普通Linux那样装Python）。这对我来说是一种很吸引人的做法，但是我对Linux环境下的编译并不熟悉，尤其是路由器环境下的操作；另外路由器配置很低，一般都只是16M闪存、64M内存，如果没有耐心，那么是很难受得了的。
20
Jan
简单的迅雷VIP账号获取器（Python）
By 苏剑林 | 2016-01-20 | 28588位读者 | 引用在Windows工作的时候，经常会用迅雷下载东西，如果速度慢或者没资源，尤其是一些比较冷门的视频，迅雷的VIP会员服务总能够帮上大忙。后来无意间发现了有个“迅雷VIP账号获取器”的软件，可以获取一些临时的VIP账号供使用，这可是个好东西，因为开通迅雷会员虽然不贵，但是我又不经常下载，所以老感觉有点浪费，而有了这个之后，我随时下点东西都可以免费用了。
简单的迅雷VIP账号获取器
最近转移到了Mac上，而Mac也有迅雷，但那个账号获取器是exe的，不能在Mac运行。本以为获取器的构造会很复杂，谁知道，经过抓包研究，发现那个账号获取器的原理极其简单，说白了，就是一个简单的爬虫，以下这两个网站提供账号，它就到相应的抓取账号而已：
http://yunbo.xinjipin.com/
http://www.fenxs.com
据此，我也用Python简单写了一个，主要是方便我在Mac使用。读者如果有需要，也可以下载使用，代码兼容2.x和3.x的版本。主要的库是requests和re，pandas和sys的使用只不过是为了更加人性化。本来想用Tkinter写一个简单的GUI的，但是想想看，还是没必要了～～
7
Mar
通过ssh动态端口转发共享校园资源（附带干货）
By 苏剑林 | 2016-03-07 | 31950位读者 | 引用众所周知，校园网最宝贵的资源应该有两样：一是IPv6，IPv6是访问Google等网站的最理想途径，当然IPv6并非所有高校都有；二是论文库，一般高校都会买了一部分论文库（知网、万方等）的下载权，供校园用户使用。如果说访问Google还有VPN等诸多方式的话，那么对于校外用户来说访问知网等资源就显得格外宝贵了，一般只是叫校内用户下载，或者就只能付费了（那个贵呀！）。
站长还是学生，在学校同时享用着IPv6和论文库资源，确实很爽。自从用上Openwrt的路由之后，一直想着怎么把校园网资源共享出去。曾经考虑过搭建PPTP VPN，但是感觉略有复杂（当然，跟其他VPN相比，搭建PPTP VPN算是非常简单的了，可是我还是不怎么喜欢。），而且当时还没解决内网穿透的问题。最近借助ssh反向代理的方式实现了内网穿透，继而认识到，通过ssh动态端口转发，居然还可以搭建代理，并且实现远程访问内网（校园网）资源，而且几乎不用在路由器本身上面做任何配置。不得不说，ssh真是一个极其强大的东西呀。
添加普通帐号
既然要共享，就没理由把root账户都分享出去了，因此，第一步要实现的是在Openwrt上添加一个代理账号，而且为了安全和保密，这个账号不允许真的登陆服务器进行操作，而只允许进行端口转发。
28
Dec
【分享】兴隆山的双子座流星雨
By 苏剑林 | 2015-12-28 | 23153位读者 | 引用
18
Jan
当大数据进入厨房：让大数据教你做菜！
By 苏剑林 | 2016-01-18 | 37501位读者 | 引用说在前面
美食（图片来源于互联网）
在空间侧边栏的笔者的自我介绍中，有一行是“厨房爱好者”，虽然笔者不怎么会做菜，但确实，厨房是我的一个爱好。当然，笔者的爱好很多，数学、物理、天文、计算机等，都喜欢，都想学，弄到多而不精。在之前的文章中也已经提到过，数据挖掘也是我的一个爱好，而当数据挖掘跟厨房这两个爱好相遇了，会有什么有趣的结果吗？
笔者正是做了这样一个事情：从美食中国的家常菜目录下面，写了个简单的爬虫，抓取了一批菜谱数据下来，进行简单的数据分析。（在此对美食中国表示衷心感谢。选择美食中国的原因是它的数据比较规范。）数据分析在我目前公司的高性能服务器做，分析起来特别舒服～～
这里共收集了18209个菜谱，共包含了9700种食材（包括主料、辅料、调料，部分可能由于命名不规范等原因会重复）。当然，这个数据量相对于很多领域的大数据标准来说，实在不值一提。但是在大数据极少涉及的厨房，应该算是比较多的了。
7
Feb
年三十折腾极路由之SSH反向代理
By 苏剑林 | 2016-02-07 | 54430位读者 | 引用
猴年快乐！
今天是年三十了，这里简单祝大家除夕快乐，新年快乐！愿大家在新的一年里都晋升为学神。^_^
这两天主要在折腾家里的路由器。平时家里只有爸妈两人，所以为了节省，家里只是通过中继隔壁家的网络来上网。本来家里用小米路由器mini，可是小米mini中继模式下功能限制非常多，我又不想刷第三方固件（因为这样会失去app控制功能，不是很方便），所以干脆换了个极路由3。极路由在中继模式下仍然保留了大部分功能（我觉得这样才是正常的，我不理解小米mini在中继之后就没了那么多功能究竟是什么逻辑）。
作为折腾派，一个新路由到手，总有很多东西要配置，极路由本身是基于openwrt的，因此可玩性也很强。首先要完成中继，然后上网，这个很简单就不多说了。其次是获得ssh权限，在极路由那里叫做“申请开发者模式”，或者叫root（感觉极路由想做路由界的苹果，但是在如今这个时代，苹果当初那种发展模式估计很难发展起来了），这个步骤也不难，不过申请之后就会失去极路由的保修资格（不理解这是什么逻辑）。
本文主要介绍了怎么在openwrt（极路由）上安装python，以及建立SSH反向代理（实现内网穿透）。
4
Mar
趣题：如何编程列出一个集合的所有子集
By 苏剑林 | 2016-03-04 | 26234位读者 | 引用
6
Mar
最近评论