26
Oct
浅谈神经网络中激活函数的设计
By 苏剑林 | 2017-10-26 | 45953位读者 | 引用激活函数是神经网络中非线性的来源，因为如果去掉这些函数，那么整个网络就只剩下线性运算，线性运算的复合还是线性运算的，最终的效果只相当于单层的线性模型。
那么，常见的激活函数有哪些呢？或者说，激活函数的选择有哪些指导原则呢？是不是任意的非线性函数都可以做激活函数呢？
这里探究的激活函数是中间层的激活函数，而不是输出的激活函数。最后的输出一般会有特定的激活函数，不能随意改变，比如二分类一般用sigmoid函数激活，多分类一般用softmax激活，等等；相比之下，中间层的激活函数选择余地更大一些。
浮点误差都行！
理论上来说，只要是非线性函数，都有做激活函数的可能性，一个很有说服力的例子是，最近OpenAI成功地利用了浮点误差来做激活函数，其中的细节，请阅读OpenAI的博客：
https://blog.openai.com/nonlinear-computation-in-linear-networks/
或者阅读机器之心的介绍：
https://mp.weixin.qq.com/s/PBRzS4Ol_Zst35XKrEpxdw
8
Jul
古老的火山爆发造成地球冰期？
By 苏剑林 | 2009-07-08 | 30876位读者 | 引用
9
Jul
天文马拉松：观测国际空间站
By 苏剑林 | 2009-07-09 | 23268位读者 | 引用
6
Aug
五种零食揭示宇宙的形状
By 苏剑林 | 2009-08-06 | 20463位读者 | 引用
7
Aug
2009年英仙座流星雨观测
By 苏剑林 | 2009-08-07 | 19527位读者 | 引用
12
Aug
科学家计划研制造云船对抗全球变暖(图)
By 苏剑林 | 2009-08-12 | 23425位读者 | 引用
20
Sep
科学空间：2009年10月重要天象
By 苏剑林 | 2009-09-20 | 30847位读者 | 引用9月意味着秋的到来，而十月更加是秋高气爽的季节，这样的气候对于天文爱好者来说是莫大的喜讯。而中秋和国庆的同喜，则更加令人高兴。在此提前祝愿大家国庆快乐、中秋快乐！大家想好去哪里玩了吗？
在玩之前，不妨关注下10月的天象。近期主要有三个方面的星象可供天文爱好者们观测，其中包含两场流星雨、行星合月和行星相合。喜欢拍照的朋友一定会喜欢的。
主要天象：
◆10月◆ 太阳由室女座运行到天秤座
03日 中秋快乐！
06日 水星西大距
08日 月掩昴星团；水星合土星
09日 天龙座流星雨极大（00:40, ZHR=20）
12日 月掩火星
13日 金星合土星
14日 金星合木星
18日 双子座ε流星雨极大（ZHR=2）
21日 月掩心宿二；猎户座流星雨极大（ZHR=30）
23日 小狮座流星雨极大（ZHR=2）
27日 木星合月
18
Oct
科学空间：2009年11月重要天象
By 苏剑林 | 2009-10-18 | 22002位读者 | 引用转眼间已经快到年底了，11月天象的重头戏，仍将是流星雨。2009年的狮子座流星雨，是否会出现预测的较大爆发，这个月我们将找到答案。此外，南北金牛座流星雨、麒麟座a流星雨等几个传统的流星雨也将在本月达到极大，它们同样是值得爱好者观测的目标。适合在11月观测的行星主要是木星和火星，前者的最佳观测时机是在日落后不久，而后者在下半夜的观测条件不错。
提醒各位天文爱好者一点，制定观测计划之前一定要先查看天气预报，而且在这个寒冷的季节观测流星雨，一定要注意保暖！
主要天象：
01日 火星近鬼星团
05日 南金牛座流星雨极大（ZHR=5）
09日 火星合月
12日 北金牛座流星雨极大（ZHR=5）
13日 土星合月
16日 金星合月
17日 水星合月
18日 月掩心宿二；狮子座流星雨极大（05:45, ZHR=100+）
21日 麒麟座α流星雨极大（23:25, ZHR=5～400+?）
24日 木星合月/海王星合月
27日 天王星合月
最近评论