28
Dec
【分享】兴隆山的双子座流星雨
By 苏剑林 | 2015-12-28 | 27501位读者 | 引用
24
Aug
Transformer升级之路：14、当HWFA遇见ReRoPE
By 苏剑林 | 2023-08-24 | 29280位读者 | 引用在上一篇文章《Transformer升级之路：13、逆用Leaky ReRoPE》中，笔者尝试通过在训练阶段逆用Leaky ReRoPE的思路，使得推理阶段的位置编码变为正常的RoPE，从而在达到长度外推的同时解决ReRoPE推理变慢的缺点。遗憾的是，从实验结果来看，“Leaky ReRoPE → RoPE”的效果并不如“RoPE → ReRoPE/Leaky ReRoPE”，因此这个问题尚未完全解决。
此时，笔者想到此前在《Transformer升级之路：9、一种全局长度外推的新思路》提出的HWFA本身就具有一定的长度外推能力，如果跟ReRoPE“强强联合”，是否会有更好的效果？更关键是，HWFA的加入可以大幅度降低推理成本，从而弥补ReRoPE的不足！
温故
首先，“例行公事”地回顾一下HWFA。HWFA（Hybird Window-Full Attention）并非一个具体的模型，而是一种Attention的组合方式，能够在基本保持效果不变的前提下，增强Attention模型的长度外推能力，同时还能降低训练和推理成本。
5
Aug
【NASA每日一图】“蒸发”中的参宿四
By 苏剑林 | 2009-08-05 | 20881位读者 | 引用
8
Aug
彗星(非小行星)重创月球
By 苏剑林 | 2009-08-08 | 19007位读者 | 引用
18
Aug
I care ! 我在乎，我行动！| 绿色和平
By 苏剑林 | 2009-08-18 | 24322位读者 | 引用
12
Sep
微积分学习（二）：导数
By 苏剑林 | 2009-09-12 | 20080位读者 | 引用自从上次写了关于微积分中的极限学习后，就很长的时间没有与大家探讨微积分的学习了（估计有20多天了吧）。启事，我自己也是从今年的9月下旬才开始系统地学习微积分的，到现在也就一个月的时间吧。学习的内容有：集合、函数、极限、导数、微分、积分。不过都是一元微积分，多元的微积分正在紧张地进修中......
现在不妨和大家探讨一下关于微积分中的最基本内容——“导数”的学习。
其实，用最简单的说法，如果存在函数$f(x)$，那么它的导数（一阶导数）为
$$\lim_{\Delta x->0} f'(x)=\frac{f(x+\Delta x)-f(x)}{\Delta x}$$
28
Feb
最近评论