31
Jul
Transformer升级之路：11、将β进制位置进行到底
By 苏剑林 | 2023-07-31 | 40943位读者 | 引用在文章《Transformer升级之路：10、RoPE是一种β进制编码》中，我们给出了RoPE的$\beta$进制诠释，并基于进制转化的思路推导了能够在不微调的情况下就可以扩展Context长度的NTK-aware Scaled RoPE。不得不说，通过类比$\beta$进制的方式来理解位置编码，确实是一个非常美妙且富有启发性的视角，以至于笔者每次深入思考和回味之时，似乎总能从中得到新的领悟和收获。
本文将重新回顾RoPE的$\beta$进制诠释，并尝试将已有的NTK-aware Scaled RoPE一般化，以期望找到一种更优的策略来不微调地扩展LLM的Context长度。
进制类比
我们知道，RoPE的参数化沿用了Sinusoidal位置编码的形式。而不知道是巧合还是故意为之，整数$n$的Sinusoidal位置编码，与它的$\beta$进制编码，有很多相通之处。
6
Jul
Transformer升级之路：10、RoPE是一种β进制编码
By 苏剑林 | 2023-07-06 | 105803位读者 | 引用对关心如何扩展LLM的Context长度的读者来说，上周无疑是激动人心的一周，开源社区接连不断地出现令人振奋的成果。首先，网友@kaiokendev在他的项目SuperHOT中实验了“位置线性内插”的方案，显示通过非常少的长文本微调，就可以让已有的LLM处理Long Context。几乎同时，Meta也提出了同样的思路，带着丰富的实验结果发表在论文《Extending Context Window of Large Language Models via Positional Interpolation》上。惊喜还远不止此，随后网友@bloc97提出了NTK-aware Scaled RoPE，实现了不用微调就可以扩展Context长度的效果！
以上种种进展，尤其是NTK-aware Scaled RoPE，迫使笔者去重新思考RoPE的含义。经过分析，笔者发现RoPE的构造可以视为一种$\beta$进制编码，在这个视角之下，开源社区的这些进展可以理解为对进制编码编码的不同扩增方式。
5
Aug
【NASA每日一图】“蒸发”中的参宿四
By 苏剑林 | 2009-08-05 | 20121位读者 | 引用
23
Aug
七夕情缘|寻找牛郎织女
By 苏剑林 | 2009-08-23 | 23026位读者 | 引用2009年的七夕快到了，今年的七夕是8月26日（星期三）。科学空间祝福大家七夕快乐，愿天下有情人终成眷属！
七夕故事：
在我国，农历七月初七的夜晚，天气温暖，草木飘香，这就是人们俗称的七夕节，也有人称之为“乞巧节”或“女儿节”，这是中国传统节日中最具浪漫色彩的一个节日，也是过去姑娘们最为重视的日子。
在晴朗的夏秋之夜，天上繁星闪耀，一道白茫茫的银河横贯南北，争河的东西两岸，各有一颗闪亮的星星，隔河相望，遥遥相对，那就是牵牛星和织女星。
七夕坐看牵牛织女星，是民间的习俗，相传，在每年的这个夜晚，是天上织女与牛郎在鹊桥相会之时。织女是一个美丽聪明、心灵手巧的仙女，凡间的妇女便在这一天晚上向她乞求智慧和巧艺，也少不了向她求赐美满姻缘，所以七月初七也被称为乞巧节。
故事就不多说了，有兴趣了解的可以参考以下网站：
http://www.china.com.cn/ch-jieri/qixi/1.htm
27
Jan
新年快乐：2010年2月重要天象
By 苏剑林 | 2010-01-27 | 18674位读者 | 引用
201002150000星空图
精彩天象不断的一月刚刚过去，我们迎来了夜空相对寂寥的2月。对于我们来说，本月是今年天象最少的一个月。尽管如此，我们依旧十分喜庆——本月14日，是我国传统的新春佳节，在此科学空间祝大家新年快乐、工作顺利、生活愉快！
春节期间有几个月光干扰较少的暗夜。近几年不少城里人都喜欢在春节期间到乡村去体验更浓的年味，如果天气晴朗，晚上正好有机会可以看看美丽的星空，过一个欢乐而有意义的长假。 站长也是农村里的孩子，欢迎各位同好来访，站长定会招待。不过今年将近过了一个月了，我只看到过一晚的星星，其余的不是阴天就是下雨，太阳也没有见到几回。因此，欢迎大家来贺新年！
9
Feb
函数图像旋转公式（“想当然”的教训）
By 苏剑林 | 2010-02-09 | 92302位读者 | 引用
1
Feb
新春快乐！2011年2月重要天象
By 苏剑林 | 2011-02-01 | 28501位读者 | 引用相对于其他月份，2月的天空总显得有些寂寞。不过，这并不影响我们开心的情绪。因为通常中国最重要的节日——春节都发生在二月，今年也不例外。春节是农历年的开始，对中国人来说，它才是真正的2011的第一天！新年伊始，科学空间大家天天快乐，心想事成，愿BoJone的人生之旅上能够一直与各位科学爱好者相伴。
天象大观：
01日 金星距太阳: 45.4° W
05日 00:49 火星合日
08日 半人马α流星雨极大
12日 05:32 月合昴宿星团: 1.5° N
17日 17:15 海王星合日
22日 09:02 月合角宿一: 2.8° N
25日 13:26 月合心宿二: 2.9° S
25日 16:27 水星上合日.
25
Jul
最近评论