1
Sep
Decoder-only的LLM为什么需要位置编码？
By 苏剑林 | 2024-09-01 | 14818位读者 | 引用众所周知，目前主流的LLM，都是基于Causal Attention的Decoder-only模型（对此我们在《为什么现在的LLM都是Decoder-only的架构？》也有过相关讨论），而对于Causal Attention，已经有不少工作表明它不需要额外的位置编码（简称NoPE）就可以取得非平凡的结果。然而，事实是主流的Decoder-only LLM都还是加上了额外的位置编码，比如RoPE、ALIBI等。
那么问题就来了：明明说了不加位置编码也可以，为什么主流的LLM反而都加上了呢？不是说“多一事不如少一事”吗？这篇文章我们从三个角度给出笔者的看法：
1、位置编码对于Attention的作用是什么？
2、NoPE的Causal Attention是怎么实现位置编码的？
3、NoPE实现的位置编码有什么不足？
26
Sep
利用“熄火保护 + 通断器”实现燃气灶智能关火
By 苏剑林 | 2024-09-26 | 3314位读者 | 引用
16
Oct
以自然数幂为系数的幂级数
By 苏剑林 | 2010-10-16 | 30427位读者 | 引用$\sum_{i=0}^{\infty} a_i x^i=a_0+a_1 x+a_2 x^2+a_3 x^3+...$
最近为了数学竞赛，我研究了有关数列和排列组合的相关问题。由于我讨厌为某个问题而设计专门的技巧，所以我偏爱通用的方法，哪怕过程相对麻烦。因此，我对数学归纳法（递推法）和生成函数法情有独钟。前者只需要列出问题的递归关系，而不用具体分析，最终把问题转移到解函数方程上来。后者则巧妙地把数列${a_n}$与幂级数$\sum_{i=0}^{\infty} a_i x^i$一一对应，巧妙地通过代数运算或微积分运算等得到结果。这里我们不用考虑该级数的敛散性，只需要知道它对应着哪一个“母函数”（母函数展开泰勒级数后得到了级数$\sum_{i=0}^{\infty} a_i x^i$）。显然，这两种方法的最终，都是把问题归结为代数问题。
小时候总是听到“光阴似箭”，却总是觉得时间过得飞快，尤其是放假的时间迟迟不来。而现在，随着年龄的增长，我却发现，想要留住时间，如同抽刀断水一般，无济于事。尤其是美好的时刻，稍瞬即逝。大学，上学、军训的情况依然清晰在目，犹如发生在昨天，而现在已经是寒假了。有时我会怀疑是不是我的记忆力增强了，却发现没有这回事。原来，真相只有一个：光阴似箭！
我不喜欢仔细地规划自己的人生，因为未来太多未知了，也许你今天发现这方面很有趣，明天又会发现另一方面很有趣，所以我只知道我尽力做好当前喜欢做的事情就行。因此，在上大学之前，我也没有对大学想太多。想象中的大学是一个静静自修的教室加上一个丰富的图书馆而已。来到华师，确实有点意外，也有点遗憾，但是，仅此而已。虽然以前努力过要奔向更优秀的大学，但是这已经成为我宝贵的经验。以后在和朋友聊天时，我又多了一个话题。这不得不说是一件很美妙的事情！
高三高考用考场，我们就放假了。无奈高三正兴致勃勃地写着作文的同时，我们这群“低年级”也得写作文。这一次作文是标题作文——《人与路》
人与路的关系是什么？是人在走路，还是路在指引着人？
不同的人会有不同的答案。但是在我看来，智者总在走路，而愚者却在“被走路”。走路的人清楚自己的方向，敢于追逐自己所喜欢的，拥有无畏的精神；“被走路”的人无法找到心中的罗盘，就好比云雾中的星光，飘忽不定。两个人的路的终点都是一样的，只是一个人走到了，一个人没有走到。
当我们在人生的大海中航行时，我们是否能够认识到，我们究竟在“走路”还是“被走路”呢？只有自己走路，才能够更好地追逐自己的梦想，使自己的人生更上一层楼！
6
Oct
2010年诺贝尔化学奖出炉,美日科学家分享
By 苏剑林 | 2010-10-06 | 21367位读者 | 引用
The Astroncial Events Of 2010
1月1日月偏食，2：51初亏，3：23食甚，3：54复圆。食分0.082。
1月3日 火星合月
1月4日 象限仪流星雨极大
1月5日 水星下合日
1月6日 16时土星合月
1月12日 金星上合日
1月15日 日环食，我国各地从15时-15时30分初亏，云南，四川，重庆，湖北，河南，山东的部分地区可见环食。1时土星留，变为逆行。
1月16日 水星留，变为顺行。金星合月。
1月25日 19时月掩昴星团
1月27日 水星西大距
1月29日 19时42分火星冲日。-1.32等
1月30日 9时火星合月
25
Jul
最近评论