29
Jul
对齐全量微调！这是我看过最精彩的LoRA改进（二）
By 苏剑林 | 2024-07-29 | 14326位读者 | 引用前两周笔者写了《对齐全量微调！这是我看过最精彩的LoRA（一）》（当时还没有编号“一”），里边介绍了一个名为“LoRA-GA”的LoRA变体，它通过梯度SVD来改进LoRA的初始化，从而实现LoRA与全量微调的对齐。当然，从理论上来讲，这样做也只能尽量对齐第一步更新后的$W_1$，所以当时就有读者提出了“后面的$W_2,W_3,\cdots$不管了吗？”的疑问，当时笔者也没想太深入，就单纯觉得对齐了第一步后，后面的优化也会严格一条较优的轨迹走。
有趣的是，LoRA-GA才出来没多久，arXiv上就新出了《LoRA-Pro: Are Low-Rank Adapters Properly Optimized?》，其所提的LoRA-Pro正好能回答这个问题！LoRA-Pro同样是想着对齐全量微调，但它对齐的是每一步梯度，从而对齐整条优化轨迹，这正好是跟LoRA-GA互补的改进点。
对齐全量
本文接着上一篇文章的记号和内容进行讲述，所以这里仅对上一节的内容做一个简单回顾，不再详细重复介绍。LoRA的参数化方式是
\begin{equation}W = (W_0 - A_0 B_0) + AB\end{equation}
3
Aug
美华裔教授破百年物理定律 获国际同行喝彩(图)
By 苏剑林 | 2009-08-03 | 16091位读者 | 引用
7
Aug
【NASA每日一图】沙子般的 NGC 1313
By 苏剑林 | 2009-08-07 | 17657位读者 | 引用
19
Aug
【NASA每日一图】IC 1396 星云
By 苏剑林 | 2009-08-19 | 18187位读者 | 引用
20
Aug
2009年目视流星雨星历表
By 苏剑林 | 2009-08-20 | 18098位读者 | 引用
25
Aug
科学空间：2009年9月重要天象
By 苏剑林 | 2009-08-25 | 25183位读者 | 引用当我们还沉醉在浩瀚星河之中时，秋天已经悄然来临。天气开始变得凉爽，通透的晴天越来越多，黑夜也越来越长。热爱天文观测的你，一定钟爱这样的季节。但别忘记带上更多的厚衣服，因为这时的昼夜温差会很大。注意身体，可别让观测使自己病倒了。
同时，如果是作为学生的你，应该上学了。在新的一年级中，结识更多的同好，共同进行天文观测，将是一件无比写意的事情。
观测关注：
◆9月◆ 太阳由狮子座运行到室女座
01日 御夫座α流星雨极大（09:00, ZHR=7）
02日 金星近鬼星团（M44）
03日 木星合月
04日 土星环消失（从地球的方向看倾角为0）
10日 月掩昴星团（M45）
14日 月掩火星
17日 金星合月
18日 天王星冲日
19日 水星合月、土星合月
20日 金星合轩辕十四
24日 月掩心宿二
29日 御夫座δ流星雨极大（ZHR=3）
30日 木星合月
28
Aug
【NASA每日一图】仙王座的NGC 7822
By 苏剑林 | 2009-08-28 | 21474位读者 | 引用
27
Jul
揭秘美国宇航局将如何把人类送上火星(图)
By 苏剑林 | 2009-07-27 | 15574位读者 | 引用据美国宇航局太空网报道，人类首次登陆月球40周年庆典已经结束，但是美国宇航局能否把人类送上火星仍是一个谜。
休斯顿美国宇航局约翰逊太空中心月球和火星综合研究部研究人员布雷特·德雷克(Bret Drake)说：“目前我们仍把人类探索火星看成是未来的最高目标。人类踏上另一颗行星的风险可能最大，但它也是最有历史纪念意义的事情。”
当前的科技水平可能刚刚达到，也有可能还远远不及前往火星的载人任务所需的技术水平。因此前往这颗红色行星的载人任务仍是一个巨大挑战。但是美国宇航局仍坚持远征火星，而且有关火星探索的新想法层出不穷。德雷克说：“火星是长期以来我们一直向往的地方。”
最近评论