1254828977J0dfuUw3.jpg

你也许还对下面的内容感兴趣

发表你的看法

关于站长

苏剑林|BoJone，科学空间博主，【数学、天文、理论物理、写作、阅读、计算机、中国象棋、厨房】爱好者（但不专业）......目前31岁，还在单调递增。希望能一直在此分享科学之美～

你也许会关心：

科学空间|Scientific Spaces 介绍

科学空间QQ交流群：67729435

科学空间微信交流群：spaces_ac_cn

常见问题集：《科学空间FAQ》

智能搜索

支持整句搜索！网站自动使用结巴分词进行分词，并结合ngrams排序算法给出合理的搜索结果。

热门标签

随机文章

最近评论

Minliang: 请问位置编码能直接用二进制码吗？比如用长度为3的向量表示位置2就是[0,1,0]
o_glay: 哈哈，确实，就实现难度上来说，还是本文的方法简单
苏剑林: 巧了，你这个处理方式，正好是 https://kexue.fm/archives/9262 一...
苏剑林: 感谢分享实验结论。确实调整膨胀率有点类似先下采样再上采样了，但感觉过于经验，还是UG比较漂亮。...
苏剑林: $\boldsymbol{\tau} = [\tau_1,\tau_2,\dots,\tau_...
苏剑林: 外推我还没尝试过，不好说，猜测可能还是本文的方法更好些？
苏剑林: 没有正则项的AE，是会导致特征之间的孤立，没有泛化能力，这个算不算你的离散性定义？
苏剑林: $ \boldsymbol{z} = (\boldsymbol{x}_t - \boldsym...
苏剑林: 感谢反馈，已更正。确实是很值得点赞的想法，我开始以为就是一个很朴素的思想，结果越读越发现其中的...
苏剑林: 这个做法的前提是预训练阶段用小theta（比如10000）充分训练过，只有微调的时候才改大th...