包含关键字推荐系统解耦的文章 - 科学空间|Scientific Spaces

10 Sep

RNN模型中输入的重要性的评估

By 苏剑林 | 2017-09-10 | 30188位读者 | 引用

Saliency Maps for RNN

RNN是很多序列任务的不二法门，比如文本分类任务的常用方法就是“词向量+LSTM+全连接分类器”。如下图

RNN分类器

假如这样的一个模型可以良好地工作，那么现在考虑一个任务是：如何衡量输入$w_1,\dots,w_n$对最终的分类结果的影响的重要程度（Saliency）呢？例如假设这是一个情感分类任务，那么怎么找出是哪些词对最终的分类有较为重要的影响呢？本文给出了一个较为直接的思路。

思路的原理很简单，因为我们是将RNN最后一步的状态向量（也就是绿色阴影所代表的向量）传递给后面的分类器进行分类的，因此最后一步的状态向量$\boldsymbol{h}_n$就是一个目标向量。而RNN是一个递推的过程，

点击阅读全文...

分类：信息时代标签：深度学习阅读全文 2 评论

5 Mar

短文本匹配Baseline：脱敏数据使用预训练模型的尝试

By 苏剑林 | 2021-03-05 | 108783位读者 | 引用

最近凑着热闹玩了玩全球人工智能技术创新大赛中的“小布助手对话短文本语义匹配”赛道，其任务就是常规的短文本句子对二分类任务，这任务在如今各种预训练Transformer“横行”的时代已经没啥什么特别的难度了，但有意思的是，这次比赛脱敏了，也就是每个字都被影射为数字ID了，我们无法得到原始文本。

在这种情况下，还能用BERT等预训练模型吗？用肯定是可以用的，但需要一些技巧，并且可能还需要再预训练一下。本文分享一个baseline，它将分类、预训练和半监督学习都结合在了一起，能够用于脱敏数据任务。

本文模型示意图

点击阅读全文...

分类：信息时代标签：语言模型, 语义, 语义相似度阅读全文 39 评论

8 Jul

百科翻译：臭氧的性质

By 苏剑林 | 2009-07-08 | 24254位读者 | 引用

臭氧对于我们来说是极为重要的，可以说，没有臭氧，我们都会死于紫外线的强烈照射之下！这里翻译了一些关于臭氧的信息，来源于http://en.wikipedia.org/wiki/Ozone，中文维基为http://zh.wikipedia.org/w/index.php?title=%E8%87%AD%E6%B0%A7&variant=zh-cn

臭氧，英文名为Ozone或trioxygen，化学式$O_3$，每个臭氧分子含有3个氧原子，属于三原子分子。与氧气是同素异形体（组成元素相同，但是结构不同，所表现出来的性质也不同），但比氧气更不稳定。在地表上的臭氧是一种空气污染物，对人和动物的呼吸道系统会产生有害影响。而大气层上部的臭氧层则能够吸收大量的紫外线，使地球的生物不受过量紫外线的侵害。

点击阅读全文...

分类：物理化学标签：翻译, 维基, 臭氧, 性质, 反应阅读全文抢沙发

8 Jul

【个人翻译】变暖的地球对冷血动物来说过热？

By 苏剑林 | 2009-07-08 | 33257位读者 | 引用

翻译语录：
这是一篇关于气候变暖对变温动物的影响的文章。原文很长，来自“科学美国人”网站，本文有所删减。
在人类不断报道气候变化对人类所造成的影响的时候，自然界的其他生物也在受着气候的影响。也许，自然界的其他生物才是最大的受害者。无论如何，为了我们，为了自然，为了地球，为了后代，我们都应该自觉地去减少温室效应。只要人人都节约一点点，世界就会多一片绿色、一片蓝天！