归档
2020年 (共4篇)
- 04月29日: 节省显存的重计算技巧也有了Keras版了 (9)
- 04月02日: bert4keras在手，baseline我有 (24)
- 03月23日: AdaFactor优化器浅析（附开源实现） (11)
- 03月01日: 对抗训练浅谈：意义、方法和思考（附Keras实现） (49)
2019年 (共12篇)
- 11月25日: 6个派生优化器的简单介绍及其实现 (4)
- 11月06日: Keras：Tensorflow的黄金标准 (19)
- 09月29日: “让Keras更酷一些！”：层与模型的重用技巧 (19)
- 08月27日: 自己实现了一个bert4keras (39)
- 08月09日: seq2seq之双向解码 (6)
- 07月30日: Keras实现两个优化器：Lookahead和LazyOptimizer (7)
- 07月16日: “让Keras更酷一些！”：层中层与mask (47)
- 07月08日: 用时间换取效果：Keras梯度累积优化器 (13)
- 04月28日: “让Keras更酷一些！”：中间变量、权重滑动和安全生成器 (31)
- 03月10日: “让Keras更酷一些！”：分层的学习率和自由的梯度 (20)
- 02月22日: 巧断梯度：单个loss实现GAN模型 (5)
- 01月27日: “让Keras更酷一些！”：随意的输出和灵活的归一化 (24)
2018年 (共4篇)
- 09月08日: “让Keras更酷一些！”：小众的自定义优化器 (21)
- 09月01日: 玩转Keras之seq2seq自动生成标题 (113)
- 08月06日: “让Keras更酷一些！”：精巧的层与花式的回调 (44)
- 05月18日: 简明条件随机场CRF介绍（附带纯Keras实现） (90)
2017年 (共2篇)
- 08月06日: 【不可思议的Word2Vec】6. Keras版的Word2Vec (25)
- 07月22日: Keras中自定义复杂的loss函数 (136)
October 13th, 2018
写一篇BERT的？应该很多人都想弄明白…
BERT是什么？
BERT是谷歌最新发表的论文，横扫11项NLP任务记录，苏神赶紧解读一下。论文地址：https://arxiv.org/pdf/1810.04805.pdf
刚看到新闻，没觉得有什么好写的。就是原来是attention模型，层数加深，预训练做得更充分了...
就好比前几天的BigGAN，效果也很火爆，也没有什么好说的，基本是硬件堆起来的。