NLP¶

ToyNLP: 从零实现自然语言处理经典模型

终于到了介绍 ToyNLP 项目的时候，这应该是个人今年投入时间最多的项目了。上篇文章写的 BERT 论文复现 其实就是这个项目开发过程中的一个记录。今天我们来简单谈谈这个项目的来龙去脉。

BERT 论文复现

关于我们做到了哪一步

我在网上搜到了很多 BERT 复现的项目，有博客，也有 GitHub 代码仓库等。 这些文章和代码会告诉你他们在复现 BERT，介绍 BERT 是什么，原理是什么，代码要怎么写…… 但是几乎没有人提及是否复现了论文的指标，甚至也不会放当前实现的指标出来——这就让人不得不怀疑其正确性。所以在开始之前，我们先来谈一谈正确性的问题。