NLP¶

BERT 论文复现

关于我们做到了哪一步

我在网上搜到了很多 BERT 复现的项目，有博客，也有 GitHub 代码仓库等。 这些文章和代码会告诉你他们在复现 BERT，介绍 BERT 是什么，原理是什么，代码要怎么写…… 但是几乎没有人提及是否复现了论文的指标，甚至也不会放当前实现的指标出来——这就让人不得不怀疑其正确性。所以在开始之前，我们先来谈一谈正确性的问题。