本篇博客主要是讲自监督学习的（Self-Supervised Learning）

引入

下面是一些自监督学习的models

BERT模型340M parameters
ELMO模型94M parameters
GPT-2模型1542M parameters
GPT-3模型175M parameters
Megatron模型8B parameters
Transformer模型1.6T parameters
…

自监督定义

BERT

BERT输入一行向量，再输出一行向量


BERT要学习mask的地方与“湾”是同一类别的
BERT+Linear一起训练

但是Next Sentence Prediction好像没啥用？

BERT还可以做很多下游任务，后面会介绍

GLUE

为了让NLU（自然语言理解）任务发挥最大的作用，来自纽约大学、华盛顿大学等机构创建了一个多任务的自然语言理解基准和分析平台，也就是GLUE（General Language Understanding Evaluation）GLUE九项任务涉及到自然语言推断、文本蕴含、情感分析、语义相似等多个任务。像BERT、XLNet、RoBERTa、ERINE、T5等知名模型都会在此基准上进行测试。

Case

pre-train即训练学做填空题的BERT

BERT是semi-supervised的。因为在下游任务中，需要有标注的资料；但是做self-supervised的时候，是没有标注的。


case2跟case1不同的点在于，在pre-train的时候，已经初始化了一组参数。

其他相关

Why does BERT work

GPT series

其他

self-supervised不仅可以用在文本上，还可以用在图像和语音上。





self-supervised