当前位置：网站首页>AI21 Labs | Standing on the Shoulders of Giant Frozen Language Models（站在巨大的冷冻语言模型的肩膀上）

AI21 Labs | Standing on the Shoulders of Giant Frozen Language Models（站在巨大的冷冻语言模型的肩膀上）

2022-04-23 13:26:00 【智源社区】

作者：Yoav Levine , Itay Dalmedigos , Ori Ram ,等

简介：巨型的预训练语言模型 (LM) 在各种任务中展示了令人惊讶的出色零样本能力。这就产生了一个单一的、多功能的模型的吸引人的愿景，该模型在不同的应用程序中具有广泛的功能。然而，目前利用“冻结”LM 的领先技术——即，保持其权重不变——仍然常常不如以任务相关方式修改这些权重的微调方法。反过来，如若忍受遗忘与损害多功能性，这表明将需在性能和多功能性之间进行权衡。本论文期望表达的主要内容是，当前的冻结模型技术（例如快速调整）只是冰山一角，更强大的利用冻结 LM 的方法可以在具有挑战性的领域中进行微调，而不会牺牲底层模型的多功能性。为了证明这一点，作者介绍了三种利用冻结模型的新方法：依赖于输入的提示调整PromptTuning、冻结阅读器frozen readers、和递归语言模型 recursive LMs；每种方法都大大改进了当前的冻结模型方法。事实上，作者的部分方法甚至在目前其主导的领域中优于微调方法。每种方法的计算成本都高于现有的冻结模型方法，但相对于单次通过一个巨大的冻结 LM 仍然可以忽略不计。这些方法中的每一种本身都构成了有意义的贡献。详情请参阅论文。