当前位置:网站首页>AI21 Labs | Standing on the Shoulders of Giant Frozen Language Models(站在巨大的冷冻语言模型的肩膀上)
AI21 Labs | Standing on the Shoulders of Giant Frozen Language Models(站在巨大的冷冻语言模型的肩膀上)
2022-04-23 13:26:00 【智源社区】
作者:Yoav Levine , Itay Dalmedigos , Ori Ram ,等
简介:巨型的预训练语言模型 (LM) 在各种任务中展示了令人惊讶的出色零样本能力。这就产生了一个单一的、多功能的模型的吸引人的愿景,该模型在不同的应用程序中具有广泛的功能。然而,目前利用“冻结”LM 的领先技术——即,保持其权重不变——仍然常常不如以任务相关方式修改这些权重的微调方法。反过来,如若忍受遗忘与损害多功能性,这表明将需在性能和多功能性之间进行权衡。本论文期望表达的主要内容是,当前的冻结模型技术(例如快速调整)只是冰山一角,更强大的利用冻结 LM 的方法可以在具有挑战性的领域中进行微调,而不会牺牲底层模型的多功能性。为了证明这一点,作者介绍了三种利用冻结模型的新方法:依赖于输入的提示调整PromptTuning、冻结阅读器frozen readers、和递归语言模型 recursive LMs;每种方法都大大改进了当前的冻结模型方法。事实上,作者的部分方法甚至在目前其主导的领域中优于微调方法。每种方法的计算成本都高于现有的冻结模型方法,但相对于单次通过一个巨大的冻结 LM 仍然可以忽略不计。这些方法中的每一种本身都构成了有意义的贡献。详情请参阅论文。
论文下载:https://arxiv.org/pdf/2204.10019
版权声明
本文为[智源社区]所创,转载请带上原文链接,感谢
https://hub.baai.ac.cn/views/16619
边栏推荐
- SHA512 / 384 principle and C language implementation (with source code)
- MySQL5. 5 installation tutorial
- Conflict between Mui picker and drop-down refresh
- TCP 复位gongji原理和实战复现
- uniapp image 引入本地图片不显示
- playwright控制本地谷歌浏览打开,并下载文件
- The first lesson is canvas, showing a small case
- Loading and using image classification dataset fashion MNIST in pytorch
- Nodejs + websocket cycle small case
- FatFs FAT32 learning notes
猜你喜欢
Data warehouse - what is OLAP
解决虚拟机中Oracle每次要设置ip的问题
vscode小技巧
叮~ 你的奖学金已到账!C认证企业奖学金名单出炉
SPI NAND flash summary
MySQL 8.0.11下载、安装和使用可视化工具连接教程
Xi'an CSDN signed a contract with Xi'an Siyuan University, opening a new chapter in IT talent training
@优秀的你!CSDN高校俱乐部主席招募!
[Journal Conference Series] IEEE series template download guide
The first lesson is canvas, showing a small case
随机推荐
2020年最新字节跳动Android开发者常见面试题及详细解析
NPM err code 500 solution
[quick platoon] 215 The kth largest element in the array
Office 2021 installation package download and activation tutorial
MySQL5. 5 installation tutorial
Ding ~ your scholarship has arrived! C certified enterprise scholarship list released
顶级元宇宙游戏Plato Farm,近期动作不断利好频频
Filter and listener of three web components
Conflict between Mui picker and drop-down refresh
mui + hbuilder + h5api模拟弹出支付样式
EMMC / SD learning notes
交叉碳市场和 Web3 以实现再生变革
Loading and using image classification dataset fashion MNIST in pytorch
9419 page analysis of the latest first-line Internet Android interview questions
mui 微信支付 排坑
Xi'an CSDN signed a contract with Xi'an Siyuan University, opening a new chapter in IT talent training
Mysql数据库的卸载
[point cloud series] learning representations and generative models for 3D point clouds
torch. Where can transfer gradient
nodejs + mysql 实现简单注册功能(小demo)