当前位置:网站首页>Pytorch分布式训练/多卡训练DDP——模型初始化(torch.distribute 与 DDP的区别)
Pytorch分布式训练/多卡训练DDP——模型初始化(torch.distribute 与 DDP的区别)
2022-08-09 22:05:00 【hxxjxw】
最近看b站上霹雳吧啦Wz的多卡训练教程发现他有在模型初始化的时候,手动将主卡的模型初始化权重load到其他卡上。而之前在知乎或CSDN上看到的教程并没有这么做
所以这一步到底是不是应该的呢
根据 [原创][深度][PyTorch] DDP系列第二篇:实现原理与源代码解析 - 知乎 (zhihu.com)
model = DDP(model)
当执行了这一步之后,DDP做的事是
- 把parameter,buffer从master节点传到其他节点,使所有进程上的状态一致。
DDP通过这一步保证所有进程的初始状态一致。所以,请确保在这一步之后,你的代码不会再修改模型的任何东西了,包括添加、修改、删除parameter和buffer!
从本质上讲,当一个模型的网络结构被定义后,其状态就是由parameter和buffer的迭代组合表示的。当我们保存模型,调用
model.staic_dict()
的时候,我们同时会得到模型的parameter和buffer;也就是说,在DDP中,如果我们要在不同进程中维持相同的状态,我们不光要传递parameter的梯度,也要传递buffer。事实上,DDP就是这么做的。当每次网络传播开始前,其都会把master节点上的buffer广播给其他节点,维持状态的统一。所以,在外套DDP之前,模型只是在主卡上有,此时模型初始化,再套DDP之后,模型和初始化的权值会传到其他节点,保持一致
所以,在模型初始化的时候,手动将主卡的模型初始化权重load到其他卡上是没必要的,除非是在外套DDP之后再初始化
torch.distributed 做的事只是多卡通讯
模型,梯度传递这些都是DDP做的
边栏推荐
- JS Deobfuscation - AST Restoration Case
- Arcgis工具箱无法使用,显示“XML包含错误“的解决方法
- mysql 、pg 查询日期处理
- Kubernetes Service对象
- Liver all night to write a thirty thousand - word all the commands the SQL database, function, speaks clearly explain operators, content is rich, proposal collection + 3 even high praise!
- JuiceFS 在多云存储架构中的应用 | 深势科技分享
- charts.js插件实现的散点图样式
- DXF笔记:文字对齐的研究
- Presto Event Listener开发
- A. Common Prefixes
猜你喜欢
数字与中文大写数字互转(5千万亿亿亿亿以上的数字也支持转换)
Core Data浅谈系列之五 : 在UITableView中展示
Socket发送缓冲区接收缓冲区快问快答
In-depth analysis of Apache EventMesh cloud-native distributed event-driven architecture
OFDM 十六讲 7 - Inter-Symbol-Interference
关于ETL的两种架构(ETL架构和ELT架构)
都在说云原生,那云原生到底是什么?
华为云全流程护航《流浪方舟》破竹首发,打造口碑爆款
重装系统后新建文本文档打不开怎么办
DXF笔记:文字对齐的研究
随机推荐
【GORM】模型关系-HasMany关系
Transfer Learning & Kemin Initialization
JS Deobfuscation - AST Restoration Case
R语言ggplot2可视化:使用ggpubr包的ggscatter函数可视化散点图、使用scale_x_continuous函数的breaks参数指定X轴的断点的个数(设置参数n)
学习编程的第十二天
R语言patchwork包将多个可视化结果组合起来、使用plot_annotation函数以及tag_level参数将组合图用大写字母进行顺序编码、为组合图的标签添加自定义前缀信息
【LaTex】 Font “FandolSong-Regular“ does not contain requested(fontspec)Script “CJK“.如何抑制此种警告?
Flask's routing (app.route) detailed
Chapter 15 HMM模型
shell数组
JuiceFS 在多云存储架构中的应用 | 深势科技分享
Socket发送缓冲区接收缓冲区快问快答
力扣 1413. 逐步求和得到正数的最小值
PyQt5:入门使用教程
【软考 系统架构设计师】案例分析⑤ 质量属性和架构评估
Evolution of MLOps
阿里云架构师金云龙:基于云XR平台的视觉计算应用部署
charts.js插件实现的散点图样式
[Microservice~Nacos] Nacos service provider and service consumer
leetcode:286.墙和门