当前位置：网站首页>unhandled system error, NCCL version 2.7.8

unhandled system error, NCCL version 2.7.8

2022-04-23 06:12:00 【wujpbb7】

在宿主机上运行基于 DDP 的 pytorch 训练程序没问题，

进入 docker 后运行，出现 "unhandled system error, NCCL version 2.7.8" 的错误。

解决方法：

在 python -m torch.distributed.launch --nproc_per_node=4 ...前加上 NCCL_DEBUG=INFO

可以看到：

s215:623:649 [3] include/shm.h:48 NCCL WARN Error while creating shared memory segment nccl-shm-send-404da1ec128dc62d-0-3-2 (size 4104)

进入 docker 时，带上 --ipc=host 即可。

版权声明
本文为[wujpbb7]所创，转载请带上原文链接，感谢
https://blog.csdn.net/blueblood7/article/details/122969027