Pytorch 分布式训练代码, 以Bert文本分类为例子, 完整介绍见博客

• main.py: 单进程训练: python3 main.p
• ddp_main.py: 原生DDP 多卡训练: torchrun --nproc_per_node=2 ddp_main.py
• horovod_main.py: 使用horovod框架 多卡训练： horovodrun -np 2 python3 horovod_main.py
• accelerate_main.py: 使用accelerate框架多卡训练：accelerate launch accelerate_main.py (首先需要配置acclerate config)

单卡运行的时间大概是双卡的二倍。