Articles in the category of Code Snippet

PyTorch DistributedDataParallel 单机多卡训练 踩坑记录

最近很荣幸加入了旷视成都研究院参与实习工作，在开始正式工作前的首要任务自然是将用好、用活旷视自建的Brain++计算平台。Brain++的设计很巧妙，也让我这个没出本科校门的fw体会到了多卡训练的爽点。之前在本校接触过3卡2080ti的多卡训练，当时用的开源代码，没有意识到自己动手写torch单机多卡训练代码时有这么多坑，下面一一列举一哈：报错：Default process group h...