Loading...
最近很荣幸加入了旷视成都研究院参与实习工作,在开始正式工作前的首要任务自然是将用好、用活旷视自建的Brain++计算平台。Brain++的设计很巧妙,也让我这个没出本科校门的fw体会到了多卡训练的爽点。之前在本校接触过3卡2080ti的多卡训练,当时用的开源代码,没有意识到自己动手写torch单机多卡训练代码时有这么多坑,下面一一列举一哈:报错:Default process group h...
最近正跟随老师做有关NAS方面的工作,想将NAS与自己的想法结合起来验证一些有趣的结论,这其中会涉及到生成不同的网络结构提交到GPU做验证的过程。那么问题...