最近很荣幸加入了旷视成都研究院参与实习工作,在开始正式工作前的首要任务自然是将用好、用活旷视自建的Brain++计算平台。Brain++的设计很巧妙,也让我这个没出本科校门的fw体会到了多卡训练的爽点。之前在本校接触过3卡2080ti的多卡训练,当时用的开源代码,没有意识到自己动手写torch单机多卡训练代码时有这么多坑,下面一一列举一哈:报错:Default process group h...
列表生成式是一项非常Pythonic的编程技巧,其可以使复杂的逻辑代码变得异常简洁,也算得上是如今编程语言中较有特点的一项功能,如[x ** x for x in range(1,10) if x%2==0]的结果为[4, 256, 46656, 16777216]。如果将上面的方括号改为圆括号,即(x ** x for x in range(1,10) if x%2==0),得到的不再是一...