最近很荣幸加入了旷视成都研究院参与实习工作,在开始正式工作前的首要任务自然是将用好、用活旷视自建的Brain++计算平台。Brain++的设计很巧妙,也让我这个没出本科校门的fw体会到了多卡训练的爽点。之前在本校接触过3卡2080ti的多卡训练,当时用的开源代码,没有意识到自己动手写torch单机多卡训练代码时有这么多坑,下面一一列举一哈:报错:Default process group h...
本文大多从Python代码阐释协程,如果你还不知道什么是协程,建议先阅读https://www.zhihu.com/question/294188439/answer/555273313;本文也算作观看Fear and Awaiting in Async: A Savage Journey to the Heart of the Coroutine Dream的笔记。从经典的网络socket...