最近很荣幸加入了旷视成都研究院参与实习工作，在开始正式工作前的首要任务自然是将用好、用活旷视自建的Brain++计算平台。Brain++的设计很巧妙，也让我这个没出本科校门的fw体会到了多卡训练的爽点。之前在本校接触过3卡2080ti的多卡训练，当时用的开源代码，没有意识到自己动手写torch单机多卡训练代码时有这么多坑，下面一一列举一哈：报错：Default process group h...
本文大多从Python代码阐释协程，如果你还不知道什么是协程，建议先阅读https://www.zhihu.com/question/294188439/answer/555273313；本文也算作观看Fear and Awaiting in Async: A Savage Journey to the Heart of the Coroutine Dream的笔记。从经典的网络socket...