Articles in the category of Python

  1. Home
  2. Python

PyTorch DistributedDataParallel 单机多卡训练 踩坑记录

最近很荣幸加入了旷视成都研究院参与实习工作，在开始正式工作前的首要任务自然是将用好、用活旷视自建的Brain++计算平台。Brain++的设计很巧妙，也让我这个没出本科校门的fw体会到了多卡训练的爽点。之前在本校接触过3卡2080ti的多卡训练，当时用的开源代码，没有意识到自己动手写torch单机多卡训练代码时有这么多坑，下面一一列举一哈：报错：Default process group h...

  • MrXiao
  • April 4, 2021
  • No comments
    •

    Hyper-Table-OCR项目手记：如何建立一条成熟可用的表格OCR流水线？

    表格OCR任务，隶属于Document Analysis and Recognition领域，相关顶会有ICDAR。本文主要记录在Github上开源的个人...

  • MrXiao
  • February 28, 2021
  • No comments
    •

    Python单元测试技巧：在unittest和pytest中持久化保留实例对象

    单元测试对开发任何项目都是一个好习惯，在Python开发中我们经常使用标准库中的unittest及第三方的单元测试框架pytest完成单元测试工作。这里记录一下，如何在一次单元测试中持久化地保留一个实例化对象（例如深度学习模型这类加载比较耗时的对象）以供多个testcase使用。unittest傻子都知道的方法：在一个testcase函数中完成多个测试import unittest clas...

  • MrXiao
  • January 26, 2021
  • No comments
    •

    MMDetection v1.x 升级至 v2.x：模型与配置文件升级的踩坑记录

    在不少热门的深度学习应用子领域中，开源工作者们往往会为研究者们提供通用的pipeline与抽象化工具，这能让研究者们更关注与模型的效果（雾...更高效地调...

  • MrXiao
  • December 9, 2020
  • 8 comments
    •

    async/await in Python Python异步编程笔记

    本文大多从Python代码阐释协程，如果你还不知道什么是协程，建议先阅读https://www.zhihu.com/question/294188439/answer/555273313；本文也算作观看Fear and Awaiting in Async: A Savage Journey to the Heart of the Coroutine Dream的笔记。从经典的网络socket...

  • MrXiao
  • September 17, 2020
  • No comments