Loading...
最近正跟随老师做有关NAS方面的工作，想将NAS与自己的想法结合起来验证一些有趣的结论，这其中会涉及到生成不同的网络结构提交到GPU做验证的过程。那么问题来了：对即将要提交到GPU的网络结构大小，程序是无法提前预知的，训练batch_size设置大了很可能下一个网络结构就会爆显存；而保守地设置地很小的话，就毫无训练效率可言了；在网络上搜集了一些捕获PyTorch OOM错误并尝试从其中恢复的...
准备工作import torch import tensorflow as tf import torch.nn.functional as FConv2...
概述在解决传统目标检测问题时，我们可以用卷积神经网络对锚框预测偏移量的方式实现BoundingBox级别的目标检测，但在可靠性要求更高的场景（如自动驾驶），我们希望对网络能对给定图像的任一像素赋予含义，这也是全卷积网络可以解决一个问题——语义分割。传统CNN结构面对语义分割任务，遇到的第一个问题就是：Conv Block实现的全部是down-sampling方法，最后使用全连接层给出图片的o...
之前我们学习了如何用MLP实现手写数字识别并达到了95%左右的准确率。在介绍卷积神经网络之前，我简单地了解了一下k-NN也就是大部分人耳熟能详的K最近邻算...
在结合手写数字识别项目 深入理解多层感知机（Multi-Layer Perceptron）一文中我提及了激活函数以及反向传播算法，但限于篇幅没有具体介绍，特在此开文记录学习过程。激活函数的特点这张图我在前文提及过，其给出了目前常用的一些激活函数。事实上单个感知机也是存在激活函数的：你可能会意外：哈？这种阶跃函数还能叫激活函数？首先，激活函数不是真的要去激活什么。在神经网络中，激活函数的作用是...