MxNet系列——how_to——env_var

博客新址: http://blog.xuezhisd.top
邮箱：xuezhisd@126.com

环境变量

环境可以修改MXNet的一些设置。一般情况下，你不需要修改这些设置。本节将它们罗列出来，用于参考。

设置线程数目

• MXNET_GPU_WORKER_NTHREADS (默认值=2)
  • 每个GPU上，进行计算的最大线程数
• MXNET_GPU_COPY_NTHREADS (默认值=1)
  • 每个GPU上，内存复制的最大线程数
• MXNET_CPU_WORKER_NTHREADS (默认值=1)
  • CPU上的计算任务的最大线程数
• MXNET_CPU_PRIORITY_NTHREADS (默认值=4)
  • 优先的CPU任务的线程数

内存选项

• MXNET_EXEC_ENABLE_INPLACE (默认值=true)
  • 在符号计算中，是否使用原地（计算）优化。
• MXNET_EXEC_MATCH_RANGE (默认值=10)
  • 符号计算内存分配器中的粗略匹配规模
  • 如果不想使用（图的）节点间共享内存（用于调试时），可以将该环境变量设置为0。
• MXNET_EXEC_NUM_TEMP (默认值=1)
  • 每个设备上分配的临时工作空间的最大数目
  • 将它设置成比较小的数字，可以节省GPU内存。它也可能会降低并行度，但这通常是可接受的。
• MXNET_GPU_MEM_POOL_RESERVE (默认值=5)
  • 分配给非GPU数组的GPU内存的比例，比如内核启动器或cudnn句柄空间。
  • 如果在迭代多次之后，看到一个来自内核启动器的内存溢出错误，尝试增大该环境变量的值。

Engine Type

• MXNET_ENGINE_TYPE (默认值=ThreadedEnginePerDevice)
  • MXNet的实质执行引擎的类型。
  • 可选值：
    • NaiveEngine: 非常简单的引擎，使用主线程来计算。
    • ThreadedEngine: 使用全局线程池来调度作业。
    • ThreadedEnginePerDevice: 每个GPU上分配线程。

控制数据通信

• MXNET_KVSTORE_REDUCTION_NTHREADS (默认值=4)
  • 用于大数组求和的CPU线程数
• MXNET_KVSTORE_BIGARRAY_BOUND (默认值=1e6)
  • 大数组的最小尺寸
  • 当数组的容量大于该阈值时，将使用线程 MXNET_KVSTORE_REDUCTION_NTHREADS 进行规约。
• MXNET_ENABLE_GPU_P2P (默认值=1)
  • 如果为True，MXNet尝试使用GPU的 peer-to-peer 通信（前提是P2P可用），当 kvstore 的类型是 device 时。

Memonger

• MXNET_BACKWARD_DO_MIRROR (默认值=0)
  • 在训练过程中，是否执行 mirror 以节省设备存储。
  • 当设置成1时，在前向传播过程中，图计算器将会对一些层的特征图进行 mirror 操作，并抛弃它们；但当需要时，会重新计算这些抛弃的特征图。MXNET_BACKWARD_DO_MIRROR=1 时，将会节省 30%~50% 的设备内存，同时保持 95% 的运行速度。
  • 在MXNet中，mirror 的一个拓展叫做 memonger technology，它可以在保持75%运行速度的同时节省 O(sqrt(N)) 内存。

其它环境变量

• MXNET_CUDNN_AUTOTUNE_DEFAULT (默认值=0)
  • 用于卷积层的cudnn_tune的默认值。
  • Auto tuning 默认是关闭的。For benchmarking, set this to 1 to turn it on by default.

设置最小内存使用

• 务必确保 min(MXNET_EXEC_NUM_TEMP, MXNET_GPU_WORKER_NTHREADS) = 1
  • 默认设置满足这个条件。

设置更多的GPU并行

• 将 MXNET_GPU_WORKER_NTHREADS设置成一个较大的数（比如 2）
  • 为了减少内存的使用，考虑设置 MXNET_EXEC_NUM_TEMP
• 这可能不会加速，尤其是图像任务。因为GPU通常会被充分利用（甚至在序列化作业中）。