1、安装完成后，不能import torch，提示 ImportError: dlopen: cannot load any more object with static TLS
解决办法：有很多答案都说是将import torch放在import cv2之前，但我试了之后还是不能解决，最后是通过在jupyter notebook中可以直接import torch。我是通过mobarxterm连接实验室的服务器，在console下以及spyder下均不能import torch，只有在jupyter下可以。
更新：也可通过修改backend解决。
2、对两个variable进行concat操作，按道理实现方式是c = torch.cat([a, b], dim=0)，但提示错误
TypeError: cat received an invalid combination of arguments - got (tuple, int), but expected one of:
- (sequence[torch.cuda.FloatTensor] tensors)
- (sequence[torch.cuda.FloatTensor] tensors, int dim)
didn’t match because some of the arguments have invalid types: (tuple, int)
解决办法：根据提示刚开始以为是cat不接受tuple作为输入，然而真正的问题在于a和b的type不一样，比如可能出现a是torch.cuda.DoubleTensor而b是torch.cuda.FloatTensor，因此，将a和b转换为相同的type即可。
3、模型训练时提示 RuntimeError: tensors are on different GPUs
这个问题出现的原因在于训练数据data或者模型model其中有一个是*.cuda()，而另一个不是。全都改为data.cuda()和model.cuda()即可
解决办法：data = data.cuda()
model = model.cuda()
4、模型训练时提示 TypeError: argument 0 is not a Variable
原因在于输入data不是Variable，需转化成Variable格式。
解决办法：from torch.autograd import Variable
data = Variable(data).cuda()
5、自定义Loss训练时提示 AttributeError: 'MyLoss' object has no attribute '_forward_pre_hooks'
根据题感觉像是loss在forward之前出错了，关于pytorch如何自定义loss可以参见这里。
解决办法：在loss初始化函数里加入 super(MyLoss, self).__init__()
6、训练过程没有问题，验证是提示CUDA Error：Out of Memory
提示是Memory的问题，第一反应是降低batch size大小，据说是有用的，但我试着将batch size降为1，仍然不行。再考虑其他办法，发现在定义Variable时，没有限制不求梯度（比如输入的input和target并不需要求梯度），根据搜索，有两种方法：一是采用requires_grad=False，另一种是使用volatile=True，一般推荐使用第二种。但我用的是Pytorch的0.4版本，volatile不再支持。
解决方法：用with torch.no_grad()替代volition。即如果源代码为
target_var = torch.autograd.Variable(target.cuda(async=True))
如果用0.4之前的版本可采用
target_var = torch.autograd.Variable(target.cuda(async=True),volatile=True)
如果0.4之后的版本，可采用
with torch.no_grad()
target_var = torch.autograd.Variable(target.cuda(async=True),volatile=True)
问题基本解决。如果还有问题，那可能出在代码中可能出现了反复叠加的操作，比如acc的叠加，或者loss 的叠加，将loss中的data提取出，并且记得用完之后del即可。
7、提示‘BatchNorm2d’ object has no attribute ‘track_running_stats’错误
pytorch 0.4 不支持，由于版本不对应而出现的问题。
解决方法：更换pytorch版本，如降低至pytorch 0.3版本。
8、提示“Expected object of type torch.DoubleTensor but found type torch.FloatTensor for argument #2 'weight'”
解决方法：添加model.double()即可
9、提示Expected object of type torch.DoubleTensor but found type torch.cuda.DoubleTensor for argument #2 'weight'
之前的写法是inputs.cuda(), outputs.cuda()
解决方法：改写为inputs=inputs.cuda(). outputs=outputs.cuda()
10、Debug时候卡在第一个epoch，但run时没有任何问题。
解决方法：将dataloader的num_works设置为1即可
11、RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.
出现问题的原因是Train的代码中至少调用了两次loss.backward()
解决办法：在第二次调用loss.backward()之前更新output，即在loss.backward()前添加output = model(input)
12、加载已有模型提示Unexpected key(s) in state_dict: "module.aaa. ...".，Expected ".aaa...."
出现问题的原因是在训练保存模型是采用了数据并行。
解决办法：一方面可以直接读取state_dict后重新修改其key值，将module去掉；另一方面可以采用
model = nn.DataParallel(model)
将模型重新定义为并行方式，即可加载。
13、定义加载数据模块时，自定义数据反转，如data = data[:,::-1,:]，提示错误 ValueError: some of the strides of a given numpy array are negative. This is currently not supported, but will be added in future releases.
解决办法：提示的错误很直接，就是pytorch不支持数据反转用负号索引。解决办法有两种，第一种是事先存储好反转数据，比较麻烦；第二种方式返回data.copy()
class Loader(Dataset):
def __init__(self):
pass;
def __getitem__(self,index):
pass;
def flip(self,data):
data = data[:,::-1,:]
return data.copy()
def __len__(self):
pass;
14、模型测试时
TypeError: Broadcast function not implemented for CPU tensors
解决办法：出现该问题的原因在于旧版pytorch不支持在CPU上的并行。最新版的pytorch已经支持，更新pytorch版本即可。
15、加载模型时
torch.load('model.pth')
提示 RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=torch.device('cpu') to map your storages to the CPU.
解决办法：问题出在默认加载模型采用cuda形式，而机器没有cuda。解决方法很直接，根据提示，修改加载模型代码为
torch.load('model.pth',map_location=torch.device('cpu'))
16、计算交叉熵损失CrossEntropyLoss时
提示Runtime Error: 1only batches of spatial targets supported (non-empty 3D tesnors) but got target of size ...
原因在于pytorch的CrossEntropyLoss中target需要时三维张量，
解决办法：将多余的维度squeeze即可
17、计算损失时
提示RuntimeError: bool value of Tensor with more than one value is ambiguous
这个问题比较囧。碰到这个问题时，是为了快速检查网络是否能跑通，因此错误的采用了nn.*Loss(output, target)导致。
解决办法：nn.*Loss()(output, target)
18、加载预训练模型参数update不能更新
问题如下：
In [1]: import torch
In [2]: from collections import OrderedDict
In [3]: class test(torch.nn.Module):
...: def __init__(self):
...: super(test,self).__init__()
...: self.conv = torch.nn.Conv2d(in_channels=1,out_channels=1,kernel_size=3)
...: def forward(self,input):
...: return self.conv(input)
...:
In [4]: temp = test()
In [5]: dic = OrderedDict()
In [6]: dic['conv.weight'] = torch.rand((1,1,3,3))
In [7]: temp.state_dict()
Out[7]:
OrderedDict([('conv.weight', tensor([[[[-0.1748, 0.0271, -0.3102],
[-0.1261, -0.2181, 0.0350],
[ 0.0762, -0.0180, -0.1770]]]])),
('conv.bias', tensor([0.2851]))])
In [8]: temp.state_dict().update(dic)
In [9]: temp.state_dict()
Out[9]:
OrderedDict([('conv.weight', tensor([[[[-0.1748, 0.0271, -0.3102],
[-0.1261, -0.2181, 0.0350],
[ 0.0762, -0.0180, -0.1770]]]])),
('conv.bias', tensor([0.2851]))])
In [16]: dic
Out[16]:
OrderedDict([('conv.weight', tensor([[[[0.2074, 0.9585, 0.9153],
[0.0786, 0.8215, 0.8277],
[0.3613, 0.6411, 0.4371]]]]))])
如上所示，我们期望通过自定义的dic去更新模型参数，发现与预期不一致，模型state_dict并未更新。
解决办法：参见第19
19、部分加载预训练模型
正确的加载部分预训练模型参数方法如下（接上述问题的ipython代码）：
In [10]: model_state = temp.state_dict()
In [12]: model_state.update(dic)
In [13]: temp.load_state_dict(model_state)
Out[13]: IncompatibleKeys(missing_keys=[], unexpected_keys=[])
In [15]: temp.state_dict()
Out[15]:
OrderedDict([('conv.weight', tensor([[[[0.2074, 0.9585, 0.9153],
[0.0786, 0.8215, 0.8277],
[0.3613, 0.6411, 0.4371]]]])),
('conv.bias', tensor([0.2851]))])
In [16]: dic
Out[16]:
OrderedDict([('conv.weight', tensor([[[[0.2074, 0.9585, 0.9153],
[0.0786, 0.8215, 0.8277],
[0.3613, 0.6411, 0.4371]]]]))])
我们发现，模型参数更新了。即问题出在不能直接采用update更新，用update更新后需重新通过load_state_dict函数加载进去，才能完成模型的部分加载参数。
20、程序运行过程中，提示 WARNING:root:NaN or Inf found in input tensor.
因为提示的“found in input tensor”，所以第一反应是数据没有做过滤，出现了NaN或者Inf。万万没想到，出现问题的原因竟然是梯度消失。。。
解决办法：修改学习率或者变换优化方法。
21、在import torchvision过程中提示 AttributeError: module 'torch.jit' has no attribute 'unused'
提示错误的原因在于torchvision版本问题，应该是高版本的torchvision不支持。
解决办法：降低torchvision版本至0.4及以下。
22、Dataloader读取数据时，提示 RuntimeError: invalid argument 0: Sizes of tensors must match except in dime
原因在于同一batch的不同样本，其通道数不一致，以读取图片为例，如有的以灰度方式读取，其他以RGB方式读取，那么会提示上述错误，
解决办法：筛查数据读取方式，将读取方式更改为一致即可。
23、用torch.index_select对指定维度的Tensor选取数据时，提示
RuntimeError: Expected object of scalar type Long but got scalar type Float for argument #3 'index' in call to _th_index_select
解决方法很直白，要求index数据类型为Long的Tensor，另外如果需要提取多index，可采用range的方式，如：
data_index, label_index = torch.Tensor([0, 12, 18, 21, 22, 23]).long(), torch.Tensor(range(24, 48)).long()
data, label = torch.index_select(input, dim=2, index=data_index), torch.index_select(input, dim=2, index=label_index)
24、提示 ImportError: cannot import name 'amp' from 'torch.cuda'
解决办法：安装apex
git clone https://github.com/NVIDIA/apex.git
cd apex
python setup.py install --cpp_ext
将from torch.cuda import amp 替换为 from apex import amp
25、提示：TypeError: only integer tensors of a single element can be converted to an index
解决办法：可以debug注意一下出错的位置，一般为数据的类型存在问题，或者误将函数的多个返回值当作一个返回值进行运算。
26、调用pytorch-lightning的self.hparams=hparams时提示AttributeError: can't set attribute
解决办法：将self.hparams=hparams替换为self.save_hyperparameters(hparams)
27、Pytorch模型部署用ONNX提示：orch.onnx.errors.SymbolicValueError: Unsupported: ONNX export of operator upsample_bilinear2d, align_corners == True.
解决办法：将导出onnx模型的opset_version参数设置为11。
28、不能通过pip安装cartopy或cinrad库，提示GEOS或PROJ等错误
解决办法：采用conda方式直接安装
conda install cartopy
conda install cinrad
29、提示：CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)`
解决办法：将device设置为cpu一般可查看具体问题在哪儿，另一种方法是查看GPU显存是否够用。
