迁移学习-文档示例
步骤
加载网络
导入新数据集
修改最后层
设置学习率，新层大，迁移层小
开始训练，APP或command
注意：如果使用的数据集与imageNet的网络很相似，则使用预定义的网络均是可以的
交互式迁移貌似2020a才有？？？
学会用analyze network
命令行式
unzip('MerchData.zip') %解压
%创建数据存储
imds=imageDatastore('MerchData','IncludeSubfolders',true,'LabelSource','foldernames')%创建数据存储并定义标签
[imdsTrain,imdsValidation]=splitEachLabel(imds,0.7,'randomized') %定义数据集合验证集
%导入预训练网络
net=googlenet
%analyzeNetwork(net)
%画图？？？
if isa(net,'SeriesNetwork')
lgraph=layerGraph(net.Layers);
else
lgraph=layerGraph(net);
end
%迁移更新
learnableLayer=net.Layers(142)
classLayer=net.Layers(end)
%所分类别
numClasses=numel(categories(imdsTrain.Labels))
%更改全连接、全卷积层
if isa(learnableLayer,'nnet.cnn.layer.FullyConnectedLayer')
newLearnableLayer=fullyConnectedLayer(numClasses,'Name','new_fc','WeightLearnRateFactor',10,'BiasLearnRateFactor',10);
elseif isa(learnableLayer,'nnet.cnn.layer.Convolution2DLayer')
newLearnableLayer=convolution2dLayer(1,numClasses,'Name','new_conv','WeightLearnRateFactor',10,'BiasLearnRateFactor',10);
end
lgraph=replaceLayer(lgraph,learnableLayer.Name,newLearnableLayer)
%更改输出分类层
newClassLayer=classificationLayer('Name','new_classoutput')
lgraph=replaceLayer(lgraph,classLayer.Name,newClassLayer)
%等待训练
%冻结前面层
layers = lgraph.Layers;
connections = lgraph.Connections;
layers(1:10) = freezeWeights(layers(1:10));
lgraph = createLgraphUsingConnections(layers,connections);
%数据增强
%调整训练集
pixelRange = [-30 30];
scaleRange = [0.9 1.1];
imageAugmenter = imageDataAugmenter( ...
'RandXReflection',true, ...
'RandXTranslation',pixelRange, ...
'RandYTranslation',pixelRange, ...
'RandXScale',scaleRange, ...
'RandYScale',scaleRange);
augimdsTrain = augmentedImageDatastore(inputSize(1:2),imdsTrain, ...
'DataAugmentation',imageAugmenter);
%调整验证集
augimdsValidation = augmentedImageDatastore(inputSize(1:2),imdsValidation);
%训练参数
miniBatchSize = 10;
valFrequency = floor(numel(augimdsTrain.Files)/miniBatchSize);
options = trainingOptions('sgdm', ...
'MiniBatchSize',miniBatchSize, ...
'MaxEpochs',6, ...
'InitialLearnRate',3e-4, ...
'Shuffle','every-epoch', ...
'ValidationData',augimdsValidation, ...
'ValidationFrequency',valFrequency, ...
'Verbose',false, ...
'Plots','training-progress');
%开始训练
net = trainNetwork(augimdsTrain,lgraph,options);
%进行验证
[YPred,probs] = classify(net,augimdsValidation);
%进行测试
idx = randperm(numel(imdsValidation.Files),4);
figure
for i = 1:4
subplot(2,2,i)
I = readimage(imdsValidation,idx(i));
imshow(I)
label = YPred(idx(i));
title(string(label) + ", " + num2str(100*max(probs(idx(i),:)),3) + "%");
end
迁移学习
有的网络最后的带有学习参数的层为全连接层，而有的是1*1的全卷积层，
但是最终都要等于最后的要分类的数目
一般迁移学习修改的是最后几个全连接层和最后的输出层，输出层一般不需要特定类别数量，系统会自动分类
更改后即可准备训练
冻结
冻结初始层
可选操作，可以通过将前面层的学习率设置为0达到冻结前面层的目的，训练过程中并不更新冻结层的参数，因为在冻结层的梯度不需要进行计算，所以能够加快网络训练，同时如果数据集过小冻结之前的层还可以防止过拟合
对于googlenet一般冻结前10层
freezeWeights
冻结前面的层，使学习率为0
createLgraphUsingConnections
以原始的连接顺序重新连接层，此时包括前面学习率为0的层
数据增强
一般对训练集进行数据增强，对验证集不进行数据增强
学习参数
对未冻结的迁移层设置较小的学习率
在更改预训练的迁移层时，已经将最后几层的学习率设置的很大，来加速新层的学习，这种组合方式能够进行更快的训练
函数大杂烩
imageDatastore 数据存储 imageDatastore(data,‘includeSubfloders’,‘LabelSource’)
analyzeNetwork 分析网络 analyzeNetwork(net)
net.layers(1).InputSize
layerGraph 画网络图，与isa()使用
net.layers(n) 定位到某一层
‘nnet.cnn.layer.FullyConnectedLayer’ 层属性
fullyConnectedLayer(‘Name’,‘WeightLearnRateFactor’,‘BiasLeranRateFactor’)
categories
categorical
replaceLayer
classificationLayer
convolution2dLayer
freezeWeights 冻结层学习率为0
lgraph.layers/Connections
classify
randperm
