了解随机起始权重对神经网络性能的影响

使用 R 和包neuralnet，我尝试对数据进行建模，如下所示：

这些是几天内以 10 分钟为间隔的温度读数（上面是 2 天的截图）。使用下面的代码，我将神经网络拟合到数据。可能有更简单的方法来对这些精确数据进行建模，但将来数据可能看起来完全不同。使用带有 2 个神经元的单个隐藏层给了我令人满意的结果：

这也有效大多数时候有更多的层和神经元。然而，一个隐藏层和一个神经元偶尔有两层（在我的例子中分别是 3 和 2 个神经元），我得到的结果相当差，总是具有相同的形状：

唯一随机的是起始权重的初始化，所以我认为它与此相关。然而，我必须承认我还没有完全掌握神经网络的理论。我想知道的是，糟糕的结果是否是由于局部最小值（“神经网络”默认使用带有权重回溯的弹性反向传播）而我只是运气不好，或者我是否可以避免这种情况。我的印象是，存在用于拟合的隐藏节点的最佳数量，例如2、5、10 次多项式。如果不是，我最好的做法是什么？更大的学习率？误差阈值更小？提前致谢。

I have not尝试调整 rprop 参数，所以解决方案可能就在那里。

Code:

# DATA ----------------------
minute <- seq(0, 6*24 - 1)
temp <- rep.int(17, 6*24)
temp[(6*7):(6*20)] <- 20
n <- 10
dta <- data.frame(Zeit = minute, Status = temp)
dta <- dta[rep(seq_len(nrow(dta)), n), ]
# Scale everything
maxs <- apply(dta, 2, max) 
mins <- apply(dta, 2, min)

nnInput <- data.frame(Zeit = dta$Zeit, Status = dta$Status)
nnInput <- as.data.frame(scale(nnInput, center = mins, scale = maxs - mins))
trainingData <- nnInput[seq(1, nrow(nnInput), 2), ]
testData     <- nnInput[seq(2, nrow(nnInput), 2), ]

# MODEL ---------------------
model <- as.formula("Status ~ Zeit")
net <- neuralnet::neuralnet(model, 
                            trainingData, 
                            hidden = 2, 
                            threshold = 0.01,
                            linear.output = TRUE,
                            lifesign = "full",
                            stepmax = 100000,
                            rep = 1)

net.results <- neuralnet::compute(net, testData$Zeit)

results <- net.results$net.result * (maxs["Status"] - mins["Status"]) + mins["Status"]
testData <- as.data.frame(t(t(testData) * (maxs - mins) + mins))

cleanOutput <- data.frame(Actual = testData$Status, 
                          Prediction = results, 
                          diff = abs(results - testData$Status))

summary(cleanOutput)

plot(cleanOutput$Actual[1:144], main = "Zeittabelle", xlab = paste("Min. seit 0:00 *", n), ylab = "Temperatur")
lines(cleanOutput$Prediction[1:144], col = "red", lwd = 3)

基本上 - 初始化非常重要。如果您不随机初始化它，那么您可能会使您的网络根本无法工作（例如，通过将所有权重设置为0）。也证明了对于sigmoid http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_GlorotB10.pdf and relu http://arxiv.org/pdf/1502.01852v1.pdf某种类型的激活可能有助于训练您的网络。

但就你而言 - 我认为差异主要是由你的问题的复杂性造成的。如果模型的复杂性似乎适合您问题的复杂性，那么效果会很好。其他型号可能会因以下原因而受到影响：

1. 复杂度太小- 对于一个节点，也许你基本上无法学习正确的功能。
2. 复杂性太大- 对于两层网络，您可能会遇到陷入局部最小值的情况。增加网络参数的数量也会增加参数空间的大小。当然，一方面你可能会得到更好的模型，另一方面，你可能会落在参数空间的这个区域，这将导致糟糕的解决方案。也许尝试具有不同初始化的相同模型 - 并且选择最佳模型可能会解决这个问题。

UPDATE:

1. 对于较小的网络规模 - 陷入局部最小值是很常见的。根据训练网络所需的时间，您可以使用以下技术来克服这个问题：

   • Dropout / 批量归一化 / 批量学习随机化：当您能够训练网络更长一点的时间时 - 您可以使用 dropout 或批量归一化的随机化属性。由于这种随机波动，您可以从较差的局部最小值（通常被认为相对较浅）移动。
   • 交叉验证/多次运行：当您多次开始训练时，以最低成绩完成训练的可能性会显着降低。

2. 关于层大小和多项式次数之间的联系 - 我认为这个问题没有明确说明。您必须指定更多详细信息，例如激活函数。我还认为可以通过经典神经网络建模的多项式和函数的性质有很大不同。在多项式中，参数值的微小变化通常会导致比神经网络情况下更大的差异。通常，神经网络的导数是有界函数，而当次数大于 2 时，多项式导数是无界的。由于这个事实，我认为 - 寻找多项式次数和隐藏层大小之间的依赖关系可能是不值得认真考虑。