我正在尝试在 Haskell 中实现神经网络架构，并在 MNIST 上使用它。
我正在使用hmatrix线性代数包。
我的训练框架是使用pipes包裹。
我的代码可以编译并且不会崩溃。但问题是，层大小（例如 1000）、小批量大小和学习率的某些组合会产生NaN计算中的值。经过一番检查后，我发现非常小的值（顺序1e-100）最终出现在激活中。但是，即使这种情况没有发生，培训仍然不起作用。其损失或准确性没有任何改善。
我检查并重新检查了我的代码，但我不知道问题的根源可能是什么。
这是反向传播训练，它计算每层的增量：
backward lf n (out,tar) das = do
let δout = tr (derivate lf (tar, out)) -- dE/dy
deltas = scanr (\(l, a') δ ->
let w = weights l
in (tr a') * (w <> δ)) δout (zip (tail $ toList n) das)
return (deltas)
lf是损失函数，n是网络（weight矩阵和bias每层的向量），out and tar是网络的实际输出target（期望的）输出，以及das是每层的激活导数。
在批处理模式下，out, tar是矩阵（行是输出向量），并且das是矩阵列表。
这是实际的梯度计算：
grad lf (n, (i,t)) = do
-- Forward propagation: compute layers outputs and activation derivatives
let (as, as') = unzip $ runLayers n i
(out) = last as
(ds) <- backward lf n (out, t) (init as') -- Compute deltas with backpropagation
let r = fromIntegral $ rows i -- Size of minibatch
let gs = zipWith (\δ a -> tr (δ <> a)) ds (i:init as) -- Gradients for weights
return $ GradBatch ((recip r .*) <$> gs, (recip r .*) <$> squeeze <$> ds)
Here, lf and n与上面相同，i是输入，并且t是目标输出（均为批处理形式，作为矩阵）。
squeeze通过对每一行求和将矩阵转换为向量。那是，ds是增量矩阵列表，其中每一列对应于小批量的一行的增量。因此，偏差的梯度是所有小批量的增量的平均值。同样的事情对于gs，它对应于权重的梯度。
这是实际的更新代码：
move lr (n, (i,t)) (GradBatch (gs, ds)) = do
-- Update function
let update = (\(FC w b af) g δ -> FC (w + (lr).*g) (b + (lr).*δ) af)
n' = Network.fromList $ zipWith3 update (Network.toList n) gs ds
return (n', (i,t))
lr是学习率。FC是层构造函数，并且af是该层的激活函数。
梯度下降算法确保传递学习率的负值。梯度下降的实际代码只是一个围绕以下组合的循环grad and move，具有参数化的停止条件。
最后，这是均方误差损失函数的代码：
mse :: (Floating a) => LossFunction a a
mse = let f (y,y') = let gamma = y'-y in gamma**2 / 2
f' (y,y') = (y'-y)
in Evaluator f f'
Evaluator只是捆绑了一个损失函数及其导数（用于计算输出层的增量）。
其余代码位于 GitHub 上：神经网络 https://github.com/DrPyser/NeuralNetwork.
任何人都对这个问题有深入的了解，甚至只是对我是否正确实现了算法进行了健全性检查？
