目录
- 引言
- 深入理解 Dense 层的用法
- 查看参数
- 输入尺寸
- 输出尺寸
- 示例:
- 用法完整示例
- 示例一: 最小网络
- 示例二:多维度数据
- 示例三:特殊情况,待讨论
- 附录
引言
大家或许已经对深度学习不陌生了。不管是养家糊口工作还是科研学习早日毕业,为了生活,我们可能不得不去深入理解深度学习方面的知识。对于现成的深度学习框架,已经有很多教程,一般都是再强调用法,却很少有理论与实战结合的示例。
在此,我们将抛砖引玉,记录一些关于 keras 中 Dense 层的简单使用。
深入理解 Dense 层的用法
keras.layers.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)
Dense layer 就是常提到和用到的全连接层 。Dense 实现的操作为:output = activation(dot(input, kernel) + bias)
其中 activation
是按逐个元素计算的激活函数,kernel
是由网络层创建的权值矩阵,以及 bias 是其创建的偏置向量 (只在 use_bias=True 时才有用)。
注意: 如果该层的输入的秩大于2,那么它首先被展平然后 再计算与 kernel
的点乘。
查看参数
units: 正整数,输出空间维度。
activation: 激活函数 (详见 activations)。 若不指定,则不使用激活函数 (即,「线性」激活: a(x) = x)。
use_bias: 布尔值,该层是否使用偏置向量。
kernel_initializer: kernel 权值矩阵的初始化器 (详见 initializers)。
bias_initializer: 偏置向量的初始化器 (see initializers).
kernel_regularizer: 运用到 kernel 权值矩阵的正则化函数 (详见 regularizer)。
bias_regularizer: 运用到偏置向的的正则化函数 (详见 regularizer)。
activity_regularizer: 运用到层的输出的正则化函数 (它的 "activation")。 (详见 regularizer)。
kernel_constraint: 运用到 kernel 权值矩阵的约束函数 (详见 constraints)。
bias_constraint: 运用到偏置向量的约束函数 (详见 constraints)。
输入尺寸
nD 张量,尺寸: (batch_size, …, input_dim)。 最常见的情况是一个尺寸为 (batch_size, input_dim) 的 2D 输入。
输出尺寸
nD 张量,尺寸: (batch_size, …, units)。 例如,对于尺寸为 (batch_size, input_dim) 的 2D 输入, 输出的尺寸为 (batch_size, units)。
示例:
model = Sequential()
model.add(Dense(32, input_shape=(16,)))
model.add(Dense(32))
用法完整示例
示例一: 最小网络
仅有一个参数
import keras
from keras.layers import Dense
model = keras.models.Sequential()
model.add(Dense(1, use_bias=False, input_shape=(1,), name='Dense_ly'))
model.compile(loss='mse', optimizer='adam')
model.summary()
from IPython.display import SVG
from keras.utils.vis_utils import model_to_dot
display(SVG(model_to_dot(model,show_shapes=True).create(prog='dot', format='svg')))
import numpy as np
data_input = np.random.normal(size=1000000).reshape(-1,1)
data_label = -(data_input)
print('模型随机权重分配为:%s\n' % (model.layers[0].get_weights()))
model.fit(data_input, data_label)
print('模型进行预测:%s\n' % (model.predict(np.array([2.5]))))
print('训练完成后权重分配为:%s\n' % (model.layers[0].get_weights()))
示例二:多维度数据
多维数据训练,此处为2个变量
import keras
from keras.layers import Dense
model = keras.models.Sequential()
model.add(Dense(1, use_bias=False, input_shape=(2,), name='Dense_ly'))
model.compile(loss='mse', optimizer='adam')
model.summary()
from IPython.display import SVG
from keras.utils.vis_utils import model_to_dot
display(SVG(model_to_dot(model,show_shapes=True).create(prog='dot', format='svg')))
import numpy as np
data_input = np.random.normal(size=1000000).reshape(-1,2)
data_label = -(data_input[:,1])
print('模型随机权重分配为:%s\n' % (model.layers[0].get_weights()))
model.fit(data_input, data_label)
print('模型进行预测:%s\n' % (model.predict(np.array([[2.5, 13.5]]))))
print('训练完成后权重分配为:%s\n' % (model.layers[0].get_weights()))
示例三:特殊情况,待讨论
这个参数是一个二位矩阵,先留待查看研习
import keras
from keras.layers import Dense
model = keras.models.Sequential()
model.add(Dense(2, use_bias=False, input_shape=(2,), name='Dense_ly'))
model.compile(loss='mse', optimizer='adam')
model.summary()
from IPython.display import SVG
from keras.utils.vis_utils import model_to_dot
display(SVG(model_to_dot(model,show_shapes=True).create(prog='dot', format='svg')))
import numpy as np
data_input = np.random.normal(size=1000000).reshape(-1,2)
data_label = -(data_input)
print('模型随机权重分配为:%s\n' % (model.layers[0].get_weights()))
model.fit(data_input, data_label)
print('模型进行预测:%s\n' % (model.predict(np.array([[2.5, 13.5]]))))
print('训练完成后权重分配为:%s\n' % (model.layers[0].get_weights()))
附录
配合以下资源食用更香:
-
面向初学者的最小神经网络
-
理解1D、2D、3D卷积神经网络的概念
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)