ELM的提出目的是为了解决人工神经网络训练时耗费的时间和高成本。对此，2004年由南洋理工大学的黄广斌提出了ELM学习理论
机器或者生物学习可以不需要调整隐层节点：给定任何连续目标函数或者可分类目标，只要前馈神经的隐层节点是非线性阶段连续的，神经网络无需调整隐层节点就能任意逼近目标连续函数或者对分类目标加以区分。
ELM考虑的主要问题在于高泛化能力、尽可能少的人工干预以及实时学习
第
i
i
i个隐层节点的输出方程为
h
i
(
x
)
=
G
(
a
i
,
b
i
,
x
)
h_{i}(x)=G\left(a_{i}, b_{i}, x\right)
hi(x)=G(ai,bi,x)
最后再根据任务是做分类还是回归，单分类还是多分类来进行加权求和得到输出结果
f
(
x
)
=
∑
i
=
1
L
β
i
G
(
a
i
,
b
i
,
x
)
=
β
H
f(x)=\sum_{i=1}^{L} \beta_{i} G\left(a_{i}, b_{i}, x\right)=\beta H
f(x)=i=1∑LβiG(ai,bi,x)=βH
对于有
N
N
N个批次的样本
x
i
x_{i}
xi，目标函数就是使得
m
i
n
∣
∣
f
(
X
)
−
T
∣
∣
m
i
n
∣
∣
f
(
X
)
−
T
∣
∣
m i n ∣ ∣ f ( X ) − T ∣ ∣ min||f(X) - T||
min∣∣f(X)−T∣∣min∣∣f(X)−T∣∣，最小化损失函数
E
=
∑
i
=
1
N
[
f
(
x
i
)
−
t
i
]
2
E=\sum_{i=1}^{N}\left[f\left(x_{i}\right)-t_{i}\right]^{2}
E=i=1∑N[f(xi)−ti]2
传统的梯度下降不断迭代就可以调整所有的参数，但在这里
H
H
H是固定的，以训练过程只需要求解方程
β
H
=
T
β
H
=
T
β
H
=
T
β H = T \beta H = TβH=T
βH=TβH=TβH=T中的输出权重即
β
^
=
T
H
−
1
\hat{β}=TH^{-1}
β^=TH−1
因为ELM是一种 batch based 的算法，所以这就意味着在训练阶段，它需要获得所有的训练数据，然后 train then test，而不是随着新数据的到来在线更新。所以黄广斌教授的团队又提出了在线顺序超限学习机算法，用于在线学习并更新网络参数，OS-ELM具备了ELM的速度和泛化能力上的优点，并且可以随着新数据的到来不断更新模型，而不是重新训练模型。
OS-ELM分为两个部分，
https://blog.csdn.net/FrankieHello/article/details/89949004
