在线性代数中，向量范数是将向量映射到标量的函数
f
f
f。 给定任意向量
x
\mathbf{x}
x，向量范数要满足一些属性。 第一个性质是：如果我们按常数因子
α
\alpha
α缩放向量的所有元素， 其范数也会按相同常数因子的绝对值缩放：
f
(
α
x
)
=
∣
α
∣
f
(
x
)
.
f(\alpha \mathbf{x}) = |\alpha| f(\mathbf{x}).
f(αx)=∣α∣f(x).
第二个性质是熟悉的三角不等式:
f
(
x
+
y
)
≤
f
(
x
)
+
f
(
y
)
.
f(\mathbf{x} + \mathbf{y}) \leq f(\mathbf{x}) + f(\mathbf{y}).
f(x+y)≤f(x)+f(y).
第三个性质简单地说范数必须是非负的:
f
(
x
)
≥
0.
f(\mathbf{x}) \geq 0.
f(x)≥0.
最后一个性质要求范数最小为0，当且仅当向量全由0组成。
∀
i
,
[
x
]
i
=
0
⇔
f
(
x
)
=
0.
\forall i, [\mathbf{x}]_i = 0 \Leftrightarrow f(\mathbf{x})=0.
∀i,[x]i=0⇔f(x)=0.
范数听起来很像距离的度量。 欧几里得距离和毕达哥拉斯定理中的非负性概念和三角不等式可能会给出一些启发。事实上，欧几里得距离是一个
L
2
L_2
L2范数： 假设
n
n
n维向量
x
\mathbf{x}
x中的元素是
x
1
,
…
,
x
n
x_1,\ldots,x_n
x1,…,xn，其**
L
2
L_2
L2范数是向量元素平方和的平方根：
∥
x
∥
2
=
∑
i
=
1
n
x
i
2
,
\|\mathbf{x}\|_2 = \sqrt{\sum_{i=1}^n x_i^2},
∥x∥2=i=1∑nxi2, 其中，在
L
2
L_2
L2范数中常常省略下标
2
2
2，也就是说
∥
x
∥
\|\mathbf{x}\|
∥x∥等同于
∥
x
∥
2
\|\mathbf{x}\|_2
∥x∥2。在代码中，我们可以按如下方式计算向量的
L
2
L_2
L2范数。
u = torch.tensor([3.0,-4.0])
torch.norm(u)# tensor(5.)
深度学习中更经常地使用
L
2
L_2
L2范数的平方，也会经常遇到
L
1
L_1
L1范数，它表示为向量元素的绝对值之和:
∥
x
∥
1
=
∑
i
=
1
n
∣
x
i
∣
.
\|\mathbf{x}\|_1 = \sum_{i=1}^n \left|x_i \right|.
∥x∥1=i=1∑n∣xi∣.
与
L
2
L_2
L2范数相比，
L
1
L_1
L1范数受异常值的影响较小。为了计算
L
1
L_1
L1范数，我们将绝对值函数和按元素求和组合起来。
torch.abs(u).sum()# tensor(7.)
L
2
L_2
L2范数和
L
1
L_1
L1范数都是更一般的
L
p
L_p
Lp范数的特例：
∥
x
∥
p
=
(
∑
i
=
1
n
∣
x
i
∣
p
)
1
/
p
.
\|\mathbf{x}\|_p = \left(\sum_{i=1}^n \left|x_i \right|^p \right)^{1/p}.
∥x∥p=(i=1∑n∣xi∣p)1/p.
类似于向量的
L
2
L_2
L2范数，矩阵
X
∈
R
m
×
n
\mathbf{X} \in \mathbb{R}^{m \times n}
X∈Rm×n(的Frobenius范数（Frobenius norm）是矩阵元素平方和的平方根：)
∥
X
∥
F
=
∑
i
=
1
m
∑
j
=
1
n
x
i
j
2
.
\|\mathbf{X}\|_F = \sqrt{\sum_{i=1}^m \sum_{j=1}^n x_{ij}^2}.
∥X∥F=i=1∑mj=1∑nxij2.
Frobenius范数满足向量范数的所有性质，它就像是矩阵形向量的
L
2
L_2
L2范数。 调用以下函数将计算矩阵的Frobenius范数。
