矩阵基本知识

1，identity matrix

单位矩阵，除了正对角线上是1，其它地方都是0

2，square matrix

方阵，行数和列数都相等的矩阵

3，diagonal matrix

对角矩阵，只在正对角线上有值，其它地方为0

4，matrix multiplication矩阵相乘

[ a 11 a 12 a 13 a 21 a 22 a 23 ] [ b 11 b 12 b 21 b 22 b 31 b 32 ] = [ a 11 b 11 + a 12 b 21 + a 13 b 31 a 11 b 12 + a 12 b 22 + a 13 b 32 a 21 b 11 + a 22 b 21 + a 23 b 31 a 21 b 12 + a 22 b 22 + a 23 b 32 ] \left[ \begin{matrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \end{matrix} \right] \left[ \begin{matrix} b_{11} & b_{12} \\ b_{21} & b_{22} \\ b_{31} & b_{32} \end{matrix} \right]= \left[ \begin{matrix} a_{11}b_{11} +a_{12}b_{21}+a_{13}b_{31}& a_{11}b_{12} +a_{12}b_{22}+a_{13}b_{32} \\ a_{21}b_{11} +a_{22}b_{21}+a_{23}b_{31}& a_{21}b_{12} +a_{22}b_{22}+a_{23}b_{32} \end{matrix} \right] [a11​a21​​a12​a22​​a13​a23​​]⎣⎡​b11​b21​b31​​b12​b22​b32​​⎦⎤​=[a11​b11​+a12​b21​+a13​b31​a21​b11​+a22​b21​+a23​b31​​a11​b12​+a12​b22​+a13​b32​a21​b12​+a22​b22​+a23​b32​​]

5，the determinant行列式

在线性代数中，行列式就是一个值，它能从方阵计算而来。
方正A的行列式通常被记作det(A)，det A，|A|。
在几何上，行列式是该方阵所代表的的线性变换的比例因子。

6，cross product（vector product）向量积

仅在三维空间中定义。
a ⃗ X b ⃗ = ∣ a ∣ ∗ ∣ b ∣ s i n ( θ ) n ⃗ \vec{a} X \vec{b} =|a|*|b|sin(\theta)\vec{n} a Xb =∣a∣∗∣b∣sin(θ)n
∣ a ∣ 和 ∣ b ∣ 分 别 为 向 量 a ⃗ 和 b ⃗ 的 长 度 ， θ 为 a ⃗ 和 b ⃗ 的 夹 角 ， |a|和|b|分别为向量\vec{a}和\vec{b}的长度，\theta为\vec{a}和\vec{b}的夹角， ∣a∣和∣b∣分别为向量a 和b 的长度，θ为a 和b 的夹角，
n ⃗ 为 单 位 向 量 ， 方 向 为 垂 直 于 a ⃗ 和 b ⃗ 的 平 面 ， 且 在 这 两 条 向 量 的 右 边 。 \vec{n}为单位向量，方向为垂直于\vec{a}和\vec{b}的平面，且在这两条向量的右边。 n 为单位向量，方向为垂直于a 和b 的平面，且在这两条向量的右边。

由右手规则判断：
With your right-hand, point your index finger along vector a, and point your middle finger along vector b: the cross product goes in the direction of your thumb.

a ⃗ X b ⃗ \vec{a} X \vec{b} a Xb 与 b ⃗ X a ⃗ \vec{b} X \vec{a} b Xa 长度相等，方向相反。

7，dot product（scalar product）点积

点积是标量，是一个数字。
a ⃗ . b ⃗ = ∣ a ∣ ∗ ∣ b ∣ c o s ( θ ) \vec{a}.\vec{b}=|a|*|b|cos(\theta) a .b =∣a∣∗∣b∣cos(θ)
∣ a ∣ 和 ∣ b ∣ 分 别 为 向 量 a ⃗ 和 b ⃗ 的 长 度 ， θ 为 a ⃗ 和 b ⃗ 的 夹 角 。 |a|和|b|分别为向量\vec{a}和\vec{b}的长度，\theta为\vec{a}和\vec{b}的夹角。 ∣a∣和∣b∣分别为向量a 和b 的长度，θ为a 和b 的夹角。
在二维空间和多维空间，此计算都成立。

8，eigenvectors（特征向量）和eigenvalues（特征值）

给定一个矩阵A，如果经过 v ⃗ 这 个 线 性 变 换 后 ， 得 到 的 新 向 量 仍 与 v ⃗ \vec{v}这个线性变换后，得到的新向量仍与\vec{v} v 这个线性变换后，得到的新向量仍与v 在同一条直线上，即：
A v ⃗ = λ v ⃗ A\vec{v}=\lambda\vec{v} Av =λv ，
则称 v ⃗ 为 矩 阵 A 的 特 征 向 量 ， λ 为 矩 阵 A 的 特 征 值 \vec{v}为矩阵A的特征向量，\lambda为矩阵A的特征值 v 为矩阵A的特征向量，λ为矩阵A的特征值。

方阵才有特征值和特征向量的概念，一个n阶方阵要么没有特征向量，要么有n个特征向量。

9，矩阵中常用的数学符号

9.1 A − 1 A^{-1} A−1
叫法：The inverse matrix of the matrix A、逆矩阵、导数矩阵。
仅针对方阵而言，并且方阵的行列式不为0时才有逆矩阵。
定义：
如果A为方阵，且 A A − 1 = I ， AA^{-1}=I， AA−1=I，则 A − 1 称 为 A 的 逆 矩 阵 （ 其 中 I 为 单 位 矩 阵 ） 。 A^{-1}称为A的逆矩阵（其中I为单位矩阵）。 A−1称为A的逆矩阵（其中I为单位矩阵）。

有如下一个2X2方阵：
A = [ a 11 a 12 a 21 a 22 ] A= \left[ \begin{matrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{matrix} \right] A=[a11​a21​​a12​a22​​]
则：
A − 1 = 1 a 11 a 22 − a 12 a 21 [ a 22 − a 12 − a 21 a 11 ] = 1 ∣ A ∣ [ a 22 − a 12 − a 21 a 11 ] A^{-1}=\frac{1}{a_{11}a_{22}-a_{12}a_{21}} \left[ \begin{matrix} a_{22} & -a_{12} \\ -a_{21} & a_{11} \end{matrix} \right]=\frac{1}{|A|} \left[ \begin{matrix} a_{22} & -a_{12} \\ -a_{21} & a_{11} \end{matrix} \right] A−1=a11​a22​−a12​a21​1​[a22​−a21​​−a12​a11​​]=∣A∣1​[a22​−a21​​−a12​a11​​]
其中|A|为方阵A的行列式。

性质：
设C=AB（显然A和B为同纬度的方阵），
则 B = A − 1 A B = A − 1 C B=A^{-1}AB=A^{-1}C B=A−1AB=A−1C
A = A B B − 1 = C B − 1 A=ABB^{-1}=CB^{-1} A=ABB−1=CB−1
因此 C = A B = C B − 1 A − 1 C C=AB=CB^{-1}A^{-1}C C=AB=CB−1A−1C，
因此 C B − 1 A − 1 = I CB^{-1}A^{-1}=I CB−1A−1=I（I为单位矩阵）
因此 B − 1 A − 1 = C − 1 = ( A B ) − 1 B^{-1}A^{-1}=C^{-1}=(AB)^{-1} B−1A−1=C−1=(AB)−1

9.2 A T A^T AT
矩阵A的转置矩阵，即将行和列互换。

9.3 A ∗ A^* A∗
叫法：complex conjugated matrix、复共轭矩阵
若 ( A ∗ ) i , j = A i , j ˉ (A^*)_{i,j}=\bar{A_{i,j}} (A∗)i,j​=Ai,j​ˉ​，（其中 ( . ) i , j 为 矩 阵 第 i 行 第 j 列 的 元 素 ， ( . ) ˉ 表 示 标 量 的 复 共 轭 。 (.)_{i,j}为矩阵第i行第j列的元素，\bar{(.)}表示标量的复共轭。 (.)i,j​为矩阵第i行第j列的元素，(.)ˉ​表示标量的复共轭。）
则称 A ∗ A^* A∗为A的复共轭矩阵

9.3 A H ( 量 子 力 学 中 用 A † 表 示 ) A^H(量子力学中用A^\dag 表示) AH(量子力学中用A†表示)
叫法：Transposed and complex conjugated matrix、共轭转置、伴随矩阵
若 ( A ∗ ) i , j = A j , i ˉ (A^*)_{i,j}=\bar{A_{j,i}} (A∗)i,j​=Aj,i​ˉ​，（其中 ( . ) i , j 为 矩 阵 第 i 行 第 j 列 的 元 素 ， ( . ) ˉ 表 示 标 量 的 复 共 轭 。 (.)_{i,j}为矩阵第i行第j列的元素，\bar{(.)}表示标量的复共轭。 (.)i,j​为矩阵第i行第j列的元素，(.)ˉ​表示标量的复共轭。）
也写作：
( A ∗ ) = ( A ˉ ) T = A T ˉ (A^*)=(\bar{A})^T=\bar{A^T} (A∗)=(Aˉ)T=ATˉ
则称 A ∗ A^* A∗为A的共轭转置矩阵

9.4 A + A^+ A+
叫法：The pseudo inverse matrix of the matrix A、伪逆（广义的逆矩阵）。
如果没有特殊说明，矩阵的伪逆就是指摩尔-彭若斯广义逆。

10，矩阵的秩（matrix rank）

定义1：
对于mXn的矩阵，假设m个行向量中线性无关的向量个数是m1，n个列向量中线性无关的向量个数是n1，则min{m1, n1}为矩阵的秩。

定义2：
将矩阵化成行阶梯矩阵的形式，所有非零行的个数就是矩阵的秩。

如果矩阵所有的行向量和列向量都分别线性无关，则称这样的矩阵满秩。可逆矩阵与满秩矩阵等价。不可逆矩阵（奇异矩阵）与降秩矩阵等价。

性质：一个矩阵的秩与其转置矩阵的秩相等。

11，向量空间

n维向量的全体构成的集合 R n R^n Rn称为n维向量空间。
定义：如果V是n维向量的集合，V非空，且V对向量的加法和乘数封闭，则称集合V为向量空间。

12，矩阵的值域和零空间

矩阵A值域（用列空间表示）：
Range（A）= 矩阵A的列向量的线性组合
= 矩阵A的列向量张成的空间
= 所有能被表示成Ax的向量（x为系数矩阵）

矩阵A的零空间：
Null（A）= 所有Ax = 0的解