在概率论中,不可分解分布(indecomposable distribution)是不能表示为两个或多个非常数独立随机变量(non-constant independent random variables)之和的分布的概率分布:
Z
≠
X
+
Y
Z\neq X+Y
Z=X+Y。如果可以这样表示,则它是可分解的(decomposable):
Z
=
X
+
Y
Z = X + Y
Z=X+Y。进一步,如果它可以表示为两个或多个独立同分布的随机变量之和的分布,则它是可分的(divisible):
Z
=
X
1
+
X
2
Z = X_{1} + X_{2}
Z=X1+X2。
1.2 例子
1.2.1 不可分解(Indecomposable)
最简单的例子是伯努利分布(Bernoulli-distributions):如果
X
=
{
1
with probability
p
,
0
with probability
1
−
p
X={\begin{cases}1&{\text{with probability }}p,\\0&{\text{with probability }}1-p\end{cases}}
X={10with probability p,with probability 1−p
那么
X
X
X 的概率分布是不可分解的。
证明:给定非常数分布
U
U
U 和
V
V
V,因此 $U4 假设至少两个值
a
a
a、
b
b
b 和
V
V
V 假设两个值
c
c
c、
d
d
d,其中
a
<
b
a < b
a<b 且
c
<
d
c < d
c<d,则
U
+
V
U + V
U+V 假设至少三个不同的值:
a
+
c
a + c
a+c,
a
+
d
a + d
a+d,
b
+
d
b + d
b+d(
b
+
c
b + c
b+c 可能等于
a
+
d
a + d
a+d,例如,如果使用
0
0
0,
1
1
1 和
0
0
0,
1
1
1)。因此,非常数分布之和至少假定三个值,因此伯努利分布不是非常数分布之和。
假设
a
+
b
+
c
=
1
a + b + c = 1
a+b+c=1,
a
,
b
,
c
≥
0
a, b, c \geq 0
a,b,c≥0,并且:
X
=
{
2
with probability
a
,
1
with probability
b
,
0
with probability
c
.
X={\begin{cases}2&{\text{with probability }}a,\\1&{\text{with probability }}b,\\0&{\text{with probability }}c.\end{cases}}
X=⎩⎨⎧210with probability a,with probability b,with probability c.
此概率分布是可分解的(作为两个伯努利分布随机变量之和的分布)如果:
a
+
c
≤
1
{\sqrt {a}}+{\sqrt {c}}\leq 1\
a+c≤1
否则无法分解。为此,假设
U
U
U 和
V
V
V 是独立的随机变量,并且
U
+
V
U + V
U+V 具有此概率分布。那么我们必须有
U
=
{
1
with probability
p
,
0
with probability
1
−
p
,
and
V
=
{
1
with probability
q
,
0
with probability
1
−
q
,
U={\begin{cases}1&{\text{with probability }}p,\\0&{\text{with probability }}1-p,\end{cases}}\ \ \text{and}\ \ V={\begin{cases}1&{\text{with probability }}q,\\0&{\text{with probability }}1-q,\end{cases}}
U={10with probability p,with probability 1−p,andV={10with probability q,with probability 1−q,
对于某些
p
,
q
∈
[
0
,
1
]
p, q \in [0, 1]
p,q∈[0,1],通过与 Bernoulli 情况类似的推理(否则
U
+
V
U + V
U+V 之和将假设三个以上的值)。它遵循:
a
=
p
q
,
c
=
(
1
−
p
)
(
1
−
q
)
,
b
=
1
−
a
−
c
.
a=pq,\\ c=(1-p)(1-q),\,\\ b=1-a-c.\,
a=pq,c=(1−p)(1−q),b=1−a−c.
两个变量
p
p
p 和
q
q
q 的两个二次方程组有解
(
p
,
q
)
∈
[
0
,
1
]
2
(p, q)\in [0, 1]^{2}
(p,q)∈[0,1]2,当且仅当:
a
+
c
≤
1
{\sqrt {a}}+{\sqrt {c}}\leq 1
a+c≤1
因此,例如,集合
0
,
1
,
2
{0, 1, 2}
0,1,2 上的离散均匀分布是不可分解的,但两次试验的二项式分布均具有
1
/
2
1/2
1/2 的概率,因此分别给出概率
a
a
a、
b
b
b、
c
c
c 为
1
/
4
1/4
1/4,
1
/
2
1/2
1/2,
1
/
4
1/4
1/4,是可分解的。
绝对连续的不可分解分布。可以证明密度函数为:
f
(
x
)
=
1
2
π
x
2
e
−
x
2
/
2
f(x)={1 \over {\sqrt {2\pi \,}}}x^{2}e^{{-x^{2}/2}}
f(x)=2π1x2e−x2/2
∑
n
=
1
∞
X
n
2
n
\sum _{{n=1}}^{\infty }{X_{n} \over 2^{n}}
n=1∑∞2nXn
其中独立随机变量
X
n
X_{n}
Xn 均以相同的概率等于 0 或 1——这是对二进制展开的每个数字的伯努利试验。
不可分解的随机变量之和可分解为原始的被加数(original summands)。但它可能会被证明是无限可分的。假设随机变量
Y
Y
Y 服从几何分布:
Pr
(
Y
=
n
)
=
(
1
−
p
)
n
p
{\displaystyle \Pr(Y=n)=(1-p)^{n}p\,}
Pr(Y=n)=(1−p)np
在
0
,
1
,
2
,
⋯
{0, 1, 2, \cdots}
0,1,2,⋯ 上。
对于任何正整数
k
k
k,存在一系列负二项式分布(negative-binomially distributed)的随机变量
Y
j
,
j
=
1
,
⋯
,
k
Y_{j},j = 1,\cdots ,k
Yj,j=1,⋯,k,使得
Y
1
+
⋯
+
Y
k
Y_{1} +\cdots+ Y_{k}
Y1+⋯+Yk 具有此几何分布。因此,这分布是无限可分的。
另一方面,设
D
n
D_{n}
Dn 是
Y
Y
Y 的第
n
n
n 个二进制数字,因为
n
≥
0
n\geq 0
n≥0。那么
D
n
D_{n}
Dn 是独立的,并且:
Y
=
∑
n
=
1
∞
2
n
D
n
,
{\displaystyle Y=\sum _{n=1}^{\infty }2^{n}D_{n},}
Y=n=1∑∞2nDn,
在概率论中,如果可以将概率分布表示为任意数量的独立同分布(independent and identically distributed,简写为 i.i.d.)随机变量之和的概率分布,则该概率分布是无限可分的。任何无限可分分布的特征函数都称为无限可分特征函数(infinitely divisible characteristic function)。更严格地说,如果对于每个正整数
n
n
n,都存在
n
n
n 个随机变量
X
n
1
,
⋯
,
X
n
n
X_{n1},\cdots,X_{nn}
Xn1,⋯,Xnn(为 i.i.d.),它们的总和
S
n
=
X
n
1
+
⋯
+
X
n
n
S_{n}=X_{n1}+\cdots+X_{nn}
Sn=Xn1+⋯+Xnn 具有相同的分布
F
F
F,则概率分布
F
F
F 是无限可分的。
概率分布的无限可分性的概念是由 Bruno de Finetti 于 1929 年提出的。这种类型的分布分解用于概率和统计中,以找到可能是某些模型或应用程序的自然选择的概率分布族。在极限定理的背景下,无限可分分布在概率论中发挥着重要作用。
2.2 例子
无限可分的连续分布的例子有正态分布、Cauchy 分布、Lévy 分布和稳定分布族(stable distribution family)的所有其他成员,以及 Gamma 分布、卡方分布、Wald 分布、Log-normal distribution 和 Student’s t-distribution。
无限可分分布出现在中心极限定理的广义推广中:在三角形阵列中,当
n
→
+
∞
n\rightarrow +\infty
n→+∞时,独立一致渐近可忽略(independent uniformly asymptotically negligible,u.a.n.)随机变量的总和
S
n
=
X
n
1
+
⋯
+
X
n
n
S_{n} = X_{n1} +\cdots+ X_{nn}
Sn=Xn1+⋯+Xnn 的极限为:
X
11
X
21
X
22
X
31
X
32
X
33
⋮
⋮
⋮
⋱
\begin{array}{cccc} X_{11} \\ X_{21} & X_{22} \\ X_{31} & X_{32} & X_{33} \\ \vdots & \vdots & \vdots & \ddots \end{array}
X11X21X31⋮X22X32⋮X33⋮⋱
lim
n
→
∞
max
1
≤
k
≤
n
P
(
∣
X
n
k
∣
>
ε
)
=
0
,
for every
ε
>
0.
\lim_{n\to\infty} \, \max_{1 \le k \le n} \; P( \left| X_{nk} \right| > \varepsilon ) = 0,\ \text{ for every }\varepsilon > 0.
n→∞lim1≤k≤nmaxP(∣Xnk∣>ε)=0, for every ε>0.
lim
n
→
∞
n
p
n
=
λ
\lim_{n\rightarrow\infty} np_n = \lambda
n→∞limnpn=λ
如熟悉的小数定律(law of small numbers)证明所示,总和的弱收敛是均值为
λ
\lambda
λ 的泊松分布。
2.4 Lévy process
每个无限可分的概率分布都自然地对应于 Lévy 过程。Lévy 过程是一个具有平稳独立增量的随机过程
{
L
t
:
t
≥
0
}
\{ L_{t}:t\geq 0\}
{Lt:t≥0},其中平稳意味着对于
s
<
t
s < t
s<t,
L
t
−
L
s
L_{t} − L_{s}
Lt−Ls 的概率分布仅取决于
t
−
s
t − s
t−s 并且独立增量意味着差异
L
t
−
L
s
L_{t} − L_{s}
Lt−Ls 独立于任何不与
[
s
,
t
]
[s, t]
[s,t] 重叠的区间上的相应差值,对于任何有限数量的相互不重叠的区间也是如此。
如果
{
L
t
:
t
≥
0
}
\{ L_{t} : t\geq 0 \}
{Lt:t≥0} 是一个 Lévy 过程,那么对于任何
t
≥
0
t\geq 0
t≥0,随机变量
L
t
L_{t}
Lt 将是无限可分的:对于任何
n
n
n,我们可以选择
(
X
n
1
,
X
n
2
,
⋯
,
X
n
n
)
=
(
L
t
/
n
−
L
0
,
L
2
t
/
n
−
L
t
/
n
,
⋯
,
L
t
−
L
(
n
−
1
)
t
/
n
)
(X_{n1}, X_{n2}, \cdots, X_{nn}) = (L_{t/n} − L_{0}, L_{2t/n} − L_{t/n},\cdots, L_{t} − L_{(n−1)t/n})
(Xn1,Xn2,⋯,Xnn)=(Lt/n−L0,L2t/n−Lt/n,⋯,Lt−L(n−1)t/n)。类似地,对于任何
s
<
t
s < t
s<t,
L
t
−
L
s
L_{t} − L_{s}
Lt−Ls 是无限可分的。
另一方面,如果
F
F
F 是无限可分分布,我们可以从中构造一个 Lévy 过程
{
L
t
:
t
≥
0
}
\{ L_{t} : t \geq0 \}
{Lt:t≥0}。对于任何区间
[
s
,
t
]
[s, t]
[s,t],其中
t
−
s
>
0
t − s > 0
t−s>0 等于有理数
p
/
q
p/q
p/q,我们可以定义
L
t
−
L
s
L_{t} − L_{s}
Lt−Ls 具有与
X
q
1
+
X
q
2
+
⋯
+
X
q
p
X_{q1} + X_{q2} +\cdots + X_{qp}
Xq1+Xq2+⋯+Xqp 相同的分布。
t
−
s
>
0
t − s > 0
t−s>0 的无理值通过连续性参数处理。
2.5 加法过程(Additive process)
一个加法过程
{
X
t
}
t
≥
0
\{X_{t}\}_{t\geq 0}
{Xt}t≥0(一个 cadlag,连续的概率随机过程,具有独立的增量)对于任何
t
≥
0
t\geq 0
t≥0 的情况都有一个无限可分的分布。令
{
μ
t
}
t
≥
0
\{\mu _{t}\}_{t\geq 0}
{μt}t≥0 是它的无限可分分布族。
{
μ
t
}
t
≥
0
\{\mu _{t}\}_{t\geq 0}
{μt}t≥0 满足一系列连续性和单调性条件。此外,如果一族无限可分的分布
{
μ
t
}
t
≥
0
\{\mu _{t}\}_{t\geq 0}
{μt}t≥0 满足这些连续性和单调性条件,存在(理论上唯一)一个具有这个分布的加法过程
{
μ
t
}
t
≥
0
\{\mu _{t}\}_{t\geq 0}
{μt}t≥0。