贝塔、伽马分布

最近开始自学PRML，为此又补了概率论中的一些知识点。
相较于古典概率通过各种估计手段来确定参数的分布，贝叶斯学派则是使用后验概率来确定，为了方便计算后验概率，引入共轭先验分布来方便计算，这是后话了。
那么一些常见的共轭后验分布有哪些呢？这就引出了这里的主题。有诸如贝塔分布、伽马分布和倒伽马分布等。(先打个坑，后面再补充)

---

简介

贝塔分布

下面就是 X∼Beta(α,β) $X \sim Beta(\alpha,\beta)$的概率密度函数

$$f(x)={ \Gamma(\alpha + \beta) \over \Gamma(\alpha) \Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}$$

• E(X)=αα+β $E(X)={{\alpha}\over{\alpha+\beta}}$
• Var(X)=αβ(α+β)2(α+β+1) $Var(X)={{\alpha\beta}\over{(\alpha+\beta)^2(\alpha+\beta+1)}}$

这个式子并不是从天而降，这是有由来的。
最先想构造的概率分布函数是，

$$f(x)=wx^{\alpha-1}(1-x)^{\beta-1}$$
其中， w $w$是一个常数，为了满足概率分布函数的两个条件

• x∈[0,1]$x\in [0,1]$
  • ∫10f(x)dx=1 $\int_{0}^{1}f(x)dx=1$

  • 因此
    

    f(x)=xα−1(1−x)β−1∫10xα−1(1−x)β−1dx=Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1=1B(α,β)xα−1(1−x)β−1
    $$f(x)={{x^{\alpha-1}(1-x)^{\beta-1}}\over{\int_{0}^{1}x^{\alpha-1}(1-x)^{\beta-1}dx}}\\={ \Gamma(\alpha + \beta) \over \Gamma(\alpha) \Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}\\={{1}\over{B(\alpha,\beta)}}x^{\alpha-1}(1-x)^{\beta-1}$$

    贝塔函数

    B(α,β)=∫10xα−1(1−x)β−1dx $B(\alpha,\beta)=\int_{0}^{1}x^{\alpha-1}(1-x)^{\beta-1}dx$

    ---

    伽马函数

    其中 Γ(x) $\Gamma(x)$就是伽马函数，此处传送门详解伽马函数历史由来
    

    Γ(θ)=∫∞0xθ−1e−xdx
    $$\Gamma(\theta)=\int_{0}^{\infty}x^{\theta-1}e^{-x}dx$$

    其中伽马函数有一些性质需要注意

    • Γ(x+1)=xΓ(x) $\Gamma(x+1)=x\Gamma(x)$

    • 对于整数 n $n$来说
      

      Γ(n)=(n−1)!
      $$\Gamma(n)=(n-1)!$$

    • 对于 x∈(0,1) $x\in{(0,1)}$,
      

      Γ(1−x)Γ(x)=πsin(πx)
      $${\Gamma(1-x)\Gamma(x)}={{\pi} \over {\sin(\pi x)}}$$

    • Γ(12)=π√ $\Gamma({1 \over 2})=\sqrt{\pi}$

    ---

    伽马分布

    X∼Γ(k,θ) $X \sim \Gamma(k,\theta)$的概率密度函数如下

    f(x)=xk−1e−x/θθkΓ(k),(k>0,θ>0)
    $$f(x)={{x^{k-1}e^{-{{x}/{\theta}}}}\over{\theta^k\Gamma(k)}},(k\gt0,\theta\gt0)$$

    • E(x)=kθ $E(x)=k\theta$

    • Var(x)=kθ2 $Var(x)=k\theta^2$

    
    

    ---

    倒伽马分布

    X∼IGa(α,β) $X\sim IGa(\alpha,\beta)$
    由 Y=g(X)=1X及X∼Γ(k,θ) $Y=g(X)={{1}\over{X}}及X\sim \Gamma(k,\theta)$推出 Y $Y$的分布，即为倒伽马分布。
    

    fY(y)=fX(g−1(y)|ddyg−1(y)|)=1θkΓ(k)(1y)k+1exp(−1yθ)=1θkΓ(k)y−k−1exp(−1yθ)
    $$f_Y(y)=f_X(g^{-1}(y)|{d\over{dy}}g^{-1}(y)|)\\ ={1\over{\theta^k\Gamma(k)}}({{1}\over{y}})^{k+1}exp({{-1}\over{y\theta}})\\ ={1\over{\theta^k\Gamma(k)}}y^{-k-1}exp({{-1}\over{y\theta}})$$
    用 α $\alpha$替换 k $k$,β$\beta$替换 θ−1 $\theta^{-1}$得：
    
    fX(x)=βαΓ(α)x−α−1exp(−βx)
    $$f_X(x)={{\beta^\alpha}\over{\Gamma(\alpha)}}x^{-\alpha-1}exp({{-\beta}\over{x}})$$
    上式即为倒伽马分布的概率密度函数 X∼IGa(α,β) $X\sim IGa(\alpha,\beta)$。

    • E(X)=βα−1,α>1 $E(X)={\beta\over{\alpha-1}},\alpha\gt1$

    • D(X)=β2(α−1)2(α−2),α>2 $D(X)={{\beta^2}\over{(\alpha-1)^2(\alpha-2)}},\alpha\gt2$

    
    

    参考资料

    • https://en.wikipedia.org/wiki/Beta_distribution

    • https://en.wikipedia.org/wiki/Beta_function

    • https://en.wikipedia.org/wiki/Inverse-gamma_distribution

    
    本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。