机器学习中概率论知识复习

假设给定样本空间 Ω ，则对于事件空间 F 来说：
- F 包含 Ω 本身和 ∅
- F 对于并集闭合，例如：如果 α,β∈F ，则 α∪β∈F
- F 对于补集闭合，例如：如果 α∈F ，则 (Ω∖α)∈F

Example1: 假如我们投掷一个（6面）骰子，那么可能的样本空间 Ω={ 1,2,3,4,5,6} 。我们可能感兴趣的事件是骰子点数是奇数还是偶数，那么这种情况下事件空间就是 F={ ∅,{ 1,3,5},{ 2,4,6}} .

可以看到样本空间 Ω 为有限集时，就像上一个例子，我们通常令事件空间 F 为 2Ω 。这种策略并不完全通用，但是在实际使用中通常是有效的。然而，当样本空间为无限集时，我们需要仔细定义事件空间。
给定一个事件空间 F ，概率函数 P 需要满足几个公理：
- （非负）对于所有 α∈F,P(α)≥0
- P(F)=1 ，事件空间的概率值为1
- （互斥事件的加法法则）对于所有 α,β∈F和α∩β=∅,P(α∪β)=P(α)+P(β)

Example2: 回到掷骰子的例子，假设事件空间 F 为 2Ω ，进一步地，定义 F 上的概率函数 P 为：
P({ 1})=P({ 2})=…=P({ 6})=16
那么这种概率分布 P 可以完整定义任意给出事件的发生概率（通过可加性公理）。例如，投掷点数为偶数的概率为：
P({2,4,6})=P({2})+P({4})+P({6})=16+16+16=12
因为任意事件（此处指样本空间内的投掷出各点数）之间都没有交集

1.2 随机变量

随机变量在概率论中扮演着一个重要角色。最重要的一个事实是，随机变量并不是变量，它们实际上是将（样本空间中的）结果映射到真值的函数。我们通常用一个大写字母来表示随机变量。
Example3: 还是以掷骰子为例。 另 X 为取决于投掷结果的随机变量。 X 的一个自然选择是将 i 映射到值 i ，例如，将事件“投掷1点”映射到值1。我们也可以选择一些特别的映射，例如，我们有一个随机变量 Y ——将所有的结果映射到0，这就是一个很无聊的函数。或者随机变量 Z ——当 i 为奇数时，将结果 i 映射到 2i ；当 i 为偶数时，将结果 i 映射到 i 。

从某种意义上说，随机变量让我们可以将事件空间的形式概念抽象出来，通过定义随机变量来采集相关事件。举个例子，考虑Example1中投掷点数为奇／偶的事件空间。我们其实可以定义一个随机变量，当结果 i 为奇数时取值为1，否则随机变量取值为0。这种二元算计变量在实际中非常常见，通常以指示变量为人所知，它是因用于指示某一特定事件是否发生而得名。所以为什么我们要引进事件空间？就是因为当一个人在学习概率论（更严格来说）通过计量理论来学习时，样本空间和事件空间的区别非常重要。这个话题对于这个简短的复习来说太前沿了，因此不会涉及。不管怎样，最好记住事件空间并不总是简单的样本空间的幂集。
继续，我们后面主要会讨论关于随机变量的概率。虽然某些概率概念在不使用随机变量的情况下也能准确定义，但是随机变量让我们能提供一种对于概率论的更加统一的处理方式。取值为 a 的随机变量 X 的概率可以记为：