Introduction to Probability (一) Probability model and Axiom

前言

本系列记录了我参与edx公开课MIT6.041的一些笔记和思考。

这是这一lecture的内容：

sample space

set

为了说明样本空间是什么，我们首先需要引入一些关于set（集）的概念，一个集就是包含了很多元素，很多对象的集合。关于集合的表示方法可以是：

-有限集：

比如我们丢色子，可能出现的结果的集合是：

-可计算的无限集：（可以罗列出可能的结果）（countable set）

当然我们还有其他的表示集合的方式：

x中间的那条竖线表示的是x符合后面的种种条件。比如：，表示的是k是偶数。

那么什么是不可计算的无穷集呢？例如

这样的集合中的x是无法罗列出来的，所以叫做不可计算的无穷集（uncountable set）

如果集合y完全属于x，那么y是x的子集，如果集合y和集合x完全一样，那么x等于y，另外全集也成为宇集（universal set）是包含所有结果的集合。

probability model

概率模型是对不确定环境的一种数学表示方法，概率模型有两个要素，如下：

图1.2很好的诠释了概率模型：通过实验得到样本空间，再从样本空间中选取事件通过概率法则构建概率模型。

sample space

样本空间是一次实验的所有可能输出结果，数学符号用Ω表示，事件(event)表示的是从样本空间中抽取出的一些结果组成的集合，即为样本空间的子集。这里要注意的是我们研究的始终是一次实验，如果丢三次色子，那么这也是一次实验，而不是三次实验。

比如我们丢一次色子，那么样本空间是：

那么样本空间中的元素需要符合什么样的条件呢？

-mutually exclusive 他们之间必须是互斥的，即每次实验只能发生唯一一个结果，不可能发生多个结果。

-collectively exhaustive 完全穷尽性，样本空间包含了所有outcome，我们做实验，发生的结果肯定在样本空间中，不可能出现在它之外。

Sequential Models 

当我们的一次实验是连续的几次小实验时，或者是同时做多个一样的实验时，连续模型就为我们理清思路派上了用场，下面看个例子，是丢两个色子，我们可以用两种方式来呈现它：

左图的每一个点代表了一个样本空间的元素，一共有16个元素。

右图用一种树状的方式来表示样本空间，第一个子节点表示的是第一个色子，所有的叶节点表示的是所有的元素。

当然以上的模型是离散的，即样本空间中可数的元素，接下来看一个连续的模型：

这个模型是连续的，它的样本空间中的元素是不可数的。

probability laws

概率，直观上的理解就是一件事情发生的可能性大小，但是我们需要用数学的方法来表示它，以下是大名鼎鼎的概率三公理：

-非负性，任何事件发生的概率大于等于0，小于等于1，不可能是负值。

-相加性，如果事件A和事件B是两个不相容的事件，那么A和B的并集等于他们各自发生的概率的和。

-标准化，样本空间发生的概率是1，就是指做一次实验，结果必然出现在样本空间中。从这个性质结合相加性可以退出空集发生的概率为0。

下面是一些推论：

Discrete model

离散模型就是样本空间可数的模型，它有下面性质，一个事件发生的几率等于它所包含的所有元素发生的几率之和。

离散均匀概率法则：

如果样本空间中每个元素发生的概率相等，那么事件发生的概率就是它包含的元素的个数比上样本空间的元素个数：

下面是两个例子：第一个是丢两个色子：

第二个例子诠释了离散概率均匀理论：

Continus model

连续模型的单个元素发生的概率为0，所以考虑连续模型的时候通常是计算一个平面上一个线段，或者是面积，甚至是体积占整体的概率。从下面的例子来理解连续模型：

我们要求在1*1的方框内x+y小于0.5的概率，先画出x+y=0.5那条线，我们所需的区域是在直线下方与x，y轴围成的三角区域，计算面积为1/8。

另外单个元素如（0.5，0.3）发生的概率为0。

probability calculation steps

-首先罗列出实验可能的所有outcome（样本空间）。

-写出要用的概率法则

-列出事件包含的实验结果

-计算

在计算中经常用到概率的可加性：

但是要注意使用的场合：

-可加性只对可数元素的样本空间有效。

-像小方块，一条直线这样的样本空间是不可数的，所以不能使用可加性。

最后我们要说说概率究竟是什么玩意儿？

-从频率学角度来讲，它表示的是经过大量的重复实验，这个事件发生的频率。

-从个人信念角度来讲，它表示个人信念对于事件发生的反应，其中融入了个人经验。

Model and reality

使用概率理论去分析现实世界分为了两个不同的阶段：

-从现实社会的数据中去创建一个概率模型，在模型的选择中会在精确度，偏差度，方差，易实现等一系列的性能中抉择。

-用我们创建的模型去预测现实世界，去为我们的抉择做出有力的支持和判断。

references：

MIT：6.041 Introduction to probability       https://www.edx.org/course/mitx/mitx-6-041x-introduction-probability-1296