概率论¶

概率¶

频率稳定到的那个常数可以表示事件在一次试验中发生的可能性的大小, 称为事件的概率. 这种定义称为统计定义

几何概率: \(P(A) = \frac{\text{A的测度}}{\text{样本空间的测度}}\)

样本点¶

随机试验的每一个基本结果称为样本点

样本空间¶

随机试验的所有样本点组成的集合称为样本空间

概率三要素¶

样本空间
事件域
概率

分布函数,密度函数¶

边际分布,条件分布¶

独立性¶

切比雪夫不等式¶

\(P(|X-\mu|\geq \epsilon)\leq \frac{\sigma^2}{\epsilon^2}\)

随机变量对数学期望的离散度最小¶

特征函数¶

\(f(t)=Ee^{it\xi}\)

多元正态函数密度函数¶

\[p(\vec{x})=\frac{1}{(2\pi)^{n/2}|B|^{1/2}} \exp \{ -\frac{1}{2}((\vec{x}-\vec{\mu})^TB^{-1}(\vec{x}-\vec{\mu}) \}\]

\[f(x,y)=\frac{1}{2\pi \sigma_1\sigma_2 \sqrt{1-\rho^2}}\exp\left\{-\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}\right]\right\}\]

依分布收敛¶

就是逐点收敛, 或者说弱收敛

中心极限定理¶

若存在 \(B_n>0\) 和 \(A_n,s.t.:\)

\[\frac{1}{B_n}\sum\limits_{i=1}^n X_i - A_n \xrightarrow{d} N(0,1)\]

就称 \(X_i\) 服从中心极限定理

Lindeberg-Levy 定理¶

一列独立同分布的随机变量的和服从中心极限定理 (均值方差有限)

并且

\[\frac{\sum\limits_{i=1}^{n} X_i - n\mu}{\sqrt{n}\sigma} \xrightarrow{d} N(0,1)\]

依概率收敛¶

在概率意义下的收敛

[!NOTE] 依概率收敛则依分布收敛(逐点收敛), 依分布收敛若收敛到常数(而不是随机变量), 则依概率收敛

伯努利大数定律¶

二项分布的大数定律: \(X\sim B(n,p)\), 则

\[\frac{S_n}{n} \xrightarrow{p} p\]

弱大数定律¶

\(\{\xi\}\) 是随机变量序列,如果存在常数列 \(\{a_n\},\{b_n\}\), 使得

\[\frac{1}{a_n}\sum\limits_{i=1}^{n} \xi_i - b_n \xrightarrow{p} 0\]

则称 \(\{\xi\}\) 服从弱大数定律,简称服从大数定律

切贝雪夫大数定律¶

\(\{\xi\}\) 是独立的随机变量序列, 且 \(E\xi_i=\mu_i,Var \xi_i=\sigma_i^2\), 若 \(\sum\limits_{i=1}^{n} \frac{\sigma_i^2}{n^2} \to 0\) 则 \(\{\xi\}\) 服从弱大数定律,并且

\[\frac{1}{n}\sum\limits_{i=1}^{n} \xi_i - \frac{1}{n}\sum\limits_{i=1}^{n} \mu_i \xrightarrow{p} 0\]

辛钦大数定律¶

\(\{\xi\}\) 是独立同分布的随机变量序列, 且 \(E\xi_1=\mu<\infty\), 则 \(\{\xi\}\) 服从弱大数定律,并且

\[\frac{1}{n}\sum\limits_{i=1}^{n} \xi_i - \mu \xrightarrow{p} 0\]

强大数定律¶

如果存在常数列 \(\{a_n\},\{b_n\}\), 使得

\[\frac{1}{a_n}\sum\limits_{i=1}^{n} \xi_i - b_n \to 0 \quad a.e.\]

则称 \(\{\xi\}\) 服从强大数定律

(在一个测度为1 的集合上满足上述收敛条件)

波雷尔强大数定律¶

二项分布的强大数定律: \(X\sim B(n,p)\), 则

\[\frac{S_n}{n} \to p \quad a.e.\]

科尔莫哥洛夫强大数定律¶

\(\{\xi\}\) 是独立同分布的随机变量序列, 且 \(E\xi_1=\mu<\infty\), 则 \(\{\xi\}\) 服从强大数定律,并且

\[\frac{1}{n}\sum\limits_{i=1}^{n} \xi_i - \mu \to 0 \quad a.e.\]

依概率收敛但是不几乎必然收敛的例子¶

令 \(\Omega=(0,1], \mathscr{F}=(0,1] \cap \mathscr{B}(\mathbb{R})\) 是个Borel- \(\sigma\) 代数. 把P取为 \(\mathscr{B}(\mathbb{R})\) 上的 Lebesgue测度. 令

\[ \eta_{k i}(\omega)= \begin{cases}1, & \omega \in\left(\frac{i-1}{k}, \frac{i}{k}\right] \\ 0, & \omega \notin\left(\frac{i-1}{k}, \frac{i}{k}\right]\end{cases} \]

这里 \(k=1,2, \cdots ; i=1,2, \cdots, k\), 先取定 \(\mathrm{k}\) 再取定i. 定义 \(\xi_n \triangleq \eta_{k i}, n=i+\frac{k(k-1)}{2}\), 该定义合理（没重复的 \(\mathrm{n}\) 对应不同的 \(\mathrm{k}, \mathrm{i}\) ）. 注意到 \(\forall \omega \in \Omega\), 必有无穷个n使得 \(\xi_n(\omega)=0\), 也有无穷多个m使得 \(\xi_m(\omega)=1\), 所以不可能几乎必然收敛为 0 , 即 \(\xi_n \overset{\text { a.s. }}{\not\rightarrow} 0(n \rightarrow \infty)\).

另一方面，

\[ \forall \varepsilon \in(0,1), P\left(\xi_n(\omega)>\varepsilon\right)=P\left(\eta_{k i}(\omega)>\varepsilon\right)=P\left(\frac{i-1}{k}<\omega \leq \frac{i}{k}\right)=\frac{1}{k} \]

让 \(n \rightarrow \infty\), 则根据 \(n=i+\frac{k(k-1)}{2} \leq \frac{k(k+1)}{2}\) 可知 \(k \rightarrow \infty\). 则 \(\lim _{n \rightarrow \infty} P\left(\xi_n>\varepsilon\right)=0\). 从而

\[ \xi_n \xrightarrow{P} 0(n \rightarrow \infty) \]

随机变量的相关性和独立性的区别¶

随机变量 \(\xi,\eta\) 如果方差有限,那么以下等价
- \(Cov(\xi,\eta)=0\)
- \(\xi,\eta\) 不相关
- \(E(\xi\eta)=E\xi E\eta\)
- \(Var(\xi+\eta)=Var\xi+Var\eta\)
如果两者独立(并且方差有限), 那么 \(E(\xi\eta)=E\xi E\eta\) 成立, 从而他们不相关(上面的各个等价条件成立)
反过来如果两者不相关, 不一定独立
- 取 \(\xi=\cos U,\eta=\sin U\), 其中 \(U\sim U(0,2\pi)\), 可以算出他们协方差为0,但是显然不独立