复习部分¶

Poisson 过程¶

对 \(Poisson\) 分布 \(X\sim \mathcal{P}(\lambda)\) 有
- \(EX=\lambda, Var(X)=\lambda, EX^2=\lambda+\lambda^2\)
对 \(Poisson\) 过程 \(N(t)\sim \mathcal{P}(\lambda t)\) 有
- \(EN(t)=\lambda t, Var(N(t))=\lambda t\)
- \(r_N(s,t)=E(N(s)N(t))=\lambda^2st+\lambda s, s<t\)
- \(Cov(s,t)=E(N(s)N(t))-E(N(s))E(N(t))=\lambda s\)
- 对于第 \(n\) 个到达的 \(S_n\) 有
  - \[P(S_n>t)=P(N(t)\leq n-1)=\sum\limits_{k=0}^{n-1}\frac{(\lambda t)^k}{k!}e^{-\lambda t}\]
  - 由 \(S_1 \sim \mathcal{E}(\lambda)\) 服从参数为 \(\lambda\) 的指数分布, 并且\(Poisson\) 过程的独立增量性质知道, \(S_n\) 是 \(n\) 个服从参数为 \(\lambda\) 的指数分布的和, 从而服从 \(\Gamma(n,\lambda)\) 从而
    - \[P_{S_n}(t)=\frac{\lambda^nt^{n-1}}{(n-1)!}e^{-\lambda t},t>0\]
- \(Poisson\) 过程有可加性
  - \(N_1(t)\sim \mathcal{P}(\lambda t),N_2(t)\sim \mathcal{P}(\mu t)\),且\(N_1(t),N_2(t)\)相互独立,则\(N_1(t)+N_2(t)\sim \mathcal{P}((\lambda+\mu)t)\)
- \((S_1,S_2,\cdots,S_n)\) 的联合分布
  - 在给定 \(N(t)=n\) 的条件下, \((S_1,S_2,\cdots,S_n)\) 的联合分布为与 \(n\) 个独立同分布的随机变量的次序排列相同
    - \[(S_1,S_2,\cdots,S_n|N(t)=n)\overset{d}{=}(U'_1,U'_2,\cdots,U'_n)\]
    - \[P_{S_1,S_2,\cdots,S_n|N(t)=n}(t_1,t_2,\cdots,t_n)=\frac{n!}{t^n},\forall 0\leq t_1\leq t_2\leq \cdots\leq t_n\leq t\]
  - 根据抽样的性质, 我们有 \(E(\sum_{i=1}^n f(S_i)|N(t)=n) = n \int_0^t f(x)dx\)
- 对复合 \(Poisson\) 过程 \(Z(t)=\sum_{i=1}^{N(t)}\xi_i,E\xi_i=\mu,Var \xi_i=\sigma^2\)
  - \(EZ(t)=\mu\lambda t, Var(Z(t))=\sigma^2\lambda t+\mu^2\lambda^2t\)
  - \(Z(t)\) 是独立平稳增量过程
- 对非齐次 \(Poisson\) 过程 \(N(t)\)
  - \(N(t)\sim \mathcal{P}(\int_0^t \lambda(s)ds)\)
    - 称其为强度为 \(\lambda(t)\) 的非齐次 \(Poisson\) 过程, 记 \(m(t)=\int_0^t \lambda(s)ds\)
  - \(N(t)\) 是独立增量过程(显然不平稳)
  - \(E(N(t))=m(t), Var(N(t))=m(t)\)
  - \(r_N(s,t)=m^2(s)+m(s)+m(s)m(t-s),s<t\)

[!NOTE]

\(Gamma\) 分布的密度函数为 \(f(x;\alpha,\lambda) = \frac{\lambda^\alpha x^{\alpha-1}}{\Gamma(\alpha)}e^{-\lambda x},x>0, \alpha>0, \lambda > 0\)

次序统计量的均值 \(E(U_{(k)}) = \frac{k}{n+1}\)

\(E(\sum_{i=1}^n \xi_i)^2 = nE\xi^2 + n(n-1)E\xi_i\xi_j\)

\(Markov\) 过程¶

考察一个 \(Markov\) 链的时候, 首先看它是不是不可约, 如果是那么所有状态都具有相同的特性, 如果不然对它做互通类的分解.
周期 \(d_i = \gcd \{n\geq 1:p_{ii}^n>0\}, d_i = 1\) 非周期, 否则周期为 \(d_i\), 其中 \(\gcd \emptyset = 0\)
平均返回时间 \(\tau_j = \sum\limits_{n=1}^\infty nf_{jj}^n\), 其中瞬时状态的平均返回时间定义为 \(\infty\)
常返瞬时判断
- \(j\) 常返 \(\iff \sum\limits_{n=1}^\infty f_{jj}^{(n)}=1 \iff \sum\limits_{n=1}^\infty p_{jj}^{(n)}=\infty\)
- \(j\) 瞬时 \(\iff \sum\limits_{n=1}^\infty f_{jj}^n <1 \iff \sum\limits_{n=1}^\infty p_{jj}^{(n)}<\infty\)
  - 此时还有 \(\sum\limits_{n=0}^{\infty} p_{jj}^{(n)} = \frac{1}{1-f_{ii}}\)
  - \(p_{jj}^{(0)} := 1\)
\[\lim\limits_{n\to\infty} p_{jj}^{(n)}= \frac{d_j}{\tau_j}\]
\[\lim\limits_{n\to\infty} p_{ij}^{(n)} = \frac{f_{ij}}{\tau_j}\]
任意两个状态互通的 \(Markov\) 链称为不可约的
非周期不可约 \(Markov\) 链存在极限分布当且仅当存在平稳分布, 且二者相等
若存在平稳分布, 选择其作为初始分布, 则 \(Markov\) 链可逆
- 若其为非周期不可约 \(Markov\) 链, 那么存在平稳分布当且仅当每个状态都正常返, 并且有 \(\tau_j\pi_j=1\)
\(Markov\) 链条可逆 \(\iff \pi_ip_{ij}=\pi_jp_{ji}\text{若平稳分布存在} \iff\) 任意闭合路径正向方向概率一样

分枝过程¶

\(Z_{n+1}=\sum\limits_{j=1}^{Z_n} \xi_j,E\xi=\mu,Var\xi = \sigma^2\)
\(EZ_n = \mu^n, Var Z_n = \sigma^2 \mu^{n-1} (1+\mu+\cdots +\mu^{n-1})\)
生成函数 \(\phi(s)=Es^\xi\)
- \(\phi'(1)=E\xi, \phi^{''}(1)=E\xi^2-E\xi\)
- \(p_k=\frac{\phi^{(k)}(0)}{k!}\)
灭绝概率\(\tau = \lim\limits_{n\to\infty} P(Z_n=0)\)
- \(\mu \leq 1\implies \tau = 1\)
- \(\mu > 1\implies \tau = \min\{s:s=\phi(s)\}\)

\(Brown\) 运动¶

\(B(t)\sim \mathcal{N}(0,t)\)
\(E(B(t))=0, Var(B(t))=t\)
- \(p_{B(t)}(x)=\frac{1}{\sqrt{2\pi t}}e^{-\frac{x^2}{2t}}\)
积分过程 \(X(t)=\int_0^t B(s)ds\sim\mathcal{N}(0,\frac{t^3}{3})\)
- \(EX(t)=0, r_X(s,t)=\frac{s^2t}{2}-\frac{s^3}{6},s\leq t\)
最大值 \(M_t=\max\limits_{0\leq s\leq t}B(s) \overset{d}{=} |B(t)|\)
首中时 \(T_a=\min\{t:B(t)=a\}\)
- \(f_a(t)=\frac{|a|}{\sqrt{2\pi t^3}}e^{-\frac{a^2}{2t}},t>0\)
- \(ET_a=\infty,P(T_a<\infty)=1\)
\(X(t)=B(t)-bt\) 的首中时 \(T_{a,b}\)
- 实际上就是 \(B(t)\) 首次击中 \(bt+a\) 的时刻
- \(f_{a,b}(t)=\frac{|a|}{\sqrt{2\pi t^3}}e^{-\frac{(a+bt)^2}{2t}},t>0\)
Ito 积分
- 若 \(f\) 是非随机有界变差函数, 则 \(\int_0^t f(s)dB(s) = f(t)B(t)-\int_0^t B(s)df(s)\)
- 若 \(f\) 是随机过程, 则 \(\int_0^t f(s)dB(s) = \lim\limits_{n\to\infty} \sum\limits_{i=0}^{n-1} f(t_i)(B(t_{i+1})-B(t_i))\)
  - \[\int_0^t F'(B(s))dB(s)=F(B(t))-F(B(0))-\frac{1}{2}\int_0^t F''(B(s))ds\]

平稳过程随机遍历性¶

探究随机过程的时间平均 \(\tau = \frac{\sum X_n}{n}\) 和样本平均 \(\mu = EX(t)\) 的关系
平稳随机过程 \(X\) 具有均值遍历性就是 \(\tau=\mu,a.e.\)
\(r_x(t)=EX_0X_t\)
- \(X\) 满足均值遍历性 \(\iff \frac1{T^2}\int_0^T(T-t)(r_X(t)-\mu^2)dt\to0,T\to\infty\)
- \(\iff \frac1T\int_0^T(r_X(t)-\mu^2)dt\to0,T\to\infty\)
- 若 \(r_X(t) \to \mu^2, t\to\infty\), 则 \(X\) 满足均值遍历性

杂项¶

\(Chebyshev\) 不等式
- \(P(|X-\mu|\geq \varepsilon)\leq \frac{\sigma^2}{\varepsilon^2}\)
宽平稳 (弱平稳) 过程
- 若 \(\forall t\in T, E(X(t))^2<\infty\)
- \(\mu_X(t)=\mu, \forall t\in T\)
- \(r_X(s,t)=\tau_X(s-t), \forall s,t\in T\), 其中 \(\tau_X:R\to R\)
  - 则称随机过程 \(X(t)\) 为宽平稳过程
严平稳过程
- 若 \(\forall k\geq 1, t_1,t_2,\cdots,t_k\in T, t\in T\)
  - \[(X(t_1+t),X(t_2+t),\cdots,X(t_k+t))\overset{d}{=}(X(t_1),X(t_2),\cdots,X(t_k))\]
  - 则称随机过程 \(X(t)\) 为严平稳过程
独立增量过程
- 若 \(\forall t_1<t_2<\cdots<t_n\), 随机变量 \(X(t_1),X(t_2)-X(t_1),\cdots,X(t_n)-X(t_{n-1})\) 相互独立
  - 则称随机过程 \(X(t)\) 为独立增量过程