11 随机过程
11.1 随机过程
设S是样本空间，P是概率，\(T \subset R\)。如果对任何\(t \in T,X(t)\)是S上随机变量，则称\(\{X(t);t \in T\}\)是S上的随机过程，T称为参数集。用映射来表示
\[ X(t,e):T \times S \to R \]
即\(X(\cdot,\cdot)\)是定义在\(T \times S\)上的二元单值函数。固定t，\(X(t,\cdot)\)是S上的随机变量；固定\(e\)，\(X(\cdot,e)\)是T的函数，称为随机过程的样本函数或样本轨道，或随机过程的一个实现。取遍\(t \in T\)，X(t)的所有可能取值全体称为状态空间，记为I。
如果T至多可列，则称为离散时间，否则为连续时间。状态空间至多可列，则称\(\{X_t;t \in T\}\)为离散状态随机过程，否则称为连续状态随机过程。
对于一个随机变量而言，给定一个样本\(e\)，我们可以确定它的概率，就是\(X(e)\)。但是，在随着时间的变化，随机变量的概率可能也会发生变化，也就是\(X(t,e)\)。例如，一天的银行接待人数。对于早上7点，人数服从的是\(N(1,10)\)分布，对于早上11点，人数服从的是\(N(5,10)\)分布，随机变量的分布随着时间的推进在不断变化，这就是随机过程的而言。当我们固定某个时刻t，接待人数就是一个单一的随机变量。固定某个人数，例如一天下来，每个时刻的人数为10的概率，显然这是一个随着t变化的概率，早上7点概率较低，早上10点概率较高。这称为一个随机过程的样本轨道。
11.2 有限维分布
对任意的n，任何\(t_1,t_2,\cdots,t_n\in T\)，n维随机变量\((X_{t_1},X_{t_2},\cdots,X_{t_n})\)的分布函数
\[ F_X(x_1,\cdots,x_n;t_1,\cdots,t_n)=P\{X(t_1)<=x_1,\cdots,P\{X(t_n)\}<=x_n\} \]
称为随机过程\(\{X(t);t\in T\}\)的n维分布函数。所有n维分布函数组成的集合称为随机过程\(\{X(t)\}\)的n维分布函数族。集合\(\{F_X(x_1,\cdots,x_n;t_1,\cdots,t_n):n=1,2,\cdots,t_1,\cdots,t_n\in T\}\)称为随机过程\(\{X(t)\}\)的有限维分布函数族
有限维分布为就是随机变量的函数分布在随机过程的推广。将每个时刻的随机变量并起来组合成多个随机变量，这多个随机变量的联合概率分布就是随机过程的有限维分布。
11.3 均值和方差函数
对任何\(t \in T\)，定义
\[ \mu_{X}(t) = E(X(t))\\ \Psi_{X}^2(t)=E(X^2(t))\\ \sigma_{X}^2(t)=D(X(t))\\ \sigma_{X} = \sqrt{D(X(t))} \]
由于对于某个时刻而言，随机过程就是一个随机变量，随机变量就有数学期望和方差。因此，我们就能定义某个时刻的数学期望和方差。将全部时刻的数学期望和方差都列出来，就是随机过程的均值函数，方差函数了。
11.4 协方差函数
对任何\(t,s\in T\)，定义
\[ R_{X}(t,s)=E(X(t)X(s))\\ C_{X}(t,s)=Cov(X(t),X(s))\\ \]
称为随机过程\(\{X(t);t \in T\}\)的自相关函数和自协方差函数
定义的方式和均值函数类似，不啰嗦了
11.5 二阶矩过程
如果对任何的\(t \in T,E(X^2(t))\)存在，则称随机过程\(\{X(t);t\in T\}\)是二阶矩过程。对于二阶矩过程，均值函数，相关函数，和协方差函数都是存在的。
二阶矩过程就是任何一个时刻随机变量的二阶矩都存在的随机过程。
11.6 正态过程
设\(\{X(t);t \in T\}\)是一随机过程，如果对任意n，任何\(t_1,\cdots,t_n \in T,(X(t_1),\cdots,X(t_n))\)服从正态分布，则称\(\{X(t);t \in T\}\)是正态过程，或高斯过程。
正态过程就是任何一个时刻随机变量都是正态量的随机过程。显然，正态过程是一个二矩过程。
12 马尔可夫过程
12.1 马尔可夫链
12.1.1 马尔可夫链
设随机过程\(\{X_n;n=0,1,2\cdots\}\)的状态空间I有限或可列，如果它具有马尔可夫性，即对任何n>=1，如何\(i_0,\cdots,i_{n-1},i,j \in I\)，有
\[ P\{X_{n+1}=j \vert X_0=i_0,\cdots,X_{n-1}=i_{i-1},X_n=i\}=P\{X_{n+1}=j \vert X_n = i\} \]
则称\(\{X_n;n=0,1,\cdots\}\)是马尔可夫链
状态空间有限的马尔可夫链称为有限马尔可夫链。
从定义中可以看出，马尔可夫链是一种特殊的随机过程，如果我们知道了\(X_{n-1}\)的分布，那么我们就能知道\(X_{n}\)的分布，因为马尔可夫链只跟前一个随机变量的状态有关。马尔可夫链的这种特性也被称为无记忆性。
所以，定义一个完整的马尔可夫链需要两部分，初始状态的分布，状态转移的概率，就能推导出任意一个时刻的状态分布了。
12.1.2 状态转移矩阵
记\(p_{ij}(m,m+n)=P\{X_{m+n}=j \vert X_m=i\}\)为m时处于状态i的条件下，经过n步转移到状态j的转移概率。则\(p_{ij}(m,m+n)>=0\)且\(\sum\limits_{i}p_{ij}(m,m+n)=P\{X_{m+n}\in I \vert X_m =i\}=1\)。记\(P(m,m+n)=(p_{ij}(m,m+n))_{I \times I}\)为对应的n步转移矩阵。
12.1.3 一步转移概率
如果\(p_{ij}=P(X_{n+1}=j \vert X_n = i)\)不依赖于n，则称\(\{X_n\}\)是时间齐次的马尔可夫链，\(p_{ij}\)称为从i到j的一步转移概率。
12.2 有限维分布
12.2.1 C-K方程
在马尔可夫链中，对任何的\(n,m,l>=0,i,j\in I\)，有
\[ p_{ij}(n,n+m+l)=\sum\limits_{k}p_{ik}(n,n+m)p_{kj}(n+m,n+m+l) \]
证明：
\[ p_{ij}(n,n+m+l)\\ = P(X_{n+m+l}=j \vert X_n =i )\\ = \sum\limits_{k}P(X_{n+m+l}=j \vert X_{n+m}=k,X_n =i )P(X_{n+m}=k \vert X_n =i )\\ = \sum\limits_{k}p_{kj}(n+m,n+m+l)p_{ik}(n,n+m) \]
所以得证
CK方程的意义在于，如果我们知道马尔可夫链的一步转移概率下，如何将n步转移转化为一步转移问题。这个定理对于马尔可夫链是否为时齐都可以。
12.2.2 有限维分布
- 对任何n>=1，\(P(X_n=j)=\sum\limits_{i}P(X_0=i)p_{ij}^{(n)}\)
- 对任何\(n_1<n_2<\cdots<n_k\)，有\(P(X_{n_1}=i_1,\cdots,X_{n_k}=i_k)=P(X_{n_1}=i_1)p_{i_1,i_2}^{(n_2-n_1)}\cdots p_{i_{k-1}i_{k}}^{(n_k-n_{k-1})}\)
证明：
\[ P(X_n=j)\\ = \sum\limits_{i} P(X_n=j \vert X_0=i)P(X_0=i)\\ =\sum\limits_{i}P(X_0=i)p_{ij}^{(n)} \]
所以得证第一个
\[ P(X_{n_1}=i_1,\cdots,X_{n_k}=i_k)\\ = P(X_{n_1}=i_1)P(X_{n_2}=i_2\vert X_{n_1}=i_1)P(X_{n_3}=i_3\vert X_{n_2}=i_2,X_{n_1}=i_1)\cdots P(X_{n_k}=i_k\vert X_{n_{k-1}}=i_{k-1},\cdots,X_{n_1}=i_1)\\ = P(X_{n_1}=i_1)P(X_{n_2}=i_2\vert X_{n_1}=i_1)P(X_{n_3}=i_3\vert X_{n_2}=i_2)\cdots P(X_{n_k}=i_k\vert X_{n_{k-1}}=i_{k-1})\\ = P(X_{n_1}=i_1)p_{i_1,i_2}^{(n_2-n_1)}\cdots p_{i_{k-1}i_{k}}^{(n_k-n_{k-1})} \]
所以得证第二个
这个定理完整地描述了对于时齐的有限状态的马尔可夫链，我们在知道初始分布和一步状态转移概率下，求任意一个时刻的状态分布。
12.3 状态的性质
12.3.1 常返与暂留
设\(\{X_n\}\)是一时齐的马尔可夫链，i是某一状态。定义
\[ \tau_i = inf\{n>=1;X_n=i\} \]
为i的首中时。如果\(P(\tau_i < \infty \vert X_0 =i)=1\)，则称i常返，否则称i暂留。
从定义中可以看出，\(\tau_i\)是第一步以后能返回到状态i，为什么能返回到i是有概率的。因为从i出发，可能去到一个吸收态，导致不断在吸收态回转，导致不能返回到状态i。但也有可能能返回到状态i。因此，能返回到i是有概率的，这个概率为1时，就是常返，否则就是暂留。它的意思是，如果常返的话，就是从这个点出发，无论走哪条路径，最终都能返回到状态i，否则就是暂留的。
12.3.2 正常返与零返
如果状态i常返，则令\(\mu_i=E(\tau_i \vert X_0 =i )\)，称为状态i的平均回转时。如果\(\mu_i < \infty\)，则称状态i正常返，否则称i零常返。
正常返与零返，就是常返中的细致分类而已。如果期望返回步数为有限的，则就是正常返，否则就是零返。
12.3.3 常返，正常返与首次击中
常返，正常返描述的都是再次返回到状态i的性质。再次返回时有可能是第二步返回，也有可能是第三步返回等等，如果我们将所有步数返回的情况并起来，描述的就是常返，与正常返的性质。
令\(f_{ij}^{(n)}=P\{X_n=j,X_{n-1}\neq j,\cdots,X_1 \neq j \vert X_0 = i \}\)，表示从i出发第n步首次击中j的概率。令\(f_{ij}=P(\tau_i<\infty \vert X_0 =i)\)，表示从i出发在有限步能击中j的概率，则\(f_{ij}=\sum\limits_{n=1}^{\infty}f_{ij}^{(n)}\)。因此
\[ f_{ii} = \sum\limits_{n=1}^{\infty}f_{ii}^{(n)}=1 \]
当且仅当i常返
\[ \mu_i = E(\tau_i \vert X_0=i)= \sum\limits_{n=1}^{\infty}nf_{ii}^{(n)} \]
就是当i常返时的平均回转时
这个定理描述了常返性与首次击中概率的关系。
13.3.4 常返与n步转移概率
设i是某状态，令\(N_i=\#\{n>=0,X_n=i\}\)表示访问i的次数
- i常返当且仅当\(P(N_i = \infty \vert X_0 = i)=1\)，当且仅当\(\sum\limits_{n=0}^{\infty}p_{ii}^{(n)} = \infty\)
- i暂留当且仅当\(P(N_i < \infty \vert X_0 = i)=1\)，当且仅当\(\sum\limits_{n=0}^{\infty}p_{ii}^{(n)} < \infty\)
证明略
这个定理是说，当i常返时，返回i的次数是无穷次的，而且其n步转移概率之和为无穷。注意跟上个定理的首次击中概率之和的区别。
13.3.5 可达与互达
设i,j是两状态，称i可达j，记为$i j \(，如果\)i=j\(，或存在n>=1,使得\)p_{ij}^{(n)}>0\(。如果\)i j \(且\)j i \(，则称i,j互达，记为\)i j $
显然，互达满足以下的三个特性
- 自反性，\(i \leftrightarrow i\)
- 对称性，\(i \leftrightarrow j\)，则\(j \leftrightarrow i\)
- 传递性，\(i \leftrightarrow j , j \leftrightarrow k\)，则\(i \leftrightarrow k\)
如果状态空间中任何两个状态互达，则称此马尔可夫链不可约。
13.3.6 周期
定义状态i的周期d(i)为集合\(\{n:n>=1,p_{ii}^{(n)}>0\}\)中的最大公约数，若该集合为空，则定义\(d(i)=0\)。显然，如果\(p_{ii}^{(n)}>0\)，则n一定是\(d(i)\)的整数倍（定义决定的）。
如果\(d(i)=1\)，则称i是非周期的。如果所有i非周期，则称此马尔可夫链非周期。若状态i正常返且非周期，则称i为遍历状态。不可约非周期正常返的马尔可夫链称为遍历的马尔可夫链。
非周期描述的是状态返回的周期性，遍历描述的是状态正常返而且不是自返的，也就是这个状态i出发肯定能到达其他点，且在有效时间内能返回到状态i。如果整个马尔可夫链都是这个性质的话，该马尔可夫链称为可遍历的。
13.3.7 常返，周期与可达
如果\(i \leftrightarrow j\)，则
- \(d(i)=d(j)\)
- i常返当且仅当j常返，i正常返当且仅当j正常返
证明略
可达性能将一系列的状态圈起来，如果能研究出其中一个状态满足常返，与周期性质，那与它可达的状态都有相同的性质。这大大简化了整个常返与周期的计算。
12.4 分布性质
12.4.1 平稳分布
设\(\{\pi_j;j \in I\}\)满足：
- \(\pi_j >= 0 , \sum\limits_{j}\pi_j = 1\)
- \(\pi P = \pi\)，即\(\pi_k=\sum\limits_{i}\pi_ip_{ik},\forall k\)
则称\(\{\pi_j\}\)是\(\{X_n\}\)的平稳分布
马尔可夫过程由两部分组成，一个是初始分布，另外一个是状态转移概率。如果一个初始分布在一步转移之后的分布依然和初始分布是一样的，那么这个分布就是一个特殊的分布，我们称为平稳分布。所以，平稳分布是指对应的一个马尔可夫链来说的一个特殊分布。
平稳分布的物理意义是说，初始分布是每个状态的初始水流，状态转移就是每个单位时间内水流的流转状态。求最终水流的动态平衡过程就是求对应的马尔可夫链的平稳分布。
12.4.2 平稳分布与不可约马尔可夫链
设\(\{X_n\}\)不可约，则
- 存在平稳分布当且仅当\(\{X_n\}\)正常返，此时平稳分布\(\pi\)唯一且\(\pi_i=\frac 1 \mu_i\)
- 如果\(\{X_n\}\)非周期正常返，则对任何的i,j,\(\lim\limits_{n \to \infty}p_{ij}^{(n)}=\pi_j\)
- 如果状态I有限，则\(\{X_n\}\)一定是正常返。
证明略
这个定理说明了，对于有限状态的不可约马尔可夫链，平稳分布一定存在且唯一。对于无限状态的不可约马尔可夫链，当且仅当所有状态都是正常返的，平稳分布存在且唯一。
12.4.3 互达等价类
就是以最大数量的互达状态组成的集合称为互达等价类
12.4.4 闭子集
I中的一个子集C称为闭的，如果\(p_{ij}=0,\forall i \in C, j \notin \overline{C}\)。即C是封闭的，从C中出发将永远呆在C中。
注意，互达等价类和子集封闭是两个概念。互达等价类可能不是封闭的，因为如果互达等价类有一条往外的路径，那么这个等价类就不是封闭的。
12.4.5 常返，与闭互达等价类
- 如果i常返，则i的互达等价类是封闭的
- 如果i有限，则i常返当且仅当i的互达等价类是封闭的，并且这时i一定是正常返的
- 如果j暂留或零常返，则对所有i，\(\lim\limits_{n \to \infty}p_{ij}^{(n)}=0\)
证明略
这个定理扩大了互达对常返的证明，之前我们证明了在互达等价类中常返性是相同的，但我们仍然需要推导其中一个状态的常返性。这个定理则进一步说明，如果状态有限，那么只要互达等价类是闭的，那么状态就是常返且正常返的，否则就是暂留的。这进一步地简化了整个常返的计算过程
12.4.6 平稳分布与可约马尔可夫链
对于可约的马尔可夫链，我们将其分为多个闭的互达等价类，在闭的互达等价类里面套用不可约马尔可夫链定理，而其他的状态则设置为0的平稳分布。
证明：
在有限状态的马尔可夫链中，一个状态要么在闭的互达等价类中，要么在开的互达等价类中。（单个状态也是一样），那么我们刚才证明了对于在闭的互达等价类中，所有状态都是正常返的，所以我们可以单独对这些状态套用不可约的马尔可夫平稳分布定理。对于在开的互达等价类中，所有状态都是暂留的，最终都会流入到闭的互达等价类中，因此这些状态的平稳分布都应该是0。
13 独立增量过程
13.1 独立增量过程
13.1.1 独立增量过程
设\(\{X(t);t>=0\}\)为一随机过程，若对任意正整数n和\(0<=t_0<t_1<\cdots<t_n\)，增量\(X(t_1)-X(t_0),X(t_2)-X(t_1),\cdots,X(t_n)-X(t_{n-1})\)相互独立，则称\(\{X(t);t>=0\}\)为独立增量过程。
其中\(X(t_i)-X(t_{i-1})\)称为\((t_{i-1},t_i)\)的增量。若对一切\(0<=s<t\)，增量\(X(t)-X(s)\)的分布只依赖于t-s，则称随机过程\(\{X(t);t>=0\}\)有平稳增量，具有平稳的独立增量过程称为平稳独立增量过程。
独立增量过程，与平稳独立增量过程的关系，就与马尔可夫链，与时齐马尔可夫链的关系一样。我们遇到的大部分模型中，平稳独立增量过程更为常见。
独立增量过程，描述的是如果我们知道初始点的分布，并且我们知道了指定时刻与初始时刻的分布的时间差距，那么我们就知道指定时刻的概率分布。
如果指定时刻的分布期望为时刻差的倍数，那么我们称为泊松过程。如果指定时刻的分布期望为与初始时刻的分布相同，但方差随着时刻差增大而增大，那么我们称为布朗过程。
13.1.2 独立增量过程与协方差
设\(\{X(t);t>=0\}\)是独立增量过程，\(X(0)=0\)，且\(D_X(t)\)存在，则\(C_X(s,t)=D_X(min(s,t))\)
证明：
不妨设s<=t，则
\[ C_X(s,t)=Cov\{X(s),X(t)\}\\ =Cov\{X(s)-X(0),[X(t)-X(s)]+[X(s)-X(0)]\}\\ =Cov\{X(s)-X(0),X(t)-X(s)\}+Cov\{X(s)-X(0),X(s)-X(0)\}\\ =0+D_X(s)\\ =D_X(s)\\ \]
所以得证
这个定理说明了对于初始分布恒为0的独立增量过程，其任意两个时刻的协方差，等于低时刻处的方差。
13.2 泊松过程
13.2.1 齐次泊松过程
设N(t)表示(0,t)内发生的事件数，称随机过程\(\{N(t);t>=0\}\)为计数过程。计数过程\(\{N(t);t>=0\}\)称为强度为\(\lambda\)的齐次泊松过程，若满足以下三条：
- \(\{N(t);t>=0\}\)是独立增量过程
- 对任意的\(t>=0\)和充分小的\(\Delta t>0\)，有\(P\{N(t+\Delta t)-N(t)=1\}=\lambda \Delta t + o(\Delta t),P\{N(t+\Delta t)-N(t)=2\}=o(\Delta t)\)
- N(0)=0
从定义可以看出，齐次泊松过程是独立增量过程，0时刻的随机变量恒定为0。当t时刻充分小时，t时刻发生1次的概率是\(\lambda\)的线性倍数，即当t时刻翻倍时，发生1次的概率也翻倍。
13.2.2 齐次泊松过程的方程
若\(\{N(t);t>=0\}\)是强度为\(\lambda\)的齐次泊松过程，则对于0<=s<t,
\[ P\{N(t)-N(s)=k\}=\frac {[\lambda(t-s)]^ke^{-\lambda(k-s)}}{k!},k=0,1,2,\cdots \]
证明：
我们要的是\(P\{N(t)-N(s)=k\}\)的值，我们将s看成参数，t看成自变量，然后探讨当k=0时，t所表示函数的值是多少
令\(P\{N(t)-N(s)=k\}=P_k(s,t)\) \[ \lim\limits_{\Delta t \to 0}\frac {P_0(s,t+\Delta t)-P_0(s,t)}{\Delta t}\\ = \lim\limits_{\Delta t \to 0} \frac {P\{N(t+\Delta t)-N(k)=0\}-P_0(s,t)}{\Delta t}\\ = \lim\limits_{\Delta t \to 0} \frac {P\{N(t+\Delta t)-N(t)+N(t)-N(k)=0\}-P_0(s,t)}{\Delta t}\\ = \lim\limits_{\Delta t \to 0} \frac {P\{N(t+\Delta t)-N(t)=0,N(t)-N(k)=0\}-P_0(s,t)}{\Delta t}\\ = \lim\limits_{\Delta t \to 0} \frac {P\{N(t+\Delta t)-N(t)=0\}\cdot P\{N(t)-N(k)=0\}-P_0(s,t)}{\Delta t}\\ = \lim\limits_{\Delta t \to 0} \frac {(1-\lambda \Delta t+o(\Delta t))P_0(s,t)-P_0(s,t)}{\Delta t}\\ = \lim\limits_{\Delta t \to 0} \frac {(-\lambda \Delta t+o(\Delta t))P_0(s,t)}{\Delta t}\\ = -\lambda P_0(s,t) \]
也就是说
\[ \frac {dP_0(s,t)} {dt} = -\lambda P_0(s,t)\\ \frac {1} {P_0(s,t)}dP_0(s,t) = -\lambda dt\\ ln[P_0(s,t)]=-\lambda t +C\\ P_0(s,t)=e^{-\lambda t+C} \]
由\(P_0(s,s)=1\)，则
\[ P_0(s,s) = e^{-\lambda s +C}\\ 1 = e^{-\lambda s +C}\\ 0 = -\lambda s +C\\ C = \lambda s \]
因此
\[ P_0(s,t)=e^{-\lambda (t-s)} \]
而对于k>=1，
\[ P_k(s,t+\Delta t)\\ = P\{N(t+\Delta t)-N(s)=k\}\\ = P\{[N(t+\Delta t)-N(t)]+[N(t)-N(s)]=k\}\\ = \sum\limits_{j=0}^{k} P\{N(t+\Delta t)- N(t)=j\}P\{N(t)-N(s) = k -j\}\\ = P\{N(t+\Delta t)- N(t)=0\}P\{N(t)-N(s) = k\}+P\{N(t+\Delta t)- N(t)=1\}P\{N(t)-N(s) = k-1\}+P\{N(t+\Delta t)- N(t)=2\}P\{N(t)-N(s) = k-2\}+\cdots\\ = P_0(t+\Delta t)P_k(s,t)+P_1(t+\Delta t)P_{k-1}(s,t)+o(\Delta t)(P)\\ = (1-\lambda \Delta t+o(\Delta t))P_k(s,t)+(\lambda \Delta t)P_{k-1}(s,t)+o(\Delta t)(P)\\ = (1-\lambda \Delta t)P_k(s,t)+(\lambda \Delta t)P_{k-1}(s,t)+o(\Delta t)(P)\\ = P_k(s,t)+\lambda[P_{k-1}(s,t)-P_k(s,t)]\Delta t+o(\Delta t)(P)\\ \]
因此
\[ \lim\limits_{\Delta t \to 0} \frac {P_k(s,t+\Delta t)-P_k(s,t)}{\Delta t}\\ = \lim\limits_{\Delta t \to 0} \frac {P_k(s,t)+\lambda[P_{k-1}(s,t)-P_k(s,t)]\Delta t+o(\Delta t)(P)-P_k(s,t)}{\Delta t}\\ = \lambda[P_{k-1}(s,t)-P_k(s,t)] \]
也就是说
\[ \frac {dP_k(s,t)} {dt} = \lambda[P_{k-1}(s,t)-P_k(s,t)]\\ e^{\lambda t}\frac {dP_k(s,t)} {dt} = e^{\lambda t} \lambda[P_{k-1}(s,t)-P_k(s,t)]\\ \lambda[P_{k-1}(s,t)-P_k(s,t)]\\ e^{\lambda t}\frac {dP_k(s,t)} {dt} + e^{\lambda t} \lambda P_k(s,t)= e^{\lambda t} \lambda P_{k-1}(s,t)\\ \frac {de^{\lambda t}P_k(s,t)} {dt} = e^{\lambda t} \lambda P_{k-1}(s,t) \]
我们得到了递推方程式，可以从低一级的概率，推导到本级的概率，例如
\[ \frac {de^{\lambda t}P_1(s,t)} {dt}= e^{\lambda t} \lambda P_{0}(s,t)\\ \frac {de^{\lambda t}P_1(s,t)} {dt} = e^{\lambda t} \lambda e^{-\lambda (t-s)}\\ \frac {de^{\lambda t}P_1(s,t)} {dt} = \lambda e^{\lambda s}\\ e^{\lambda t}P_1(s,t) = \lambda e^{\lambda s}t+C\\ P_1(s,t) = \lambda e^{-\lambda (t-s)}t+Ce^{-\lambda t} \]
又\(P_1(s,s)=0\)，即
\[ P_1(s,s) = \lambda e^{-\lambda (s-s)}s+Ce^{-\lambda s}\\ 0=\lambda s +Ce^{-\lambda s}\\ C = -\lambda s e^{\lambda s} \]
因此
\[ P_1(s,t) = \lambda e^{-\lambda (t-s)}t-\lambda s e^{\lambda s}e^{-\lambda t}=\lambda (t-s)e^{-\lambda (t-s)} \]
我们推出了k=1的概率公式，同理我们可以推出k=n的公式，根据数学归纳法就能得到
\[ P\{N(t)-N(s)=k\}=\frac {[\lambda(t-s)]^ke^{-\lambda(k-s)}}{k!} \]
所以得证
整个证明的过程是求解微分方程的过程，大部分随机过程求方程的方式与这个也非常类似，所以这种方式非常典型。这个公式也能得到任意一个时刻的分布
\[ P\{N(t)=k\}=P\{N(t)-N(0)=k\}\\ =\frac {(\lambda t)^ke^{-\lambda t}}{k!} \]
所以整个泊松分布的推导就全部都知道了
13.2.3 齐次泊松过程的数字特征
设\(\{N(t);t>=0\}\)是强度为\(\lambda\)的泊松过程，则
- 均值函数，\(\mu_{N}(t)=\lambda t\)
- 方差函数，\(D_{N}(t)=\lambda t\)
- 协方差函数，\(C_N(s,t)=\lambda min(s,t)\)
- 相关函数，\(R_N(s,t)=\lambda min(s,t)+\lambda^2st\)
13.2.4 齐次泊松过程的合成
设X(t)和Y(t)时两个相互独立的，分别具有强度为\(\lambda\)和\(\mu\)的泊松过程，\(N(t)=X(t)+Y(t)\)，则\(\{N(t);t>=0\}\)是强度为\(\lambda + \mu\)的泊松过程
证明略
这个定理说明了泊松过程的合成
13.2.5 齐次泊松过程的分解
设N(t)表示(0,t)内出现的事件数，而每次事件的发生又分为事件A和事件B，事件A发生的概率为p，事件B发生的概率为1-p。X(t)表示(0,t)内发生事件A的次数，Y(t)表示(0,t)内发生事件B的次数,N(t)为强度为\(\lambda\)的泊松过程。则
X(t)为强度为\(\lambda p\)的泊松过程，Y(t)为强度为\(\lambda (1-p)\)的泊松过程。
证明略
这个定理说明了泊松过程的分解
13.3 布朗运动
13.3.1 布朗运动
随机过程\(\{X(t);t>=0\}\)称为布朗运动，若满足以下三条：
- \(\{X(t);t>=0\}\)是独立增量过程
- 对于0<=s<t,\(X(t)-X(s) \sim N(0,\sigma ^2 (t-s))\)
- X(0)=0
布朗运动中的本质是多个随机游动过程的叠加
13.3.2 布朗运动的方程
因为X(0)=0，则
\[ X(t) = X(t) - X(0) \sim N(0,\sigma^2 t) \]
因此，布朗运动的每个时刻都是一个正态量，并且随着时刻的增大，正态量的方差也在增大，所以布朗运动也是一个正态过程。
13.3.3 布朗运动的数字特征
当\(\sigma=1\)时，称\(\{X(t);t>=0\}\)为标准布朗运动。设\(\{B(t);t>=0\}\)是标准布朗运动过程，则
- \(\mu_B(t)=0\)
- \(D_B(t)=t\)
- \(C_B(s,,t)=min(s,t)\)
- \(R_B(s,t)=min(s,t)\)
13.3.4 布朗运动的性质
设\(\{B(t);t>=0\}\)是布朗运动，则以下三个随机过程均为布朗运动
- 对于任给的\(\tau>0\)，\(\{B(t+\tau)-B(\tau)\};t>=0\)，即任一点开始的布朗过程差值都是布朗过程
- 对于常数\(\lambda \neq 0\),\(\{\lambda B(\frac 1 {\lambda^2}t);t>=0\}\)
- \(\{t B(\frac 1 t);t>=0\}\)，其中\([t B(\frac 1 t)]\vert_{t = 0}\)记为0
13.3.5 布朗运动桥过程
总结
求概率的几个办法
- 古典概率，直接算事件的样本空间大小，然后除以整体的样本空间来算概率。简单直观，但是无法求解复杂事件的概率。例如，每个人都有属于自己的杯子，随机分发杯子都每个人手上，求所有人都没有拿到自己杯子的概率。
- 事件组合，将事件通过交集和并集来分解为多个基础事件，然后套用概率的和公司和积公式来求概率。能力更扩大一层，但是无法求解无限事件的概率。例如，百货商店每天的进场人数为满足泊松分布，而每个人购买的产品数量为p，求百货商店一天期望的卖出产品数量。
- 随机变量，将事件看成是随机变量，然后将随机变量分解为基本的随机变量的复合，而每个基础随机变量是一个关于概率的函数。能力进一步扩大，但是无法求解无限过程的概率。例如，两个人玩骰子赌大小，输的人给赢的人1元，A有100元，B有10元，一直玩到谁手上没钱就算结束，求最终B获胜的概率。
- 随机过程，将事件看成是最终状态，然后将到达最终状态的过程分解为多个基础的状态的随机转移。终极的概率求解方法。
有了随机变量以后，我们可以这么考虑求\(P(X_1<=X_2)\)的概率
- 先求\(F(x_1,x_2)\)的联合分布律，然后求在\(x_1<=x_2\)条件下的联合分布概率
- 先求\(F(Y=X_1-X_2)\)的随机变量函数的分布律，然后求\(Y<=0\)条件下的概率
联合分布律实际上是\((XY)\)的积事件概率
数理统计的关键点
- 取样过程，将每次取一个样本的过程看成是一个随机变量，取样就是取多个独立同分布的随机变量的过程，这样我们就能从概率的角度去描述\(\frac 1 n \sum\limits_{i=1}^{n}X_i\)的最终结果是多少，它与X的分布有什么关系，这个值随着取样次数的增加概率分布会怎么变化。
- 参数估计，参数估计就是在已知样本的分布和取样结果的情况下，求分布参数的问题。从概率的角度看，就是已知多个\(X_i\)的结果，求\(X\)的分布参数。一般上有矩法，极大似然法和贝叶斯方法三种。
- 假设检验，假设检验就是仅仅知道取样的结果，并给出关于样本分布，样本参数的假设，问这个假设是否成立。从概率的角度来看，如果这个事件相当显然，但我们仍然把它放为不成立的类型中，就会导致以后这类的显然事件过多地放入到不成立类型中。所以，我们要将它放入到成立的类型中。所以，假设检验的策略是，如果任一样本在满足假设的情况下，任一样本发生了样本现象的概率有多高，如果这个概率很高（大于0.05），我们就说不能说样本现象为不成立假设的，因为这样会导致第I类错误很高，因此我们说样本现象是符合假设的。如果这个概率很低，那么我们就安心地拒绝这种假设。可以看出，样本假设是一种默认拒绝假设的策略。
- 方差分析，方差分析本质上仍然是一种假设检验，但它是描述多个不同分布的随机变量之间关系的假设。方差分析研究随机变量是否期望相同，相关分析研究随机变量是否线性相关，线性回归研究随机变量线性相关时，线性回归参数的概率分布。
随机过程
- 马尔可夫过程
- 独立增量过程
- 本文作者： fishedee
- 版权声明： 本博客所有文章均采用 CC BY-NC-SA 3.0 CN 许可协议，转载必须注明出处！