随机过程的基本概念
马尔可夫性质：
马尔可夫性质，或称作无记忆性，或称作无后效性。
马尔可夫过程和马尔可夫链，分别表示具有马尔可夫性质的随机过程和随机序列。
马尔可夫性质是说过程的历史对将来的影响，
都是通过当前状态对将来的影响来表
示，
即当前的状态概括了过去历史对将来的影响。
这样一来，
任意维数的马尔可夫
过程和马尔可夫链的概率分布，
都可以用它们的初始分布和条件转移概率分布来表
示。
定义
1
，马尔可夫过程(使用条件概率密度函数，或条件概率分布函数来表示)
设有一个随机过程
T
t
t
),
(
，
T
t
t
t
t
m
m
1
2
1
，
若在这些时刻观察
到随机过程的值是
1
2
1
,
,
,
m
m
x
x
x
x
，
若它的条件概率密度和条件分布函数满足条
件，
)
/
(
)
,
,
/
(
1
/
2
1
1
,
/
1
2
1
1
m
m
t
t
m
m
t
t
t
t
x
x
f
x
x
x
x
f
m
m
m
m
或
)
/
(
)
,
,
/
(
1
/
2
1
1
,
/
1
2
1
1
m
m
t
t
m
m
t
t
t
t
x
x
F
x
x
x
x
F
m
m
m
m
则称这类随机过程为具有马尔可夫性质的随机过程或马尔可夫过程。
性质，马尔可夫过程的有限维概率密度
)
(
)
/
(
)
/
(
)
/
(
)
,
,
,
(
1
1
2
/
1
/
1
/
1
2
1
,
,
1
1
2
1
1
1
2
1
x
f
x
x
f
x
x
f
x
x
f
x
x
x
x
f
t
t
t
m
m
t
t
m
m
t
t
m
m
t
t
t
t
m
m
m
m
m
m
定义
2
，马尔可夫链(使用转移概率、条件概率)
设有一个随机过程
2
,
1
,
0
),
(
n
n
是离散状态的随机过程，且
)
(
n
满足条件，
n
n
i
n
j
n
P
i
n
i
i
j
n
P
)
(
/
)
1
(
)
(
,
)
1
(
,
)
0
(
/
)
1
(
1
0
则称这类随机过程是马尔可夫链。
性质，马尔可夫链的有限维概率密度
0
0
1
1
1
0
)
0
(
)
0
(
/
)
1
(
)
(
/
)
(
)
(
/
)
1
(
)
1
(
,
)
(
,
)
1
(
,
)
0
(
i
P
i
i
P
i
n
i
n
P
i
n
j
n
P
j
n
i
n
i
i
P
n
n
n
n
二阶矩过程：
定义
1
，二阶矩过程
