[5.3장] DTMC 성질과 stationary 분포 존재 및 유일성 관계

성질	Stationary Distribution 존재	Stationary Distribution 유일	Limiting Distribution 존재	설명
Irreducible + Aperiodic	✅ 있음	✅ 유일함	✅ 수렴함	가장 이상적인 형태. 시간에 따라 분포가 stationary로 수렴함.
Irreducible + Periodic	✅ 있음	✅ 유일함	❌ 없음 (일반적으로)	확률이 stationary에 수렴하지 않고 주기를 따라 반복.
Reducible	⛔ 조건에 따라 다름	❌ 일반적으로 유일하지 않음	❌ 보통 없음	여러 개의 closed class가 있을 수 있어 stationary distribution이 여러 개 가능함.

존재 조건:
- DTMC의 전이행렬 P에 대해 항상 $P^T$의 고유값 1이 존재합니다 (열 합이 1이므로).
- 하지만 이 고유값에 해당하는 고유벡터이자 확률벡터 π가 존재하려면, $\pi_i \ge 0$, $\sum \pi_i = 1$ 조건을 만족해야 하며, reducible인 경우 일부 상태에 확률이 0인 multiple stationary distributions가 존재할 수 있습니다.
유일성 조건:
- irreducible인 경우, stationary distribution은 항상 유일합니다 (확률공간에서 normalization된 유일한 고정점).
Periodicity는 유일성에 영향을 주지 않음:
- 다만 limiting behavior에는 영향 → 주기적이면 $P^n \to \pi$ 가 수렴하지 않을 수 있음.

Closed Communicating Class:
- 상태들 사이에 도달 가능하고
- 외부로 나갈 수 없음 (닫힌 구조)
각 Closed Class 내부에는 고유한 stationary distribution이 존재 가능 (그 class가 irreducible이면 유일)
전체 DTMC의 stationary distribution은 다음의 convex combination으로 표현 가능:

$$ \pi = \alpha_1 \cdot \pi^{(C_1)} + \alpha_2 \cdot \pi^{(C_2)} + \cdots, \quad \sum \alpha_i = 1 $$
Transient 상태는 stationary distribution에서 확률이 0