<aside>

✅ 핵심 요약

• Markov 성질: 과정이 “현재만 보면 된다”는 상태 전이 구조의 단순성.
• Memoryless 성질: 분포가 “얼마 기다렸는지는 상관 없다”는 시간/대기 분포의 단순성.
• 둘 다 “과거를 기억할 필요 없음”이라는 점에서 직관이 비슷하지만, 적용 대상과 쓰임새는 다름. </aside>

1. Markov 성질 (Markov Property)

정의

어떤 확률 과정 {Xₜ}가 Markov property를 만족한다는 것은

p(Xₜ₊₁ | Xₜ, Xₜ₋₁, …, X₀) = p(Xₜ₊₁ | Xₜ).

즉, 현재 상태만 알면 미래는 과거와 독립이라는 성질입니다.

적용

• Markov chain: 정의 그 자체. Markov 성질을 만족하는 확률과정을 마르코프 체인이라고 함.

• MDP: (sₜ, aₜ) → (sₜ₊₁, rₜ) 전이가 현재 state와 action에만 의존하고, 과거의 히스토리에는 독립적임.

  p(sₜ₊₁, rₜ | sₜ, aₜ, history) = p(sₜ₊₁, rₜ | sₜ, aₜ).

2. Memoryless 성질 (Memoryless Property)

정의

보통 “확률분포”의 성질을 말함.

분포 F가 memoryless하다는 것은 임의의 t, s ≥ 0에 대해 P(X > t + s | X > t) = P(X > s).

즉, 앞으로 얼마나 더 기다려야 하는지의 분포가 과거에 얼마를 기다렸는지와 무관하다는 것.

적용

• 대표적으로 지수분포 (Exponential distribution), **기하분포 (Geometric distribution)**가 memoryless 성질을 가짐.
• 예: 대기시간이 지수분포라면, 이미 10분 기다린 후에도 앞으로 기다릴 시간의 분포는 여전히 처음과 동일.