여러 확률분포 중에서 엔트로피가 최대인 확률분포는 주어진 제약 조건에 따라 달라집니다. 정보이론에서 엔트로피는 확률 분포의 불확실성을 나타내므로, 제약 조건에 따라 "가장 불확실한" 분포가 선택됩니다.
확률 변수가 특정 구간 $[a,b]$에서 정의되었을 때, 엔트로피를 최대화하는 확률분포는 **균등분포(uniform distribution)**입니다.
확률 변수의 평균 $\mu$와 분산 $\sigma^2$가 고정된 경우, 엔트로피를 최대화하는 분포는 **정규분포(Gaussian distribution)**입니다.
이유: 정규분포는 주어진 평균과 분산에서 가장 예측 불가능하고 랜덤한 상태를 나타냅니다.
엔트로피:
$$ H = \frac{1}{2} \ln(2\pi e \sigma^2) $$
여기서 $\sigma^2$는 분산입니다.
확률 변수가 이산(discrete)이고 각 값의 확률 합이 1이라는 조건만 있는 경우, 엔트로피를 최대화하는 분포는 모든 값에 대해 동일한 확률을 가지는 균등분포입니다.
이유: 확률 값이 동일할수록 불확실성이 가장 크며, 엔트로피는 최대가 됩니다.
엔트로피:
$$ H = \ln(n) $$
여기서 $n$은 가능한 값의 개수입니다.