Primal Problem

minimize Q(θ)
subject to R(θ) ≥ 0

인 경우를 기준으로 **라그랑지안(Lagrangian)**과 **라그랑지안 쌍대함수(dual function)**가 어떻게 등장하고, 각각이 무슨 의미를 가지는지를 직관적으로 설명해볼게요.

1. 제약을 벌점으로 바꾼다 (Lagrangian의 아이디어)

이 문제에서 R(θ) ≥ 0은 “이 조건을 반드시 지켜야 한다”는 의미입니다.

하지만 이런 ‘강제 제약’을 다루기 어렵기 때문에, **“위반하면 벌점을 준다”**는 식으로 바꿔 생각합니다.

그래서 **라그랑지안(L)**을 이렇게 정의합니다:

$$ L(θ, λ) = Q(θ) − λ·R(θ) $$

여기서 λ ≥ 0입니다.

왜 부호가 “−”냐면, 제약이 R(θ) ≥ 0 형태이기 때문이에요.

즉, **R(θ)**가 음수이면 (즉, 제약을 어기면) −λ·R(θ)가 양수가 되어 벌점이 붙습니다.

🔍 직관 요약

• R(θ) ≥ 0이면 → 제약을 잘 지킴 → 벌점 0
• R(θ) < 0이면 → 제약 위반 → λ가 커질수록 큰 벌점 부여

즉, L(θ, λ)는 “**Q(θ)**를 최소화하되, 제약을 어길 경우 λ만큼 손해를 보는 함수”입니다.

2. θ가 할 일: 손해를 최소화하기

λ가 정해졌다고 생각합시다.