📏 Lp-Norm: Concept & Insight

\[||x||_p = (∑_{i=1}^n |x_i|^p)^{1/p}\]

Lp-Norm은 Lebesgue라는 프랑스 수학자에 의해 고안된 개념으로, 기계학습을 공부하는 사람이라면 지겹도록 듣는 L2-Norm, L1-Norm을 일반화 버전이라고 생각하면 된다. 다시 말해, 벡터의 크기를 나타내는 표현식을 일반화한 것이 바로 Lp-Norm 이며 수식은 위와 같다.

p=1이라고 가정하고 수식을 전개해보자. $||x||_1 = (|x_1|^1 + |x_2|^1+ … + |x_n|^1)^{1/1}$이 된다. 우리가 아는 L1-Norm 의 수식과 동일하다.

그렇다면 p=2일 때 수식을 살펴보자. $||x||_2 = (|x_1|^2 + |x_2|^2+ … + |x_n|^2)^{1/2}$으로 전개 된다는 것을 알 수 있다. 역시 우리가 맨날 보는 L2-Norm 과 동일하다.

L1-Norm은 맨허튼 거리, L2-Norm 은 유클리드 거리를 의미한다는 것은 익히 들어 봤을 것이다. 만약 $p=∞$라면, 수식은 어떻게 될까, 과연 어떤 의미를 갖고 있을까??

이전과 똑같이 전개해보면 \(||x||_∞ = (|x_1|^∞ + |x_2|^∞+ ... + |x_n|^∞)^{1/∞}\), 이렇게 식이 도출될 것이다. 이제 괄호 내부 원소들의 지수가 무한대라는 점에 주목해보자. 직관적으로 무한대 값들 사이의 덧셈, 곱셈의 결과는 무한대 라는 것을 알 수 있다. 그렇다면 우리는 위 수식에서 절대값이 가장 큰 $|x_i|$만 남겨도 역시 무한대 값을 얻을 수 있다. 무한대는 미지수 개념에 가깝지 실제 실수 개념은 아니기 때문이다. 따라서 괄호 내부에는 $|x_i|^p$ 값만 남게 되고 괄호 밖의 $1/p$와 남은 연산을 해주면 결국 $|x_i|$만 남게 된다. 따라서 $||x||_∞ = max(|x_1|, \ |x_2|, \ … \ , |x_n|)$가 된다.

이와 같은 성질 때문에 Lp-Norm 은 Lp-Pooling 으로도 해석할 수 있으며, 수식의 우변에 $1/n$을 곱해주면 Generalized Mean Pooling 이 된다는 사실을 알 수 있다. 결국 Norm과 Pooling 은 같은 개념이었던 것이다. 그래서 위에서 살펴본 $ L_∞ $ 역시 Max Pooling 이라 해석이 가능해진다.

여담으로 맨앞의 대문자 L은 Lebesgue 의 이름에서 본따왔다고 알려져 있다. 그리고 예전부터 $L_2$값을 수식으로 표현할 때 왜 짝대기 두개를 사용할까 항상 궁금했는데 $L_p$와 일반 절대값을 구분하기 위해 짝대기를 두 개 사용하게 되었다고 한다.

Lp-Norm

위 자료는 $L_p$ norm을 p값 변화 추이에 따라 기하학적으로 표현한 그림이다. p=1 일 때는 $L_1: |x| + |y| =1$가 되기 때문에 마름모 형태의 영역을 갖는다. 한편 p=2 일 때는 $L_2: x^2 + y^2 =1^2$가 되기 때문에 원의 영역을 갖는다. $p=∞$ 일 때는 $L_∞: max(|x_1|…|x_n|) = 1$ 이 되기 때문에 정사각형 형태의 영역을 갖게 될 것이다.