AI tech 1일차

• 10시 ~ 11시 : 타운 홀미팅
• 11시 ~ 12시 : MeetUP (팀원 첫 미팅)
• 13시 ~ 16시 : 파이썬 기초강의 수강

vkdlTjs파이썬 쉘 환경 by Cmder

파이썬 함수

• numpy
• sympy

 

 

1. L1L1 norm

벡터의 크기는 L1L1 norm을 통해서 계산할 수 있습니다. L1L1 norm은 맨해튼 놈(Manhattan norm) 또는 택시 놈(Taxicab norm)이라고 불려지기도 합니다. L1L1 norm은 벡터의 모든 성분의 절대값을 더합니다. 만약에 다음과 같은 2차원 벡터가 있다면,

 

x=[23]x=[23]

 

이 벡터의 L1L1 norm은 5이 됩니다. 

 

∥x∥1=|2|+|3|=5‖x‖1=|2|+|3|=5

 

여기에 표기한 것처럼 L1L1 norm은 ∥∗∥1‖∗‖1로 씁니다. 여기서 왜 택시 놈이라고 불리는지 한번 생각해봅시다. 원점(0, 0)에서 (2, 3)까지 택시를 타고 가려면 어떤 길로 가더라도 가장 빠르게 갈 수 있는 거리는 5입니다. L1L1 norm은 이런 방식으로 길이를 측정하기 때문에 택시 놈이라고 불립니다.  

 

L1L1 norm

 

2. L2L2 norm

L2L2 norm은 출발점에서 도착점까지의 거리를 직선거리로 측정합니다. ∥∗∥2‖∗‖2로 표현하고, 유클리드 놈(Euclidean norm)이라고 불리기도 합니다. L2L2 norm은 다음과 같이 계산합니다. 

 

∥x∥2=√(2)2+(3)2=√13‖x‖2=(2)2+(3)2=13

 

우리에게 매우 익숙한 길이 계산 방법이죠? 

 

 

L2L2 norm

 

3. L∞L∞ norm

L∞L∞ norm은 벡터 성분들의 절대값 중에서 가장 큰 값으로 계산되어집니다. 이 친구는 최대 놈(max norm)이라고 불리기도 합니다. 만약

 

x=⎡⎢⎣4−37⎤⎥⎦x=[4−37]

 

라면, 

 

∥x∥∞=7‖x‖∞=7

 

이 되는 것이죠. 보시는 것처럼 L∞L∞ norm은 ∥∗∥∞‖∗‖∞으로 표기합니다. 

 

(4. L0L0 norm)

마지막으로 L0L0 norm은 벡터의 성분 중에서 0이 아닌 것의 갯수로 계산합니다. 만약

 

x=⎡⎢ ⎢ ⎢⎣−3020⎤⎥ ⎥ ⎥⎦x=[−3020]

 

이라면,

 

∥x∥0=2‖x‖0=2

 

입니다.

 

하지만 L0L0 norm 은 사실 놈이 아닙니다. 왜냐하면 놈이 되기 위한 기본 조건을 만족시키지 못하기 때문입니다. 놈이 되기 위한 기본 조건은 아래 세가지입니다.

 

1) ∥x∥≥0‖x‖≥0이고, x = 0일 때만 ∥x∥=0‖x‖=0이다.

2) ∥ax∥=|a|∥x∥‖ax‖=|a|‖x‖

3) ∥x+y∥≤∥x∥+∥y∥‖x+y‖≤‖x‖+‖y‖

 

이 기본 조건을 만족시키지 못하는 반례를 하나 들어보겠습니다. 

 

x=⎡⎢⎣−202⎤⎥⎦x=[−202]

 

인 경우를 생각해보겠습니다. 이 벡터는 두번째 조건을 만족시키지 못합니다. 왜냐하면

 

∥2x∥0=2‖2x‖0=2

 

이지만,

 

2∥x∥0=42‖x‖0=4

 

이기 때문입니다. 

 

 

 

 

 

 

경사상승법 / 경사하강법 (gradient ascent/descent)

 

함수증가 -> 미분값을 더함 = x+f'(x)

함수감소 -> 미분값으 뺌 = x-f'(x)

• 점이 이동 하며 얻은 미분 값의 합/차
  • 미분값을 더해줌 -> 함수의 최대화
  • 미분값을 빼붐 -> 함수의 최소화
• 최대/최소 값일 때 움직임을 멈춤(극값에 도달)
• 최적화
• 알고리즘 학습률 조정을 통해 학습속도 조절

 

그레디언트 벡터

• 다차원에서의 극값을 찾음 
• (x, y, z) --> (x', y', z')