편미분 & Chain Rule

편미분(Partial Derivatives)

손실 함수를 통해 해당 가중치에서의 손실을 구했다면 이를 바탕으로 손실을 줄이는 방향으로 가중치 업데이트

경사하강법을 사용하기 때문에 각 가중치에 대한 기울기 값을 구해주어야 함

이 과정에서 편미분 사용

편미분이란 파라미터가 2개 이상인 함수에서 특정 파라미터에 대한 기울기를 구하는 방법

편미분 과정에서 우리가 집중하고자 하는 특정 파라미터 이외의 모든 파라미터는 상수로 취급

계산 방법

함수 f(x, y)를 x에 대해서 편미분한 도함수는 아래와 같은 과정을 거쳐 구할 수 있음

y는 상수처럼 취급

두 개의 파라미터 x, y로 이루어진 식에서 하나의 파라미터에 대해 미분한 함수를 구하고자 할 때는 편미분을 사용

---

Chain Rule(연쇄 법칙)

합성 함수를 미분을 쉽게 하기 위한 방법

공식

Sigmoid 함수 미분

Sigmoid 함수 수식

치환

미분

Chain Rule 적용