RIMI CODE

편미분(Partial Derivatives) 손실 함수를 통해 해당 가중치에서의 손실을 구했다면 이를 바탕으로 손실을 줄이는 방향으로 가중치 업데이트 경사하강법을 사용하기 때문에 각 가중치에 대한 기울기 값을 구해주어야 함 이 과정에서 편미분 사용 편미분이란 파라미터가 2개 이상인 함수에서 특정 파라미터에 대한 기울기를 구하는 방법 편미분 과정에서 우리가 집중하고자 하는 특정 파라미터 이외의 모든 파라미터는 상수로 취급 계산 방법 함수 f(x, y)를 x에 대해서 편미분한 도함수는 아래와 같은 과정을 거쳐 구할 수 있음 y는 상수처럼 취급 두 개의 파라미터 x, y로 이루어진 식에서 하나의 파라미터에 대해 미분한 함수를 구하고자 할 때는 편미분을 사용 Chain Rule(연쇄 법칙) 합성 함수를 미분을 ..

손실 함수 J 의 경사(Gradient)가 작아지는 방향으로 업데이트 하면 손실 함수의 값을 줄일 수 있음 매 Iteration 마다 해당 가중치에서의 비용 함수의 도함수(=비용 함수를 미분한 함수)를 계산하여 경사가 작아질 수 있도록 가중치 변경 기울기 반대 방향으로 배 만큼 이동 각각의 가중치는 역전파의 주요 메커니즘인 편미분과 Chain Rule(연쇄 법칙)이 사용 특정 가중치에 대한 기울기는 손실 함수를 해당 가중치로 편미분 모든 가중치에 대한 값은 Chain Rule로 구함 연쇄 법칙이란 특정 변수에 대한 (편)미분 값을 다른 변수의 미분을 사용하여 나타낼 수 있는 방식 연쇄 법칙을 사용하여 각 변수가 얼마나 수정되어야 할 지에 대한 정보를 전달