RIMI CODE

가중치 초기화(Wegith Initialization)는 초기 가중치 설정과 관련되어 신경망에서 매우 중요한 요소 가중치를 정규분포로 초기화하였을 때 문제 표준편차를 1인 정규분포표로 가중치를 초기화 할 때 각 층의 활성화 값 분포 표준편차가 일정한 정규분포로 가중치를 초기화 해 줄 때에는 대체로 활성화 값이 0, 1에 위치 활성값이 고르지 못할 경우 학습이 제대로 이루어지지 않음 Xavier 초기화 (Xavier initialization) 가중치를 표준편차가 고정값인 정규분포로 초기화 했을 때 문제점을 해결하기 위해 등장한 방법 이전 층의 노드가 n 개일 때, 현재 층의 가중치를 표준편차가 인 정규분포로 초기화 (이전 층의 노드가 n개이고 현재 층의 노드가 m 개일 때, 현재 층의 가중치를 표준편차가..

편미분(Partial Derivatives) 손실 함수를 통해 해당 가중치에서의 손실을 구했다면 이를 바탕으로 손실을 줄이는 방향으로 가중치 업데이트 경사하강법을 사용하기 때문에 각 가중치에 대한 기울기 값을 구해주어야 함 이 과정에서 편미분 사용 편미분이란 파라미터가 2개 이상인 함수에서 특정 파라미터에 대한 기울기를 구하는 방법 편미분 과정에서 우리가 집중하고자 하는 특정 파라미터 이외의 모든 파라미터는 상수로 취급 계산 방법 함수 f(x, y)를 x에 대해서 편미분한 도함수는 아래와 같은 과정을 거쳐 구할 수 있음 y는 상수처럼 취급 두 개의 파라미터 x, y로 이루어진 식에서 하나의 파라미터에 대해 미분한 함수를 구하고자 할 때는 편미분을 사용 Chain Rule(연쇄 법칙) 합성 함수를 미분을 ..