RIMI CODE

가중치 초기화(Wegith Initialization)는 초기 가중치 설정과 관련되어 신경망에서 매우 중요한 요소 가중치를 정규분포로 초기화하였을 때 문제 표준편차를 1인 정규분포표로 가중치를 초기화 할 때 각 층의 활성화 값 분포 표준편차가 일정한 정규분포로 가중치를 초기화 해 줄 때에는 대체로 활성화 값이 0, 1에 위치 활성값이 고르지 못할 경우 학습이 제대로 이루어지지 않음 Xavier 초기화 (Xavier initialization) 가중치를 표준편차가 고정값인 정규분포로 초기화 했을 때 문제점을 해결하기 위해 등장한 방법 이전 층의 노드가 n 개일 때, 현재 층의 가중치를 표준편차가 인 정규분포로 초기화 (이전 층의 노드가 n개이고 현재 층의 노드가 m 개일 때, 현재 층의 가중치를 표준편차가..

기울기 소실(Vanishing Gradient or Gradient Vanishing) 활성화 함수의 미분값이 0에 가까워져 학습이 잘 되지 않는 현상 시그모이드 함수를 활성화 함수로 하는 은닉층을 깊게 쌓았을 때 기울기 소실 문제 발생 시그모이드 함수의 도함수 미분값 < 1 때문에 신경망을 학습하는 과정에서 시그모이드 미분값이 곱해지게 되면 갱신되어야 하는 값이 작아져 학습이 제대로 이루어지지 않음 ReLU 함수 ReLU 함수는 음수 구간에서는 미분값이 0 이지만, 양수 구간에서는 미분값이 1 층이 깊어지더라도 1의 값이 계속 곱해지기 때문에 기울기 값이 과도하게 커지거나 작아지는 문제 발생하지 않음 ReLU 함수 등장 이전까지는 은닉층을 깊게 쌓을 수 없었기 때문에 복잡한 문제 푸는데 딥러닝을 사용할..