계단 함수 (Step function) 가장 간단한 활성화 함수 입력값이 임계값을 넘기면 1을 그렇지 않으면 0을 출력하는 함수 임계값 지점에서 미분이 불가능하고 나머지 지점에서는 미분값이 0이 나옴 실제로 계단 함수를 활성화 함수로 사용하면 학습이 제대로 이루어지지 않음 시그모이드 함수 (Sigmoid function) 신경망이 경사 하강법을 통해 학습을 진행하기 위해서는 미분 과정이 필요 계단 함수의 단점을 해결하기 위해 사용된 함수 임계값보다 작은 부분은 0에 가까워지고, 큰 부분은 1에 가까워짐 계단 함수보다 부드럽게 연결되어 있기 때문에 모든 지점에서 미분이 가능하며, 미분값도 0이 아님 중복 사용하게 되면 기울기 소실(Vanishing Gradient) 문제 발생 ReLU 함수 (ReLU fu..
