여러 가지 활성화 함수(Activation function)

계단 함수 (Step function)

가장 간단한 활성화 함수

입력값이 임계값을 넘기면 1을 그렇지 않으면 0을 출력하는 함수

계단 함수 그래프

임계값 지점에서 미분이 불가능하고 나머지 지점에서는 미분값이 0이 나옴

실제로 계단 함수를 활성화 함수로 사용하면 학습이 제대로 이루어지지 않음

---

시그모이드 함수 (Sigmoid function)

신경망이 경사 하강법을 통해 학습을 진행하기 위해서는 미분 과정이 필요

계단 함수의 단점을 해결하기 위해 사용된 함수

시그모이드 함수 그래프

임계값보다 작은 부분은 0에 가까워지고, 큰 부분은 1에 가까워짐

계단 함수보다 부드럽게 연결되어 있기 때문에 모든 지점에서 미분이 가능하며, 미분값도 0이 아님

중복 사용하게 되면 기울기 소실(Vanishing Gradient) 문제 발생

---

ReLU 함수 (ReLU function)

신경망 발전에 큰 영향을 미친 활성화 함수

시그모이드 함수의 기울기 소실 문제를 해결하기 위해 등장

양의 값이 입력되면 그 값을 그대로 출력하고 음의 값이 입력되면 0을 반환

f(x) = max(0, x)

ReLU 함수 그래프

 

소프트맥스 함수 (Softmax function)

다중 분류 (Multi-classification) 문제에 적용할 수 있도록 시그모이드 함수를 일반화한 활성화 함수

가중합 값을 소프트맥스 함수에 통과시키면 모든 클래스의 값의 합이 1이 되는 확률값으로 변환