활성화 함수(Activation Function)의 공통점

모든 활성화 함수의 공통점은 비선형(Non-linear)이라는 점

활성화 함수가 선형이면 안되는 이유

예를 들어, 선형인 활성화 함수 l(x) = ax + b 가 있다고 가정

이 함수를 사용하여 3개의 층을 쌓는다면 최종적인 활성화 함수는

이 때,

라고 하면, 

로 여전히 같은 형태의 함수를 사용

즉, 층을 아무리 깊게 쌓아도 여러 층을 쌓는 이점을 살리지 못하게 됨

여러 층을 쌓을 때의 장점을 살리기 위해 비선형 함수 사용