활성화 함수(시그모이드, ReLU, 소프트맥스)

♣ 활성화 함수

활성화 함수란 입력값을 어떤 값으로 변환해 출력할지 결정하는 함수를 의미함.

입력값과 가중치를 곱한 값들은 활성화 함수를 거쳐서 출력값이 됨

 

1. 시그모이드

시그모이드 함수의 생김새

 

시그모이드 함수의 함수식

 

시그모이드 함수는 입력값이 커질수록 1에 수렴하고, 작아질수록 0에 수렴함. 시그모이드 함수를 미분하면, 양쪽으로 향할수록 변화값이 거의 없음. 따라서 오류역전파를 할 때 Vanishing Gradient 현상이 발견될 수 있음.

0 또는 1을 반환하기 때문에 이진 분류 모델의 마지막 활성화 함수로 사용됨. 

 

2. ReLU

 

ReLU 함수의 생김새

ReLU 함수는 은닉층의 활성화 함수로 사용됨

입력값이 0보다 작거나 같을 때는 항상 0을 출력함.

입력값이 0보다 크면 입력값과 동일한 출력값을 출력함. 

 

3. 소프트맥스

소프트맥스 함수의

softmax 함수는 시그모이드와 비슷하게 0~1 사이로 변환하여 출력하지만, 출력값들의 합이 1이 되도록 하는 함수임. 따라서 다중 분류의 최종 활성화 함수로 사용됨.

 

 

♣ 참고 자료

활성화 함수 

https://heytech.tistory.com/360

[Deep Learning] Activation Function 개념 및 종류: sign, tanh, sigmoid, softmax, ReLU, Leaky ReLU

https://velog.io/@ym980118/%EB%94%A5%EB%9F%AC%EB%8B%9D-%ED%99%9C%EC%84%B1%ED%99%94-%ED%95%A8%EC%88%98-%EA%B0%84%EB%8B%A8-%EC%A0%95%EB%A6%AC-%EC%8B%9C%EA%B7%B8%EB%AA%A8%EC%9D%B4%EB%93%9C-%EC%86%8C%ED%94%84%ED%8A%B8%EB%A7%A5%EC%8A%A4-ReLU

[딥러닝] 활성화 함수 간단 정리 ! (시그모이드, 소프트맥스, ReLU)