ELU 썸네일형 리스트형 발전된 비선형 함수(Nonlinearity) (Ricky ReLU / Parametric ReLU 등) 【1】Deep Learning 시작하기_Vanishing Gradient Problem 발전된 비선형 함수(Nonlinearity) (Ricky ReLU / Parametric ReLU 등) 혜성처럼 등장한 ReLU는 그 존재감만큼 완벽할 것 같지만 아쉽게도 약간의 문제점이 존재한다. 모든 0 이하의 입력에 대해서는 미분 값이 0이 된다는 것이다. 가중치가 업데이트되면서 가중합이 음수가 되는 순간 ReLU는 0만 출력하여 그 이후의 노드들이 활성화되지 않게 된다. 이를 dying ReLU라고 하며 이러한 문제를 해결하기 위해 ReLU를 변형시킨 함수들이 등장했는데, 그중 대표적인 몇 가지를 소개하겠다. 리키렐루 (Leaky ReLU) 리키렐루는 아래와 같은 식을 가지는 ReLU의 변형된 함수이다. Lea.. 더보기 이전 1 다음
