기울기 소실 썸네일형 리스트형 한계를 극복한 LSTM 【5】RNN 기본 다지기 / 실무에서 활용되는 LSTM 이해하기 한계를 극복한 LSTM 작성자 홍다혜 ghdek11@gmail.com / 이원재 wonway333@gmail.com 더보기 RNN의 한계 【5】RNN 기본 다지기 / 실무에서 활용되는 LSTM 이해하기 RNN의 한계 RNN의 구조를 다시 한번 보자. RNN은 계속해서 같은 셀의 반복으로 구성된다. 반복 횟수는 입력의 길이(sequence)에 따라 달라지는데 입력의 길이가 길면 그만큼 시간 축이 길게 펼쳐지므로 신경망이 깊어진다. 즉, 신경망의 깊이는 입력에 의존적이라고 할 수 있다. 또한 RNN의 동작은 아래의 수식과 같이 표현할 수 있었는데 마치 양파처럼 이전 타임스텝들이 가중치로 겹겹이 쌓인 구조를 띄었다. 이렇게 RNN은 이전 타임스텝의 모든 입력을 참조하는 특징을 가지는데 다시 말하면 서로 다른 층들이 매개변수를 공유한다고 할 수 있다. RNN의 이러한 특징으로 인해 훈련에 큰 어려움이 발생한다. 입력 순차열이 길다면 상황은 더욱 .. 더보기 I am Hinton! 기울기 소실 사건을 해결하다! - 제한 볼츠만 머신(RBM) 【1】Deep Learning 시작하기_다시 마주친 장벽, Vanishing Gradient Problem I am Hinton! 기울기 소실 사건을 해결하다! - 제한 볼츠만 머신(RBM) 훗날 토론토 대학교의 제프리힌튼(Geoffrey Hinton) 교수는 딥러닝이 한계를 가지게 된 이유 4가지를 정리했다. 우리는 힌튼 교수의 제안을 바탕으로 기울기 소실 문제를 해결할 아이디어를 접근해볼 것이다. Geoffrey Hinton’s summary of findings up to today (1) Our labeled datasets were thousands of times too small. (2) Our computers were millions of times too slow. (3) We init.. 더보기 핑거 스냅? 기울기가 사라진다! 【1】Deep Learning 시작하기_다시 마주친 장벽, Vanishing Gradient Problem 다시 마주친 장벽, Vanishing Gradient Problem 오차역전파의 등장으로 신경망에서 최적의 가중치를 찾아낼 수 있으며 이를 통해 오차가 적은, 정답과 가까운 출력을 갖는 신경망을 만들 수 있음을 보이게 되었다. 사람들은 신경망이 XOR 문제 뿐만 아니라 더 복잡한 문제도 해결할 수 있다는 생각에 다시 관심을 갖기 시작했다. 연구진들은 복잡한 문제를 해결할 수 있는 신경망을 만들기 위해 은닉층을 깊게 쌓아보았으나 결과가 기대만큼 좋지 않게 되며 신경망은 두번째 침체기에 들어서게 된다. 도대체 어떠한 문제가 생긴 것인지 알아보자. 핑거 스냅? 기울기가 사라진다! 분명 우리는 앞의 글에서.. 더보기 이전 1 다음
