특징 썸네일형 리스트형 RNN의 한계 【5】RNN 기본 다지기 / 실무에서 활용되는 LSTM 이해하기 RNN의 한계 RNN의 구조를 다시 한번 보자. RNN은 계속해서 같은 셀의 반복으로 구성된다. 반복 횟수는 입력의 길이(sequence)에 따라 달라지는데 입력의 길이가 길면 그만큼 시간 축이 길게 펼쳐지므로 신경망이 깊어진다. 즉, 신경망의 깊이는 입력에 의존적이라고 할 수 있다. 또한 RNN의 동작은 아래의 수식과 같이 표현할 수 있었는데 마치 양파처럼 이전 타임스텝들이 가중치로 겹겹이 쌓인 구조를 띄었다. 이렇게 RNN은 이전 타임스텝의 모든 입력을 참조하는 특징을 가지는데 다시 말하면 서로 다른 층들이 매개변수를 공유한다고 할 수 있다. RNN의 이러한 특징으로 인해 훈련에 큰 어려움이 발생한다. 입력 순차열이 길다면 상황은 더욱 .. 더보기 Momentum Optimizer 【1】Deep Learning 시작하기_최적화가 가장 중요하다! Momentum Optimizer “SGD는 너무 지그재그로 가네? 진행 하던 방향으로 계속 가 보자!“ 작성자 홍다혜 ghdek11@gmail.com / 이원재 ondslee0808@gmail.com 더보기 최적화(Optimizer)가 뭐였지? 확률적 경사 하강법(SGD) 【1】Deep Learning 시작하기_최적화가 가장 중요하다! 최적화(Optimizer)가 뭐였지? 확률적 경사 하강법(SGD) 여러분은 1.2 경사 하강법이 기억나는가? 경사 하강법은 오차를 가장 작게 만드는 방향으로 가중치를 업데이트 하면서 최적 값을 찾는 방법이다. 이렇게 파라미터의 최적 값을 찾는 문제를 최적화(optimizer)라고 하며 최적화는 정답에 가까운 출력을 만드는 신경망의 목표인만큼 중요하지만 어려운 문제다. 앞에서 최적화의 방법으로 경사 하강법을 언급했는데 시간이 지나면서 더욱 발전된 기술들이 등장하기 시작했다. 지금부터 그 종류를 하나씩 살펴보겠다. 확률적 경사 하강법(SGD) “GD보다 조금 보되 빠르게 찾자!“ 우리가 앞에서 다룬 경사 하강법(Gradient Descent)은.. 더보기 [머신러닝] GRU란? 케라스로 GRU 은닉층 추가하기 (코드) 1. GRU란? GRU(Gated Recurrent Unit)란 LSTM과 유사한 구조를 가지는 모델을 말하는데요, LSTM의 장기 의존성 문제에 대한 해결책을 유지하면서 은닉 상태를 업데이트하는 계산을 감소시킨 알고리즘을 말합니다. 또한 GRU의 가장 큰 특징은 출력게이트, 입력게이트, 삭제게이트를 가진 LSTM과 달리 업데이터 게이트와 리셋 게이트만 갖고 있다는 점입니다. LSTM과 GRU가 비슷한 구조를 가지고 있지만 어느 게 더 좋다고 말할 수는 없는데요, 다만 GRU에서 매개변수의 양이 적기 때문에 데이터의 양이 적을 땐 GRU를 사용하는 것이 좋고, 데이터의 양이 많다면 LSTM이 적절할 수 있습니다. 2. 케라스로 GRU 은닉층 추가하기 한편, 케라스를 이용해 GRU 은닉층을 추가하고 싶다면.. 더보기 [머신러닝] 선형 회귀 모델의 장점과 단점, 언제 사용하는게 좋을까? 선형 회귀 모델은 선형 함수로 예측을 수행하는 회귀용 선형 알고리즘으로, train, test dataset에 있는 결과값(y) 사이의 평균제곱오차를 최소화하는 파라미터 가중치(w)와 절편(b)을 찾는 알고리즘을 수행합니다. 한편, 회귀를 하기 위한 선형 모델은 특성이 하나일 때 직선이 되고, 두 개일 땐 평면이 되며, 더 많은 특성을 가진 높은 차원일 땐 초평면이 되는 회귀 모델의 특징을 갖습니다. 또한 회귀를 하기 위한 선형 모델을 다양한데요, train data로부터 가중치 값을 결정하는 방법과 모델의 복잡도를 제어하는 방법에 따라 다양해집니다. 1. 선형 회귀 모델의 장점과 단점은? 그렇다면 선형 회귀 모델의 장점과 단점은 무엇일까요? 먼저, 선형 모델의 장점은 학습 속도가 빠르고, 예측이 빠르다.. 더보기 이전 1 다음
