장점 썸네일형 리스트형 Batch - Normalization 【1】Deep Learning 시작하기_정규화라는 것도 있다 Batch - Normalization 신경망의 학습 효율을 높이기 위해서 활성화 함수, 초기화, 학습률의 변화 등 다양한 방법들이 등장해왔다. 이러한 간접적인 방법들 뿐만 아니라 학습 과정 자체를 안정화 하기위한 근본적인 연구들 또한 진행이 되어왔다. 신경망의 불안정성에는 내부 공변량 변화(Internal Covariance Shift)의 문제가 있는데 이는 신경망의 각 층 별 활성화 함수로 들어가는 입력데이터의 분포가 다른 현상을 말한다. 내부 공변량 변화 문제를 해결함으로써 신경망 학습 자체의 안전성을 높이고자 등장한 기법이 바로 배치 정규화다. "Batch - Normalization" 배치라는 용어는 전체 데이터가 한 번에 처리하기 힘.. 더보기 최적화(Optimizer)가 뭐였지? 확률적 경사 하강법(SGD) 【1】Deep Learning 시작하기_최적화가 가장 중요하다! 최적화(Optimizer)가 뭐였지? 확률적 경사 하강법(SGD) 여러분은 1.2 경사 하강법이 기억나는가? 경사 하강법은 오차를 가장 작게 만드는 방향으로 가중치를 업데이트 하면서 최적 값을 찾는 방법이다. 이렇게 파라미터의 최적 값을 찾는 문제를 최적화(optimizer)라고 하며 최적화는 정답에 가까운 출력을 만드는 신경망의 목표인만큼 중요하지만 어려운 문제다. 앞에서 최적화의 방법으로 경사 하강법을 언급했는데 시간이 지나면서 더욱 발전된 기술들이 등장하기 시작했다. 지금부터 그 종류를 하나씩 살펴보겠다. 확률적 경사 하강법(SGD) “GD보다 조금 보되 빠르게 찾자!“ 우리가 앞에서 다룬 경사 하강법(Gradient Descent)은.. 더보기 [머신러닝] 선형 회귀 모델의 장점과 단점, 언제 사용하는게 좋을까? 선형 회귀 모델은 선형 함수로 예측을 수행하는 회귀용 선형 알고리즘으로, train, test dataset에 있는 결과값(y) 사이의 평균제곱오차를 최소화하는 파라미터 가중치(w)와 절편(b)을 찾는 알고리즘을 수행합니다. 한편, 회귀를 하기 위한 선형 모델은 특성이 하나일 때 직선이 되고, 두 개일 땐 평면이 되며, 더 많은 특성을 가진 높은 차원일 땐 초평면이 되는 회귀 모델의 특징을 갖습니다. 또한 회귀를 하기 위한 선형 모델을 다양한데요, train data로부터 가중치 값을 결정하는 방법과 모델의 복잡도를 제어하는 방법에 따라 다양해집니다. 1. 선형 회귀 모델의 장점과 단점은? 그렇다면 선형 회귀 모델의 장점과 단점은 무엇일까요? 먼저, 선형 모델의 장점은 학습 속도가 빠르고, 예측이 빠르다.. 더보기 이전 1 다음
