확률분포 썸네일형 리스트형 VAE(Variational Auto Encoder) _인코더, 평균 분산 【8】최근 AutoEncoder 응용 모델 이해하고 사용하기 / VAE VAE(Variational Auto Encoder) _인코더, 평균 분산 확률분포를 이용하는 모델인 VAE(Variational Auto Encoder)를 알아보자 try: %tensorflow_version 2.x" except Exception: pass import tensorflow as tf from tensorflow.keras import layers,models,datasets,losses from tensorflow.keras import backend as K import numpy as np import matplotlib.pyplot as plt VAE모델 만들기에 앞서 패키지들을 선언을 한다. 새롭게 추가된 .. 더보기 해결책 2 : 문제는 활성화 함수 - ReLU / (확률분포) 【1】Deep Learning 시작하기_다시 마주친 장벽, Vanishing Gradient Problem 해결책 2 : 문제는 활성화 함수 - ReLU / (확률분포) “We used the wrong type of non-linearity” 그 다음으로는 힌튼이 네번째로 제시한 이유인 활성화 함수에 대해 이야기하겠다. 오차 역전파는 출력층에서 입력층 방향으로 각 층의 가중치를 수정하는 방식이라는 것을 모두 알고 있을 것이다. 가중치를 수정하는 과정에서 활성화 함수의 미분이 진행되는데 문제는 바로 여기서 발생한다. 활성화 함수로 시그모이드 함수를 사용했더니 출력층과 가까운 경우에는 오차역전파가 잘 되는데 반해 출력층과 멀어지는 경우 오차 전파가 잘 안되는 문제가 생긴 것이다. 이러한 문제는 시그모이드 .. 더보기 이전 1 다음
