활성화 함수 썸네일형 리스트형 딥러닝의 뿌리를 찾아서, 퍼셉트론은 누구인가? 【1】 Deep Learning 시작하기_딥러닝이 알고 싶다! 딥러닝의 뿌리를 찾아서, 퍼셉트론은 누구인가? 인공지능 연구진들은 ‘사람을 대신해서 문제를 해결하는 기계’를 만들기 위해 사람의 뇌 구조를 분석하고 이를 컴퓨터세계로 가져옴으로써 인공신경망을 만들 수 있을 것이라고 생각했다. 1957년 블랜트(Frank Rosenblatt)가 제안한 인공 뉴런인 퍼셉트론은 신경망(딥러닝)으로 나아가는데 중요한 아이디어가 되었다. 이번장에서는 딥러닝의 핵심이 되는 인공신경망의 구성원인 인공뉴런 즉, 퍼셉트론의 동작원리를 간단히 소개하겠다. 먼저 퍼셉트론의 동작을 이해하기 위해 생물학적 신경망을 보도록 하자. 사람의 뇌는 뉴런이라고 불리는 신경세포로 구성되어 있다. 뉴런은 다수의 입력이 합산되어 하나의 통로로 출.. 더보기 [자연어 처리] RNN 텍스트 분류 모델, 어떠한 활성화 함수 & 손실 함수를 사용하는게 좋을까요? - RNN으로 텍스트 분류 모델을 만들 때, 어떠한 활성화 함수와 손실 함수를 사용하는 게 좋을까요? RNN 구조를 이용한 텍스트 분류 문제는 모든 time step(시점 수 = 던어 수)에 대해 입력을 받고, 최종 출력 층에서 활성화 함수를 통해 하나의 답을 고르는 문제인데요, 이때 출력층에서 두 개의 선택지 중에서 답을 고르는 건지, 세 개 이상의 선택지에서 답을 고르는 건지에 따라 이진 분류 또는 다중 클래스 분류로 나누어집니다. 만약, 여기서 이진 분류의 문제로 해결을 하고 싶다면 활성화 함수는 Sigmoid 함수를, 손실 함수는 binary_crossentropy를 사용하는 것이 적절합니다. 반면, 다중 클래스 문제이 경우 활성화 함수를 Softmax, 손실함수를 categorical_cross.. 더보기 [머신러닝] 은닉층(Hidden Layer)에서 활성화 함수를 선형 함수(Linear function)로 사용하지 않는 이유 - 은닉층에 활성화 함수를 선형 함수로 사용해도 될까? 학습시킬 neural network의 은닉층(Hidden layer)에서 활성화 함수(activation function)를 선형 함수로 사용해도 되는지, 사용하면 안 되는지 궁금하실 수 있는데요, 바로 말씀드리자면, 선형 함수(linear function)를 사용하면 은닉층의 의미가 사라지게 됩니다. 왜냐하면, 은닉층에서 선형 함수를 활성화 함수로 사용해서 학습시키는 구조를 은닉층이 없는 Input layer, Ouput layer로만 똑같이 구현시킬 수 있기 때문입니다. 즉, 은닉층 없이도 동일한 학습을 시킬 수 있다는 것입니다. 따라서 이러한 경우 오히려 은닉층을 없애고 모델을 간단하게 만들어 학습시키는게 더 효율적일 수 있습니다. 따라서 은닉.. 더보기 이전 1 다음
