728x90 그레이디언트 소실2 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 3 이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 2이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 1이전 내용 [딥러닝] 객체 탐지, 객체 추적이전 내용 [딥러닝] 케라스의 사전 훈련 모델 사용하기이전 내용 [딥러닝] 합성곱 신경망puppy-foot-it.tistory.com긴 시퀀스를 다룰 때 두 문제 긴 시퀀스로 RNN을 훈련하려면 많은 타임 스텝에 걸쳐 실행해야 하므로 펼친 RNN이 매우 깊은 네트워트가 된다. 다른 심층 신경망과 마찬가지로 그레이디언트 소실과 폭주 문제를 겪을 수 있는데, 이는 훈련하는 데 아주 오랜 시간이 걸리거나 훈련이 불안정할 수 있음을 의미한다. 또한 RNN이 긴 시퀀스를 처리할 때 입력의 첫 부분을 조금씩 잊게.. 2024. 12. 2. [개발자를 위한 수학] 신경망 - 1 신경망(neural network) 신경망은 입력 변수와 출력 변수 사이에 가중치, 편향, 비선형 함수로 이루어진 층을 쌓아 구성한다.딥러닝(Deep learning)은 신경망의 한 종류이며, 가중치와 편향을 가진 노드(node)로 구성된 여러 개의 은닉층(hidden layer)을 사용한다. 각 노드는 비선형 함수(또는 활성화 함수)를 통과하기 전에는 선형 함수와 유사한데, 확률적 경사 하강법과 같은 최적화 기법을 사용해 잔차를 최소화하는 최적의 가중치와 편향을 찾는다.신경망에서는 입력을 입력층 (input layer), 출력을 계산하기 위한 마지막 층을 출력층(output layer), 그 사이에 놓은 층을 은닉층이라 부른다.언제 신경망과 딥러닝을 사용하는가 신경망과 딥러닝은 분류와 회귀에 사용할 수.. 2024. 10. 20. 이전 1 다음 728x90
