가중치 초기화1 [DL] 가중치 초기화(Weight Initialization)[파이썬/Python] -목차- 1. 초기 가중치 설정(Weight Initialization)의 필요성 2. 초기 가중치의 가장 합리적인 초기화 방법은 무엇일까? 2.1 Random Inifialization 2.2 Xavier Initialization 2.3 He Initialization 3. MNIST 데이터셋을 활용한 가중치 초기화 비교 실험 마치며 구현 코드 : weight_initialization 1. 초기 가중치 설정(Weight Initialization)의 필요성 신경망 모델의 목적은 손실(Loss)을 최소화하는 과정, 즉 파라미터 최적화(Parameter optimization)이다. 이를 위해서 손실 함수에 대해 경사 하강법을 수행한다. 이를테면, 어떤 데이터셋의 손실 함수 그래프가 아래와 같이 생겼다.. 2022. 2. 2. 이전 1 다음
