Color_is_red

Image출처 https://miro.medium.com/max/724/1*85gM03JgUpDEQO8JKl9VpA.png https://ars.els-cdn.com/content/image/1-s2.0-S1350946218300119-gr4.jpg https://miro.medium.com/max/639/1*_Epn1FopggsgvwgyDA4o8w.png https://www.oreilly.com/library/view/hands-on-machine-learning/9781788393485/assets/320843d0-3683-4422-80b2-c2913f8d02d4.png https://miro.medium.com/max/450/1*-LydhQEDyg-4yy5hGEj5wA.png https://ima..

Batch Normalization ; BN 출처 출처1(Batch Normalizaion) : https://arxiv.org/pdf/1502.03167.pdf 출처2(Batch 정규화) : https://eehoeskrap.tistory.com/430 BN 배경 Gradient Exploding / Vanishing : param's의 변화에 따른 output 변화를 기반으로 학습하는 신경망에서, 해당 이슈로 인해 Error가 큰상태로 수렴하게됨. 특히, Sigmoid, Tanh 등의 활성화 함수에서 출력값의 범위가 굉장히 좁아지는데, (sigmoid 경우 [0,1]) Hidden Layer 중에 이러한 비선형성 레이어가 섞어들어가게되면 결국 학습이 제대로 되지 않게됨. 이에 대응하는 직접적인 방법으..