vanishing gradient problemVisualizing the vanishing gradient problem (machinelearningmastery.com) 인공신경망의 성공, 즉, deep learning의 성공은 바로 vanishing gradient problem을 해결한 것에서 시작한다. 즉, 역전파 방법에서의 혁신이 이루어졌기 때문이다. 컴퓨터의 발전이 이것을 이루어 낸 것이 아니다. 매우 많은 수의 hidden layer들이 있을 때, 기울기가 감소하는 문제는 무엇인가? 이것은 학습을 진행하는데 어려움을 이야기 하는 것이다. 학습의 방향이 전달되지 않는 현상을 의미한다. 분명이 가중치를 변경시켜야하는 방향을 알고 있지만, 실제로 가중치를 바꾸지 못하는 현상을 말한다. 다시