KERAS

가장 쉬운 autoencoder(자동암호기)를 이용한 차원 축소https://en.wikipedia.org/wiki/Autoencoder 자동암호기 (autoencoder, AE)의 용도:data denoisingdimensionality reductionimage recognition anomaly detection semantic segmentationrecommendation engines If linear activations are used, or only a single sigmoid hidden layer, then the optimal solution to an autoencoder is strongly related to principal component analysis (PCA).

U-netImage segmentation with a U-Net-like architecture (keras.io)U-Net - Wikipedia U-net은 수축경로와 확장경로를 가지고 있다. U-net은 contracting pathway와 expansive pathway로 나누어진다. autoencoder구성과 유사한 점이 있다. 하지만, 서로 다른 것이다. Imagination is more important than knowledge (지식보다 상상) : 가장 쉬운 VAE (variational autoencoder) 예제 (egloos.com)Imagination is more important than knowledge (지식보다 상상) : 가장 쉬운 AE (autoencoder) 예제

cycleGAN [unpaired image-to-image translation] How to Develop a CycleGAN for Image-to-Image Translation with Keras (machinelearningmastery.com)A Gentle Introduction to CycleGAN for Image Translation (machinelearningmastery.com)https://www.kaggle.com/upamanyumukherjee/cyclegan[Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks][1703.10593] Unpaired Image-to-Image Tran

vanishing gradient problemVisualizing the vanishing gradient problem (machinelearningmastery.com) 인공신경망의 성공, 즉, deep learning의 성공은 바로 vanishing gradient problem을 해결한 것에서 시작한다. 즉, 역전파 방법에서의 혁신이 이루어졌기 때문이다. 컴퓨터의 발전이 이것을 이루어 낸 것이 아니다. 매우 많은 수의 hidden layer들이 있을 때, 기울기가 감소하는 문제는 무엇인가? 이것은 학습을 진행하는데 어려움을 이야기 하는 것이다. 학습의 방향이 전달되지 않는 현상을 의미한다. 분명이 가중치를 변경시켜야하는 방향을 알고 있지만, 실제로 가중치를 바꾸지 못하는 현상을 말한다. 다시