log
Deep learning
제약이 능력을 만든다: PyTorch로 이해하는 AE, DAE, VAEConstraints Create Capability: Understanding AE, DAE and VAE with PyTorch
입력을 그대로 출력하는 걸 왜 학습할까? 병목·손상된 입력·확률분포라는 제약에 따라 AE, DAE, VAE가 무엇을 배우는지 MNIST로 실험한다.Why train a model to output its own input? Bottlenecks, corrupted inputs and probability distributions on MNIST — what AE, DAE and VAE each learn.
Optimizer는 무엇을 보완해 왔는가?What Has Each Optimizer Been Fixing?
Gradient Descent부터 Momentum, AdaGrad, RMSProp, Adadelta, Adam까지 — 각 Optimizer가 어떤 상태값을 저장하는지를 축으로 PyTorch로 직접 구현해 본다.From plain gradient descent to Momentum, AdaGrad, RMSProp, Adadelta and Adam — implemented by hand in PyTorch, framed by what state each one stores.