GAN에 대해 궁금한 것들(styleGAN2, 아이펠 멘토링)

 

[공부 자료 및 요약]

1. D regularization (R1 regularization) 은 주어진 인풋에 대한 output 값의 변화를 최소화 해주는 정칙화 방법이다. 이는 안정적인 discriminator학습을 위해 사용된다.
2. G regularization은 w의 작은 섭동 (perturbation)에 그에 상응하는 작은 움직임 (non-zero, but fixed magnitude)을 강제하기 위해 사용된다. 이는 z,  z + epsilon 두 벡터가 완전히 같지는 않지만 또 epsilon만큼의 변화에 해당되는 아웃풋 이미지를 생성하도록 강제한다.
3. Latent Vector and Space는 사실 graphical model에서 파생된 단어인데, 주어진 데이터를 표현한 비교적 저차원 의미있는 공간정도로 생각하시면 될 것 같습니다.
4. Z-W mapping은 8개의 MLP를 통해서 이루어집니다. MLP는 만능 근사자 (Universal Approximator, 시벤코 정리)이기 때문에 알아서 disentangled하게 만듭니다.
5. StyleGAN-AdaIN이랑 StyleGAN2 modulation의 기본 철학은 똑같습니다. 단지, modulation and demodulation이 연산을 줄일 수 있다는 점, 몇몇의 신호처리 가정들이 들어가 약간의 성능 차이를 만들어 낸다는점이 다릅니다.

1. Wasserstein distance

아래 두 내용을 참조하면 좋을 것 같습니다.
(https://www.slideshare.net/ssuser7e10e4/wasserstein-gan-i)
(https://haawron.tistory.com/21, 중간 부분의 The Earth Mover Distance or Wasserstein1 참조)

2. Jensen Shannon Divergence

Shannon divergence 의 Symmetric한 버전이라고 생각하면 됩니다.
JSD(P, Q) = 0.5*KL(P, Q) + 0.5*KL(Q, P)
*KL divergence는 KL(P, Q) != KL(Q, P)이기에 거리가 아닙니다!
*Distance 의 조건: http://www.incodom.kr/Distance

 

3. Markov Chain, Monte Carlo Estimation

Markov Chain은 P(x_t|x_t-1) = P(x_t|x_t-1, x_t-2, x_t-3, …) 인 확률 process를 의미합니다. 즉 오늘의 결과가 오직 어제의 상태에 영향을 받는 경우입니다.
Monte Carlo Estimation은 반복되는 적분 또는 시그마 계산을 하지 않기 위해 샘플링 기반으로 기댓값을 구하는 방법입니다.(https://studyingrabbit.tistory.com/33)

https://www.slideshare.net/ssuser7e10e4/wasserstein-gan-i

Wasserstein GAN 수학 이해하기 I

 

https://haawron.tistory.com/21

[학부생의 딥러닝] GANs | WGAN, WGAN-GP : Wassestein GAN(Gradient Penalty)

몬테 카를로 시뮬레이션(Monte Carlo Simulation) 의 이해 : 원주율값 구하기 (+파이썬 시뮬레이션 코드) (tistory.com)

 

몬테 카를로 시뮬레이션(Monte Carlo Simulation) 의 이해 : 원주율값 구하기 (+파이썬 시뮬레이션 코드)

http://www.incodom.kr/Distance

Distance - 인코덤, 생물정보 전문위키

 

 

[면접에 자주 나오는 질문]

1. Optimizer (Adam, Momentum, Nesterov 등)

2. Vector, Jacobian, Hessian 개념 설명

       (https://datascienceschool.net/02%20mathematics/04.04%20행렬의%20미분.html)
 3.  Backpropagation 문제-> 중간에 피처에 대한 자코비안을 계산해야한다는 것을 이해하는게 중요함.
      (https://jaejunyoo.blogspot.com/2017/01/backpropagation.html)
 4. 로스 커브 이해하기
 5. Unbiased estimator, Biased estimation, Bias and Variance Tradeoff

https://jaejunyoo.blogspot.com/2017/01/backpropagation.html

Backpropagation 설명 예제와 함께 완전히 이해하기