이미지 변환을 위한 cartoonGAN 모델은 논문을 토대로 tensorflow 환경에서 작성된 코드를 사용

1️⃣ 모델 아키텍쳐

출처 : CartoonGAN: Generative Adversarial Networks for Photo Cartoonization, Chen et al, 2018

• 기본적인 GAN 모델들과 마찬가지로 생성자와 판별자로 구성

• 생성자는 입력 사진을 바탕으로 만화 이미지를 생성하며, 판별자는 생성자가 생성한 이미지가 실제 만화 이미지인지 아닌지를 분류함

• 판별자가 분류한 결과를 바탕으로 생성자는 최대한 만화 이미지에 가깝도록 이미지를 생성할 수 있도록 학습

• 생성자와 판별자를 구성하는 layer는 위 이미지 참고

  • 이미지에서 k는 kernel size, n은 feature map의 개수, s는 각 convolution layer의 stride를 뜻함

• cartoonGAN의 loss function은 $\mathcal{L}(G,D)=\mathcal{L}{adv}(G,D)+\omega \mathcal{L}{con}(G,D)$로 adversial loss와 content loss로 이루어짐

  • adversial loss는 일반적인 GAN의 adversial loss에 edge smoothing 파트가 추가되어 $\mathcal{L}{adv}(G,D)=\mathbb{E}{c_i\sim S_{data(c)}}[logD(c_i)]+\mathbb{E}{e_j\sim S{data(e)}}[log(1-D(e_j)]+\mathbb{E}{p_k\sim S{data(p)}}[log(1-D(G(p_k))]$로 표현됨(각 항은 순서대로 원본, edge smoothing 이미지, 생성 이미지에 대한 항으로 구성)
  • 판별자가 원본 카툰 이미지를 인풋으로 받으면 1, 생성자가 생성한 이미지나 edge smoothing 처리한 이미지를 받으면 0을 출력하도록 훈련함
  • content loss는 원본 사진과 이를 변환한 사진의 특징을 VGG19 네트워크를 사용해 추출하고 두 특징 간의 L1 distance를 나타내며, 이는 원본 사진의 특징을 얼마나 유지하는지를 결정함

• 관련 논문 파일

  Chen_CartoonGAN_Generative_Adversarial_CVPR_2018_paper.pdf

• 원본 코드 출처

  https://github.com/mnicnc404/CartoonGan-tensorflow

2️⃣ 모델 학습 및 평가

• 데이터셋 준비

  • 아래의 하위 폴더를 포함하는 dataset 폴더 생성
    • trainA : 실제 개 사진
    • trainB : 만화 이미지
    • trainB_smooth : edge smoothing 혹은 blur 처리된 만화 이미지
    • testA : epoch 당 validation을 위한 8개의 실제 개 사진

• 학습 과정

  • Initialization phase

    • GAN모델의 불안정성과 수렴 문제를 개선하기 위해 Generator를 Content Loss만을 사용하여 10 epoch 동안 훈련시킴
    • 이 과정을 진행하지 않을 경우 CartoonGAN은 모델이 수렴하지 않아 이미지를 재생성 못하는 문제가 발생

  • Train

    • 모델 체크포인트 확인 후 본 학습 진행
      • 체크포인트가 없다면 새로 train 진행
      • 체크포인트가 존재한다면 이어서 train 진행
    • 학습 간 사용된 파라미터는 원본 코드 작성자가 추천한 값을 사용(batch size=8, generator learning rate=0.00008, discriminator learning rate=0.00003 등)
    • 총 100 epoch의 학습 진행
    • 각 epoch 당 모델 체크포인트 저장
    • 학습간 100 step 당 결과 이미지 및 epoch 당 validation 이미지 저장

  • 학습 과정간 validation 이미지 예시(베르사유의 장비 데이터 사용)

    https://youtu.be/gITCCO67KhY

• 모델 저장

  • 학습이 완료된 모델, 혹은 중간 체크포인트 모델의 결과가 더 좋은 경우 해당 모델을 저장

• 모델 평가

  • GAN 모델의 성능을 평가하는 것, 즉 모델을 통해 생성된 이미지가 얼마나 실제 원하는 결과와 가까운지에 대한 정량적인 평가는 상당히 어려운 일
  • 여러 머신러닝이나 딥러닝 모델에서 쓰이는 평가지표인 MSE, F1 score, IOU 등의 객관적인 지표가 확립되지 않았기 때문
  • Average Log-likelihood, Coverage Metric, Inception Score (IS), Modified Inception Score (m-IS), Mode Score, Frechet Inception Distance (FID) 등 상당히 많은 지표들이 다양한 논문에서 사용되었으며, 현재에도 꾸준히 객관적인 지표를 정립하기 위해 연구가 진행 중
  • 실제로 사용되는 지표들은 각 지표마다 서로 다른 계산 공식과 기준으로 인해 장단점을 가지는데다, 지표의 수치가 더 좋음에도 불구하고 실제 생성되는 이미지를 사람의 눈으로 봤을 때에는 오히려 좋지 못한 결과로 인식하는 경우가 발생할 수도 있음
  • 따라서 현 프로젝트에서는 이러한 지표들을 이용해 모델을 평가하기보다, 모델이 생성해낸 이미지를 직접 눈으로 관찰하고 주관적인 판단으로 모델 성능이 괜찮은지 아닌지 평가
  • 사람의 주관에 의한 평가로 객관성이 상당히 떨어지는 문제점이 존재하지만, 이는 추후 GAN 모델의 평가지표에 대한 충분한 연구가 진행되어 객관적인 평가지표가 확립된다면 해당 지표를 이용해 모델 성능 평가를 재진행해야할 것으로 판단

3️⃣ 결과