1️⃣ 데이터 수집

• 실제 개 사진

  • Kaggle Playground Prediction Competition 중 하나인 Dogs vs. Cats의 데이터 셋
  • 출처 : https://www.kaggle.com/competitions/dogs-vs-cats/data
  • 개와 고양이 이미지가 제공되며, 각 12,500장으로 구성되어있음

• 만화 이미지

  • 일본 애니메이터인 미야자키 하야오의 만화 이미지 데이터(1792장)
    • 출처 : https://github.com/TachibanaYoshino/AnimeGAN/releases
  • 아래 만화 또는 영화 영상으로부터 openCV를 이용해 직접 추출
    • 코드 참고 : cartoon_image_extraction_sjh.ipynb
    • 영상 목록
      • 언더독(3000장)
      • 마이펫의 이중생활(3072장)
      • 톰과제리(468장)
      • 도라에몽(1916장)
      • 짱구(1728장)
      • 101마리 강아지(1680장)
      • 디즈니(7789장)
      • 베르사유의 장미(3761장)
      • 원피스(2500장)
  • 유명 작가의 화풍도 가능한지 테스트하기 위해 모네의 그림(1360장)을 직접 웹 크롤링을 통해 수집

2️⃣ 데이터 전처리

• 이미지 선별

  • 수집한 실제 개 이미지 중 아래 예시와 같은 불필요 데이터 제거

    • 사람이 많이 포함된 이미지

      

    • 여러 마리의 개가 존재하는 이미지

      

    • 철창에 가려진 이미지

      

    • 인위적인 조작이 가해진 이미지

      

    • 실제 개가 아닌 이미지

      

    • 지나치게 개가 작게 나온 이미지

      

    • 개의 일부만 나온 이미지

      

• 이미지 Crop

  • 수집한 만화 이미지는 종횡비가 1이 아니므로 종횡비가 1이 되도록 crop 진행

    

  • 만약 crop 과정 없이 이미지를 모델 학습에 사용하기 위해 resize한다면, 기존 이미지가 좌우로 찌그러지는 효과로 적절하지 못한 데이터 변경이 존재

  • 코드 : cartoon_image_preprocessing.ipynb

• 이미지 resize

  • 모델의 학습 간 사용되는 만화 이미지의 사이즈는 256*256이므로 해당 사이즈로 resize 진행

    

  • 실제 cartoonGAN의 학습 코드는 이미지를 임의로 crop하는 과정이 존재하는데, 19801060처럼 너무 큰 원본 이미지에서는 crop된 256256 이미지가 단색으로 이루어진 이미지가 될 가능성이 존재하므로 미리 resize를 시켜 이를 방지

  • 코드 : cartoon_image_preprocessing.ipynb

• 이미지 edge smoothing

  • cartooGAN 모델의 학습 간, 만화 이미지의 edge가 뚜렷한 특성으로 인해 학습이 제대로 이루어지지 않아 smoothing을 통해 이를 보완했다는 논문 내용을 참고해 만화 이미지의 edge smoothing 진행

    

  • 참고 논문은 아래 파일에서 확인 가능

    Chen_CartoonGAN_Generative_Adversarial_CVPR_2018_paper.pdf

  • 코드 : cartoon_image_preprocessing.ipynb

• 이미지 blurring

  • edge smoothing을 대신해 blur 처리한 이미지로 학습 수행

  • gaussian blur 활용, 정도는 4.5로 지정

    

  • 위의 과정들과 다른 모델 학습의 데이터 전처리 과정이며, blur 처리된 이미지들에 대한 resize 또한 진행하여 데이터 전처리 수행

• 특이사항

  • 원피스의 경우, 수집한 이미지가 충분히 크지 않기 때문에(720x480), 단순히 256x256 사이즈로 crop 진행