[논문리뷰] ESPCN - Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network

[논문리뷰] ESPCN - Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network

SR using Bicubic interpolation

• 기존의 Deep Learning 을 이용한 SR은 bicubic interpolation을 이용해 LR 이미지를 만든 후 학습을 진행함.

• 이 경우, image의 해상도의 문제를 통해 고해상도의 이미지로 모델을 형성하기 때문에 계산량이 많아짐

• bicubic interpolation 이 training 성능을 향상시켜주지 못함.

Deconvolution layer

• Pixel 주위에 zero padding을 추가하여 convolution을 진행
• Convolution과 달리 feature map의 크기를 증가시킴
• 기존의 SISR에서 bicubic interpolation은 deconvolution을 통한 upscaling 방식

deconvolution은 zero-padding을 추가한 후 그 층에 convolution을 적용합니다. 따라서 더 많은 계산량이 필요합니다.

Sub-pixel convolution layer

• 만약 r배의 upscaling을 하고자 하는 경우, 마지막 layer에서 feature map의 개수를 r x r 개로 만들어 준 뒤 feature map들을 순서대로 배치하여 HR이미지 생성

• 연산량 감소, 정확도 상승

실험 결과