preloader
Deep learning

Review: MobileNet V2

MobileNetV2: Inverted Residuals and Linear Bottlenecks

Author: Mark Sandler, Andrew G. Howard, Menglong Zhu, Andrey Zhmoginov, Liang-Chieh Chen
Date: Jan 13, 2018
URL: https://arxiv.org/abs/1801.04381

Abstract

  • 새로운 mobile architecture!
  • mobile에서 Object detection, Semantic segmentation 에 적용할 수 있음!

Introduction

  • MobileNet과 비슷한 얘기
  • 새로운 모듈 제안! → Inverted residual block

Preliminaries, discussion and intuition

  • 논문의 가장 큰 특징은 Depthwise Separable Convolution, Linear Bottlenecks, Inverted Residuals.

Depthwise Separable Convolutions

  • Xception 에서부터 제안된 Convolution
  • Efficient network의 핵심 Block

Linear Bottlenecks

  • MobileNetV1에서 computation 과 accuracy의 trade-off 를 비교하기 위해 width multiplier parameter를 사용.
  • 본 논문에선 1x1 Convolution 을 이용하여 dimension reduction 수행.

Inverted Residuals

  • 기존의 Residual Block 과 비슷한 구조 (Bottleneck → Expansion & Skip connection).
  • 본 논문에선 Expansion → Bottleneck & Skip connection 구조의 Inverted Residual Block 사용.

Model Architecture

Ablation study

Inverted residual connections

  • Skip connection 을 bottleneck 후에 하는 것이 성능이 더 좋음.
  • Figure 6 (b) 참고

Importance of linear bottleneck

  • Bottleneck 에서는 activation 을 사용하지 않는 것이 더 좋음.
  • Figure 6 (a) 참고
donaricano-btn
도움이 되셨다면 몰랑이에게 밀크티를...!
더 다양한 포스팅을 채우도록 노력할게요!
comments powered by Disqus