MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

Author: Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam
Date: Apr 17, 2017
URL: https://arxiv.org/abs/1704.04861

Abstract

- 모바일, 임베디드에 적용할 수 있는 네트워크.

1. Introduction

• CNN 유명세 짱짱맨
• 좋은 성능(정확도)를 위해 연구가 계속 진행되었지만 속도와 메모리 측면에서 비효율적.
• 경량화, 효율화 필요!!

2. Prior Work

• 최근 경량화, 효율적인 네트워크 개발에 초점.
• Depthwse separable convolution,

3. MobileNet Architecture

• 핵심적인 레이어 설명.

3.1 Depthwise Separable Convolution

• Depthwise Convolution 수행 후 Pointwise Convolution 수행.

• MobileNet 에서는 3 x 3 의 Depthwise saparable convolution 사용.
• 연산량이 약 8~9 배로 크게 감소.

3.2 Network Structure and Training

• 총 28개의 레이어

• MobileNet의 Convolution Block 구조

• MobileNet의 대부분 파라미터, 연산 시간은 1x1 Conv

• RMSprop, asynchronous gradient descent 사용.
• Tensorflow 로 구현.

3.3 Width Multiplier: Thinner Models

• MobileNet의 기본 구조는 작고 빠르지만 더 작고 빠른 모델을 필요로 함.
• Width multiplier 라는 파라미터 제안.

3.4 Resolution Multiplier: Reduced Representation

4. Experiments

• 효율적이다 라는 내용이 전부..

4.1 Model Choices

4.2 Model Shrinking Hyperparemeters

4.3 Fine Grained Recognition

4.4 Large Scale Geolocalization

4.5 Face Attributed

4.6 Object Detection

4.7 Face Embeddings

5. Conclusion

• 연산량이 적고 파라미터 수도 적음!
• 다양한 task 에 사용가능!