preloader
Deep learning

Review: MobileNet V3

Searching for MobileNetV3

Author: Andrew G. Howard, Mark Sandler, Grace Chu, Liang-Chieh Chen, Bo Chen, Mingxing Tan, Weijun Wang, Yukun Zhu, Ruoming Pang, Vijay Vasudevan, Quoc V. Le, Hartwig Adam
Date: May 06, 2019
URL: https://arxiv.org/abs/1905.02244

Introduction

  • Efficient neural network 는 low latency, higher accuracy 와 더불어 전력소모가 줄어들게 하기 때문에 배터리 수명 보존에도 기여.
  • 이에 힘입어 다음 세대의 더 효율적인 네트워크 제안.
  • 본 논문에서 중요한 것은 네 가지.
    • Complementary search techniques
    • New efficient versions of non-linearities practical
    • New efficient network design
    • New efficient segmentation decoder

Efficient Mobile Building Blocks

Network Search

  • RNN-based controller, factorized hierarchical search space
  1. platform-aware NAS로 찾은 Seed network architecture 로 시작.
  2. 매 스텝마다:
    (a) 이전의 proposal 에 비해 latency가 최소 a만큼 감소된 새로운 proposal 생성.
    (b) 각 proposal은 이전 스텝의 pre-trained model을 사용하여 새로 제안된 architecture를 채우고 누락된 weight에 대해선 적절한 값으로 채움. 각 proposal 은 T step 동안 finetuning하고 대략적인 accuracy 추출.
    (c) 몇몇 metric을 이용하여 최적의 proposal 을 선택.
  3. 목표로하는 latency에 도달할 때까지 반복.

Network Improvements

  • Network의 초반, 후반부의 expansive layer 구조 수정.
  • 새로운 non-linearity fuction 제안.
    • h-swish: swish 의 변형 버전, 빠른 계산 속도, 경량화

Redesigning Expensive Layers

Nonlinearities

  1. sigmoid → h-swish

    $$hard\text{-}swish(x) = x\frac{ReLU6(x + 3)}{6}$$

    https://jjerry-k.github.io/public/img/mobilev3/Untitled_02.png

  2. h-swish 를 deeper layer에서만 사용.

Large squeeze-and-excite

Result

P.S

  • Batch size를 4096으로 테스트…. 역시 하드웨어 깡패 구글…
donaricano-btn
도움이 되셨다면 몰랑이에게 밀크티를...!
더 다양한 포스팅을 채우도록 노력할게요!
comments powered by Disqus