preloader
Deep learning

Review: ResNeXt

Aggregated Residual Transformations for Deep Neural Networks

Author: Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, Kaiming He
Date: Nov 16, 2016
URL: https://arxiv.org/abs/1611.05431

Introduction

  • Network desine 에 고려해야할 hyper-parameter가 너무 많음. (Width, filter size, Height, ….)
  • VGG, ResNet은 비슷한 구조의 레이어를 계속 쌓는 방법을 사용.
  • Inception 은 성능은 이전보다 뛰어나지만 이전 방법들과 다르게 복잡한 구조를 쌓는 방법 사용.
  • 본 논문에서는 VGG/ResNet과 같이 비슷한 레이어를 반복하지만 AlexNet 에서 나온 처음 제안된 Group Convolution 을 적용하여 split-transform-merge stretegy 를 도입.
  • 일반적인 Reidual Block과 ResNeXt의 Residual Block 비교.
  • Cardinality = Number of Groups,

Method

Template

  • 전체적인 구조는 기존의 VGG/ResNet과 같이 일정 Block 을 반복하여 쌓는 구조.
  • 반복되는 블럭은 동일한 hyper parameter 사용.

Revisiting Simple Neurons

  • 가장 기본적인 뉴런의 구조

$$\sum_{i=1}^Dw_ix_i$$

  • 기본 뉴런 또한 split-transform-merge (Splitting, Transforming, Aggregating)의 구조를 가짐.
  • Vector X 가 $x_i$로 Splitting, $x_iw_i$로 Transforming, $\sum_{i=1}^D$ 로 Aggregating

Aggregated Transformations

  • Networt-in-Network와 다르게 Network-in-Neuron이라는 컨셉으로 차원 확장

$$\mathcal{F}(x) = \sum_{i=1}^C\mathcal{T}_i(\mathrm{x})$$

  • 다른 방식이지만 동일하다는 것을 설명

Model Capacity

  • Complexity, Number of parameter 를 유지하면서 실험.
  • 다른 Hyper parameter는 수정하고 싶지 않기 때문에 Residual Block의 Cardinality C와 bottleneck d를 수정
  • Cardinality와 bottleneck d의 관계

Result

On ImageNet-1K

  • Cardinality를 1~32 씩 증가시키되 complexity 는 유지하도록 설정하고 실험.
  • Increasing Cardinality 와 Increasing depth or width 비교
  • Cardinality 의 성능이 더 좋음.
  • Residual connections 여부에 따른 비교
  • State-of-the-art model 과 비교

On ImageNet-5K

  • 5000개 클래스에서도 잘 되더라.

On CIFAR

On COCO object detection

  • Faster RCNN에 적용.

P.S

  • AlexNet의 선견지명.
  • 하긴 안좋으면 논문으로 쓸리가 없지.
donaricano-btn
도움이 되셨다면 몰랑이에게 밀크티를...!
더 다양한 포스팅을 채우도록 노력할게요!
comments powered by Disqus