폭간의 기술블로그 HomeArchivesTagsCategories
Deep Learning-2
|Machine Learning|

Deep Learning 2

Beyond ResNet

DenseNet : Add Dense Connection

  • ResNet의 단점을 보완하기 위해 제안된 방법
  • ResNet은 입력과 출력을 더하는 방식으로 연결을 만들었지만, DenseNet은 입력과 출력을 Concatenation하는 방식으로 연결을 만듬

SENet : Squeeze and Excitation module

  • 각 채널의 중요도를 학습하여 채널의 중요도에 따라 가중치를 부여하는 방법
  • baseline에 스케일업을 한다
  • compound scaling을 통해 네트워크의 깊이, 너비, 입력 해상도를 조정하여 성능을 높임

Efficient CNN

  • smail model을 만들어서 성능을 높이는 방법
  • best cnn 은 가장 정확한 cnn이 아니다
  • mobile net
    • depthwise separable convolution
  • shuffle net
    • group convolution
    • channel shuffle

Vision Transformer

  • Attention을 이용하여 CNN을 대체하는 방법
  • soft-and-hard attention
    • soft attention : 0~1을 이용하여 weighted sum
    • hard attention : 0~1을 이용하여 하나의 feature를 선택
  • self-attention
    • key, query, value를 이용하여 attention을 계산
  • multi-head attention
    • 여러개의 attention을 이용하여 attention을 계산
  • cross-attention
    • 다른 feature map을 이용하여 attention을 계산
  • stand-alone self attention
    • 지역적인 정보를 이용하여 attention을 계산

Transformer

  • encoder-decoder 구조
  • self-attention을 이용하여 input을 처리
  • positional encoding을 이용하여 input의 위치 정보를 추가

Vision Transformer(ViT)

  • image를 patch로 나누어서 input으로 사용
  • masked self-attention을 이용하여 input을 처리
  • base model
  • large model
  • huge model

Swin Transformer

  • shift window를 이용하여 input을 처리
  • local attention을 이용하여 input을 처리
  • W-MSA
    • window based multi-head self-attention(local attention)

참조

Deep Learning