Video

• Optical Flow
  • pixel correspondences problem
  • using local window
  • Lucas-Kanade flow
  • FlowNet
    • CNN은 classification 분야에서 성공적이였으나, optical flow estimation에서는 적용된 사례가 없었음
    • End-to-end optical flow estimation CNN 구조와 학습방법 제안
    • Two Architectures (FlowNet-C, FlowNet-S)
  • FlowNet2
    • FlowNet을 faster and more accurate하게 하자
  • PWC-Net
    • Feature pyramid 와 warping, Correlation volme 을 활용한 optical flow estimation
    • Compare but effective CNN for optical flow
    • Pyramidal features의 사용
  • RAFT
    • All-pairs correlation volume 계산과, recurrent optical flow update
    • Multi-scale 3D correla)on volumes 을 만든다
    • Correlation volum을 전체 pixel에 대해 다 만듬

Video Recognition with Sparse Points

• Video Recognition with Space-Time Interest Points
  • Space-time interest point (STIP)
    • STIP detector
    • Corner point in a spatio-temporal domain
    • Bag of visual words

Video Recognition with Dense Trajectory Descriptors

• Dense Trajectory
  • Sparse -> Dense
  • Point -> Trajectory
  • Trajectory extraction

Video Recognition with 3D CNN

• 3D Convolutional Neural Network
• C3D
  • A modern 3D CNN architecture
  • VGGNet style network
• Visual Information Fusion Across Time
  • A video = A bag of short fixed-sized clips
• Time Information Fusion
  • early fusion
  • late fusion
  • slow fusion
• Explicit Motion Estimation and Utilization
  • Two-Stream Convolutional Network
    • spatial stream
      • ImageNet pretrained network, whose architecture is similar to ZFNet
    • temporal stream
      • Multi-task learning

Video Understanding: Modern Approaches

• Video Representation Learning

• SlowFast Networks

  • Low frame rate branch와 high frame rate branch를 나누어서 action recognition
  • Time axis 에 대한 탐구
  • Slow pathway
  • Fast pathway

• MoViNet

  • Video를 좀 더 efficient하게 처리하기 위한 구조 탐구.
  • Video recognition에서의 efficientNet (ICML 2019) 와 같은 논문

• MaskFeat

  • ransformer 와 self-supervised representation learning 을 통한 video recognition 의 최신 기법
  • Action recognition 을 위한 representation learning을 할 때 꼭 temporal sequence 가 필요할까?
  • Pretext task로 masked input으로 HOG를 prediction 해보자
  • HOG 는 이미지의 pixel intensity 등의 정보를 없애서 motion 그 자체의 학습에 좀 더 집중하게 도움을 줌

• Self-supervised learning 기반의 representation learning 방식이 video recognition 쪽에서 현재 가장 잘 동작한다. (MaskFeat)

• Transformer architecture를 활용한 구조.

• Video 를 이해하는 데에 꼭 sequential 한 information 이 필요하지 않을 수 있다

• Single key frame 으로도 일부의 action 정보 학습/파악 가능

Visual Object Tracking

• MDNet
  • 당시 CNN이 높은 성능을 내고 있으나, classification 과 tracking은 다른 문제여서 다르게 적용되어야 한다
  • Occlusion, deforma)on, mo)on blur 와 같은 문제를 처리해야함
  • 같은 targe이여도 동영상/배경에 따라 다르게 인식될 수 있음.
  • 여러 동영상으로부터 target의 domain-independent shared representation 학습
  • Domain-specific branch를 두어 서로 다른 도메인 학습
  • VOT를 위한 CNN 구조 제안; Domain-independent shared layers / Domain- specific branches.
  • Offline에서 pre-training되고, online으로 fine-tuning된다

참조

---