![]()
1. Problems with deeper layers 1.1 Going deeper with convolutions 네트워크가 깊어질수록 더 큰 receptive fields를 가지고 더 많은 capacity 와 Non-linearity를 가지게 된다. 때문에 성능이 증가하게 되는 결과가 나온다. 하지만 항상 그럴까? 1.2 Hard to optimize 더 깊게 쌓을 수록 Gradient vanishing, exploding 문제에 직면하게 된다. 계산복잡도가 매우 증가하게 된다. Overfitting problem이 아닌 Degradation problem이 발생하게 된다. 2. CNN architectures for image classification 2.1 GoogLeNet Inception ..
![]()
출처가 명시되어 있지 않은 모든 이미지의 지식재산권은 재단법인 네이버 커넥트에 귀속됩니다. Overview of multi-modal learning Modalities in multi-modal learning 다양한 특성을 갖는 데이터를 사용하는 학습법을 의미한다. ex) Vision + Audio , Vision + Text 등 Challenge(1) - Different representations between modalities 데이터가 다양하므로 데이터의 표현 방법이 모두 다르다. Challenge(2) - Unbalace between heterogeneous feature spaces 들어오는 정보가 언밸런스 하고, 특징 역시도 언밸런스 하다. 1 : N 의 매칭 관계이다. Challen..
![]()
출처가 명시되어 있지 않은 모든 이미지의 지식재산권은 재단법인 네이버 커넥트에 귀속됩니다. Conditional generative model Conditional generative model 어떻게 보면 언어번역 모델처럼 생각해도 된다. 특정 조건이 주어졌을때 해당하는 결과가 나오는 모델이다. 기본적인 Generative model은 영상이나 샘플을 생성해낼수는 있지만 조작할수는 없었다. - random sample에서부터 모델링을 한다. 반면에 Conditional generative model 은 유저의 의도가 반영되는 모델이다. Example of conditional generative model - audio super resolution 저 퀄리티의 오디오를 고 퀄리티의 오디오로 올려주는것..
![]()
출처가 명시되어 있지 않은 모든 이미지의 지식재산권은 재단법인 네이버 커넥트에 귀속됩니다. 이전에 알아본 Semantic segmentation 보다 더욱 진보된 Instance segmentation 과 Panoptic segmentation에 대해서 알아보도록 하자 Instance segmentation what is instance segmentation? segmentation과 instance segmentation의 차이는 같은 물체 class라도 객체(instance)가 다르면 구분이 가능하다는 점이다. 때문에 object detection을 기반으로 하고있는 모델들이 많다. Instance segmenters Mask R-CNN 기존에 배웠던 Fast-RCNN 과 거의 동일한 구조를 가지고..
![]()
출처가 명시되어 있지 않은 모든 이미지의 지식재산권은 재단법인 네이버 커넥트에 귀속됩니다. Exercise. Autograd Saliency test again Saliency map을 구하기 위해 필요한 기본적인 디테일에 대해서 살펴볼 예정이다. Saliency map 을 구하기 위해서는 Class score에서부터 gradient를 구해서 Input domain에 gradient를 구한다. 이렇게 Bacpropagation 된 gradient를 accumulation 한다던지 아니면 gradient 자체를 visulization을 해서 얻을 수 있다. 그럼 이제 gradient를 구하는 법을 알아야 한다. = Autograd를 활용해서 구할 수 있다. Auto grad Automatic gradien..
