[Algorithm 이론] 알고리즘이란? | (ft. 표현 방법, 성능 분석, Time Complexity, Big-O)
알고리즘에 대한 개념 정리, 알고리즘 성능 평가 방법 (time complexity, Big-O, etc.)
이 블로그의 인기 게시물
PyTorch / PyTorch Lightning 모듈 사용법
( image source ) PyTorch/PyTorch Lightning 모듈 설명
[DL for CV] Down-Sampling (Encoding)
Down-sampling (Encoding) [DL for CV] Down-Sampling (Encoding) ( source ) Downsampling 은 신호처리(signal processing)에서 사용되는 용어로 sample의 개수를 줄이는 처리 과정을 말한다 . 딥러닝에서는 인코딩(Encoding)과정에서 feature의 개수를 줄이는 처리과정 이라 볼 수 있다. feature 개수를 줄이면 이를 다룰 파라미터도 줄어들기 때문에 차원이 축소되는 효과 를 얻을 수 있다. 이는 곳 overfitting을 방지 하는 효과로 이어진다. 딥러닝 모델 아키텍처에서 사용되는 몇 가지 대표적인 Downsampling 방식을 정리한다. Pooling - 대표값 구하기 커널 영역(kernel scope)에 포함된 data 중에서 대표 값 하나를 샘플링하는 처리 방식 이다. 대표 값을 얻는 방식은 따르는 규칙에 따라 다르다; Max Pooling, Average Pooling, Global Average Pooling, and etc. 보통 Average pooling 보다는 Max pooling을 더 많이 사용한다. Average pooling의 경우 산술평균의 특성 을 가지기 때문에 필연적으로 발생하는 문제 가 있다 . 즉, 신호의 분산이 클 경우 대표 값과 실제 두드러지는 값과의 차이가 커진다 . 반면, Max pooling 연산이 좀더 간단하고 두드러지는 신호를 잘 전달할 수 있기 때문에 더 자주 사용된다. 때문에 논문과 교재에서 별도의 언급이 없이 Pooling layer를 언급한다면 Max pooling 이라 생각하면 된다. (장점) Pooling은 학습 가능한 파라미터 (learnable parameters)가 없기 때문에 kernel size를 키워도 차원의 저주를 피할 수 있는 방법중 하나다. t...
댓글
댓글 쓰기