# DeepLearing
딥러닝 경량화(1)
경량화란 >글의 정보가 정확하지 않을 수 있으니 잘못된 설명이나 틀린 것이 있다면 댓글로 달아주시면 감사하겠습니다. 성능을 떨어뜨리지 않고 모델의 parameter와 연산량을 줄이는 방법을 경량화라고 부르며 경량화의 대표적인 기법으로 Pruning과 Quantization이 있습니다. Pruning >Pruning에는 여러가지 방법이 있습니다. 특정 layer만 적용을 한다거나 global layer에 대해서 적용을 할 수도 있습니다. Pruning이란 말 그대로 불필요한 것들을 잘라주는 작업입니다. 예를 들어 나무의 성장을 위해서 잔가지들을 주기적으로 정리해주는 것과 같다고 생각하시면 됩니다. 딥러닝 모델은 학습을 위한 많은 parameter를 가지고 있고 학습이
DeepLearning 1
Artificial Intelligence(인공지능) : 프로그램을 이용해서 인간의 행동을 모방하는 기술 규칙기반 전문가 시스템 Machine Learning(머신러닝) : 데이터를 기반으로 컴퓨터 스스로 규칙을 찾아 학습하는 기술 선형회귀, 군집, 결정트리 Deep Learning(딥러닝) : 인간의 신경망(뇌구조)을 모방하여 기계가 병렬적 다층 구조를 통해 학습하는 기술 합성곱 신경망(CNN), GAN, 심층 강화학습, 순환 신경망(RNN) 기계는 판단하는 기준이 명확하지만 사람은 대상을 판단하는 경계가 느슨(추상적) 뉴런 : 1개의 Linear Model(선형 모델) 신경망 : 여러 개의 선형 모델을 종합적으로 판단 자연어 처리, 음성합성, 이미지 인식 1. 딥러닝의 역사 
ShuffleNet 논문리뷰
안녕하세요. 이번 논문 리뷰는 ShffleNet(ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices)입니다.* ShuffleNet은 전에 올려드렸던 MobileNet과 방향성이 같은데요*. 즉 파라미터수를 쥐어짜면서, 성능을 높이고자 했습니다. 그러면 어떻게 성능을 올렸을까? 왜 Shffle이라는 이름이 들어갈까요? 그 이유는 밑에서 한번 살펴보도록 하겠습니다. Introduction 해당 논문은 pointwise group convolution과 channel shuffle을 활용하여 연산량을 줄이고 높은 성능을 보였습니다. Xception, ResNeXt의 경우 Dense한 1x1 conv를 사용했고 전에 포스팅한 MobileNet에서 보았듯, 1x1 conv를 활용하여 파라미터수를 줄일 수 있었지만 결과적으로 *
mediapipe 공부 내용
googlo AI Blog Blazepose 설명 BlazePose: On-device Real-time Body Pose tracking 논문 3D 를 어떻게 추출하는 지 명시적으로 GHUM이라고 설명 tf blog
[논문리뷰]Masked Autoencoders Are Scalable Vision Learners
Title : Masked Autoencoders Are Scalable Vision Learners Date : 19 Dec 2021 Keywords : Autoencoder, Self-Supervised, Vision Transformer, Asymmetric architecture Abstract 본 논문은 두가지 간단한 디자인을 통해서 ImageNet-1K 데이터만을 이용한 학습에서 높은 정확도(87.8%)를 달성했습니다. 첫번째는 비대칭 Encdoer-Decoder구조이며 두번째는 높은 비율(75%)로 input 이미지를 마스킹하는 것입니다. 비대칭적 구조로 Decoder가 Encoder에 비해서 상대적으로 작은 scale이며, input의 대부분을 마스킹 했기 때문에 적은 메모리 사용량으로 학습을 가속할 수 있으며, scale을 변경하기 쉬워서 높은 capacity의 모델을 학습할 수 있습니다. 자세한 내용은 방법론에서 다루겠습니다. ![](