경량 딥러닝 기술

wns20826·2022년 1월 8일
5

경량 딥러닝

목록 보기
1/2
post-thumbnail
_일산 호수공원

 

👋👋👋

 

  저는 딥러닝 모델의 경량화 주제로 연구를 하고 있습니다. 오늘은 경량 딥러닝 기술이 무엇인지, 최근 어떤 기술들이 연구 중에 있는지 전체적으로 살펴보고자 합니다. 그 다음엔 오늘 알아볼 세부 기술들에 대해 조금 더 깊이 알아보고 정리해보려 합니다.

  

1. 경량 딥러닝, Why? 🤷‍♀️

- 온-디바이스 AI 기술이란?

  기존의 인공지능 기술은 기기에서 서버와 데이터를 주고받는 클라우드 AI이다. 온 디바이스 AI 기술은 기존 기술 대비 빠른 서비스, 강화된 보안, 낮은 에너지 소비 등의 장점을 갖춘 인공지능 기술을 말한다. 이 기술을 활용한다면, 중앙 클라우드 서버에 연결할 수 없는 환경에 있거나 보안상의 이유로 인터넷과 단절된 상태의 엣지 디바이스에서도 AI 기능을 스스로 수행할 수 있다.

 

- 경량 딥러닝 연구가 활발히 진행되고 있는 이유

  최근 이미지, 소리 등의 형태로 엄청난 양의 데이터를 처리하고 이해하기 위해 연산 능력이 강력한 GPU 기반으로 딥러닝이 활용되고 있다. 그러나 이러한 데이터 연산은 경량 디바이스나 모바일 디바이스, 산업용 게이트웨이, IoT 센서와 같은 디바이스에서 직접 학습과 추론이 어렵다.

  이러한 추세로 기존의 학습된 모델의 정확도를 유지하면서 보다 크기가 작고, 연산을 간소화하는 연구인 경량 딥러닝 연구가 활발히 진행되고 있다.

  H/W 발전의 제한도 경량 딥러닝 연구의 필요성을 야기한다. GPU는 그간 많은 발전을 이루어 왔음에도 불구하고 딥러닝 모델의 크기와 연산량의 증가 추이와 비교하면 상대적으로 GPU의 처리 연산량의 개선이 더디다. 발전된 GPU 하에서도 부담이 적은 모델을 만드는 것이 필요하다는 전망이다.

 

- 경량 딥러닝을 통해 얻을 수 있는 이점들

  개발하는 모델의 크기가 축소되어 학습 및 추론 과정에서 필요한 시간과 비용이 감소된다.

클라우드 기반의 학습된 모델을 경량 장치에 내장할 수 있고 그로 인해 다음과 같은 이점을 갖게 된다.

  • 네트워크 트래픽 감소
    온 디바이스 AI 기술 사용시, 클라우드 AI 사용을 위한 데이터 교환을 하지 않아도 되므로 트래픽이 감소된다. 이는 기기에 사용하는 모뎀 등의 통신 부품의 성능 요구치를 낮춰 경제적으로 이점을 볼 수도 있을 것이다.
  • 지연시간 감소
    통신을 이용하여 클라우드 AI 기술을 사용할 때 발생하는 지연을 감소할 수 있다. 중앙 서버와 멀리 위치한 엣지 디바이스의 경우 통신을 진행할 때 데이터가 직접 왕복하여 이동하는데 Propagation Delay가 긴 시간을 차지하는데 이를 감소할 수 있다.
  • 민감한 개인정보 보호
    통신을 이용한 데이터 송수신시 해킹 등 보안 문제가 존재한다. 기기 내에서 데이터를 처리하는 경우, 개인정보를 보호할 수 있다.

  

2. 경량 딥러닝, What? 🤷‍♂️

경량 딥러닝 기술은 크게 두 가지로 나눌 수 있다.

 

✔️ 경량 딥러닝 알고리즘 연구

  모델 설계 단계부터 딥러닝의 알고리즘 자체를 적은 연산을 요하고 효율적인 구조로 설계한다.

접근방법연구 방향
모델 구조 변경잔여 블록, 병목 구조, 밀집 블록 등 다양한 신규 계층 구조를 이용하여 파아미터 축소 및 모델 성능을 개선하는 연구 (ResNet, DenseNet, SqueezeNet)
합성곱 필터 변경합성곱 신경망의 가장 큰 계산량을 요구하는 합성곱 필터의 연산을 효율적으로 줄이는 연구 (MobileNet, ShuffleNet)
자동 모델 탐색특정 요소(지연시간, 에너지 소모 등)가 주어진 경우, 강화 학습을 통해 최적 모델을 자동 탐색하는 연구 (NetAdapt, MNasNet)

✔️ 알고리즘 경량화 기술

  기존의 만들어진 모델의 파라미터들을 줄이는 모델 압축 등의 기법을 적용한다.

접근방법연구 방향
모델 압축 (Model Compression)가중치 가지치기(Weight Pruning), 양자화(Quantization)/이진화(Binarization), 가중치 공유 기법을 통해 파라미터의 불필요한 표현력을 줄이는 연구 (Deep Compression, XNOR-Net)
지식 증류 (Knowledge Distliation)학습된 기본 모델을 통해 새로운 모델의 생성 시 파라미터 값을 활용하여 학습시간을 줄이는 연구 (Knowlegde Distilation, Transfer Learning)
하드웨어 가속화모바일 기기를 중심으로 뉴럴 프로세싱 유닛(NPU)을 통해 추론 속도를 향상시키는 연구
모델 압축 자동 탐색알고리즘 경량화 연구 중 일반적인 모델 압축 기법을 적용한 강화 학습 기반의 최적 모델 자동 탐색 연구 (PocketFlow, AMC)

 

다음 포스트 부터는 방금 언급한 경량 딥러닝 기술들이 자세히 어떤 것들이 있는지 조사하고 정리해보도록 하겠습니다.

  

- 생각해보기 🤔

  다양한 방법들이 제안된 만큼, 각 기술들의 장점과 단점도 다양하게 살펴볼 수 있습니다. 이러한 특징들을 고려하여 동시에 여러 기술을 적용해 모델을 만들 수도 있을 것입니다.

  딥러닝은 다양한 태스크에 활용됩니다. 대표적으로 분류, 인식, 자연어 처리 등이 있습니다. 특정 태스크마다 특화된 모델이 많이 알려져 있듯, 경량화 기술 중에서도 특정 태스크와 효율이 잘 맞아 기존 대비 정확도를 적게 감소시키는 기술이 있을 것이라 생각합니다.

  보안 기술 강화, 송수신 용량의 증대, 그리고 지연시간의 감소 등 통신 기술이 발전하면서 서버를 활용한 클라우드 AI 기술의 단점이 감소하고 있긴 합니다. 그럼에도 미래에 GPU 기술의 성장 저하가 우려되기에, 경량 딥러닝 기술의 필요성은 존재하다는 점을 배웠습니다. 뿐만 아니라 통신이 불가능한 상황에서 보편적으로 AI 기술을 이용할 수 있도록 경량화 기술의 필요성을 넓고 정확하게 다시 느꼈습니다.

 

참고 문헌 📔

  • 이용주, 문용혁, 박준용, & 민옥기. (2019). 경량 딥러닝 기술 동향. [ETRI] 전자통신동향분석, 34(2), 0-0.
  • 이경하, & 김은희. (2020). 딥러닝 모델 경량화 기술 분석.
  • Moonkoo Kim, Seungmin Lee, Jonghyun Park, & Jeesun Oh. (2020). AI 기술 트렌드 및 경쟁력 강화 방향. [KPC4IR] Issue Paper, No. 18.

#AI #AutoML #CNN #Pytorch #distilation 
#GPU #NPU #pruning #quantization #velog 
#가속 #가지치기 #강화학습 #경량화 #공부 #논문 
#디바이스 #딥러닝 #메모리 #모바일 #미래 #보안 
#분류 #블로그 #속도 #압축 #양자화 #에너지 
#엣지 #연구 #연산량 #온_디바이스 #이진화 
#인공지능 #인식 #증류 #지도학습 #컴퓨팅 #코딩 
#클라우드 #트렌드 #필터 #학습 #합성곱 #효율
profile
딥러닝을 학습하는 중

6개의 댓글

comment-user-thumbnail
2022년 1월 10일

초보도 알 수 있게 잘 설명해주셨네요! 감사합니다 :)

1개의 답글
comment-user-thumbnail
2022년 1월 10일

평소 관심이 많은 분야였는데 잘 보고 갑니다ㅎㅎ

1개의 답글
comment-user-thumbnail
2022년 1월 10일

문과도 이해할 수 있는 찰떡 설명 ^^ 정말 인상깊네요. 좋은 글 감사합니다.

1개의 답글