[DL] 딥러닝

fragrance_0·2023년 10월 25일

AI DL

DL

목록 보기

1/6

딥러닝 개념에 대한 간단한 설명과, 딥러닝의 모델구조에 대해서 설명하고자 한다.
본격적인 딥러닝 모델에 대해 뜯어보기 전에 큰 줄기를 잡아가려 정리하게 되었다!

딥러닝 개념

머신러닝의 하위 분야로서 신경망을 활용한 자동 학습 기법
머신러닝은 통계 기반의 알고리즘 모델을, 딥러닝은 신경망 구조를 가진 모델을 의미
머신러닝이라는 개념 안에 딥러닝이 포함되어 있지만, 일반적으로 머신러닝과 딥러닝의 차집합 부분을 머신러닝이라 한다.

딥러닝 모델 구조

딥러닝 모델 구조의 핵심은 신경망은 생물학적인 뇌의 동작을 수학적으로 모델링한 것
신경망은 입력층, 은닉층, 출력층으로 구성되며, 각 층은 여러 개의 뉴런으로 구성됨

입력값 -> 신경망(은닉층 ↔︎ 활성화) -> 출력값 -> 손실함수&옵티마이저 -> 정답 레이블

입력 데이터

딥러닝은 머신러닝에 비해 입력 데이터의 종류가 다양함
이미지, 텍스트, 오디오 등 다양한 종류의 데이터들이 딥러닝 모델의 입력 데이터로 활용될 수 있음
이러한 입력 데이터는 '임베딩'과정을 거쳐 활용됨
수로 이루어진 데이터를 컴퓨터가 계산하게되는 것임

임베딩: 신경망 구조가 잘 처리할 수 있도록 숫자를 벡터화하는 과정

신경망

신경망(Neural Networks)은 머신러닝과 딥러닝의 차이를 구분짓는 구조임
입력 데이터가 은닉층(Hidden Layer)을 통과해서 출력값을 냄
- 신경망의 구성에 따라 모델의 성능이 많이 좌우됨

[입력 데이터를 처리하는 방식에 따른 다양한 신경망의 구조]
-> CNN: 이미지 처리 특화
, RNN: 텍스트 처리 특화
, Attention: 기계번역에 활용되었으나, 최근 이미지 등 다양한 분야 활용

신경망에는 hidden layer가 존재하고 일반적으로 hidden layer마다 출력값을 변환해주는 활성화함수(Activation Function)가 있음
은닉층(hidden layer)에는 가중치(weight)와 편향(bias)이 있음
- 학습 중 업데이트 되는 매개변수(Parameter) 역시 이에 해당함
입력 데이터의 특성을 얼마나 중요한 값으로 볼 건지 가중치를 부여하고, 편향으로 그 정도를 조정하여 최적의 정답값을 도출함

딥러닝에서 학습이란, 가장 최적의 출력값을 낼 수 있도록 가중치와 편향을 찾아가는 과정

손실함수 & 옵티마이저

손실값(Loss): 출력값과 실제값(정답 레이블)과의 차이
손실 함수(Loss Function): 손실값을 어떻게 줄일지 정의하는 함수
- 손실값이 클수록 더 많은 가중치 보정이 필요
다중 분류 문제, 이진 분류 문제, 회귀 문제, 분포의 유사성 문제로 구분해 손실함수 사용
최적화(Optimization): 손실값의 크기만큼 가중치를 보정하여 가장 잘 예측할 수 있는 가중치 값으로 조정하는 과정
옵티마이저(Optimizer): 최적화를 위해 기울기(Gradient)를 계산하는 방식
-> 기울기 값은 역전파를 통해 다시 입력방향의 역순으로 가주이에 전달되어 기울기 값만큼 가중치가 업데이트 됨
-> 최적화하는 과정 ➡︎ 훈련(Training)

딥러닝 응용 분야

컴퓨터 비전(Computer Vision)과 이미지 인식(Image Recognition)

대표적인 딥러닝 구조 중 하나인 합성곱 신경망(Convolutional Neural Network, CNN)은 이미지 처리 작업에 적합한 구조로, 사물 인식과 얼굴 인식 등에서 매우 효과적으로 활용됩니다. 최근에는 이미지 표현(Representation) 모델을 기반으로 이미지 분류, 객체 탐지, 이미지 분할 등 하위 태스크를 처리합니다.

자연어 처리(NLP; Natural Language Processing)

기계 번역, 텍스트 생성, 감정 분석, 질의 응답 시스템 등에 딥러닝이 활용됩니다. 딥러닝 기반의 순환 신경망(Recurrent Neural Network, RNN)과 변형 모델인 장단기 메모리 LSTM(Long Short-Term Memory) 등은 문장, 문서 등의 시퀀스 데이터에 대한 처리에 특히 유용합니다. 그러나 2020년도 이후에는 Attention 매커니즘을 활용하여 언어 모델(Language Model)을 구축하고 이 모델을 활용하여 하위 태스크를 처리합니다.

음성 인식(Speech Recognition)

음성 인식 분야에서 딥러닝은 음성 인식과 음성 합성에 주로 사용됩니다. 음성 인식을 위해 딥 러닝 모델인 순환 신경망(RNN)과 합성곱 신경망(CNN)이 사용되어 왔으나 최근에는 Attention 매커니즘을 활용하는 추세입니다. 음석 인식 모델을 구축해두면 음성 명령 인식, 음성 검색, 음성 합성, 음성 텍스트 변환 등에 활용할 수 있습니다.