트랜스포머로 시작하는 자연어처리

jungjun hur·2021년 12월 8일
0

Game Changer

오랜 기간 딥러닝을 이용한 자연어처리 NLP(Natural Language Processing)는 RNN과 CNN으로 이뤄졌습니다. 하지만 2017년 Attention is all you need 논문의 발표 이후 Transformer 기반 모델이 압도적인 성능을 보이면서 RNN과 CNN은 자연어처리에서 입지를 잃었습니다.

2020년 트랜스포머를 바탕으로한 GPT-3가 세상을 떠들썩하게 했고 Transformer 논문이 발표되고 4년이 흐른 2021년에도 여전히 구글은 Transformer 연구에 힘쓰고 있습니다.(관련 기사) 당분간은 이런 흐름이 이어질 것으로 보입니다. 그렇기 때문에 2021년 또는 이후 자연어처리를 시작하려는 분들은 트랜스포머로 자연어처리를 시작하는 것도 좋은 선택이라고 생각합니다.

Bottom-up & Top-down

장기적으로 보면 트랜스포머 이전의 자연어처리, RNN, CNN 등에 대한 공부는 물론 필요합니다. 이론적인 부분, 딥러닝의 기초에 대한 부분 부터 차근차근 공부하는걸 Bottom-up 식 접근이라고 했을 때 현재 활발히 활용되고 있는 트랜스포머에서 시작하는 접근을 Top-down 방식으로 볼 수 있습니다.

Bottom-up 방식은 기본기가 튼튼하다는 장점이 있지만 시간이 오래 걸리고 당장에 가시적인 결과물을 보기 힘들어 학습의 동기가 쉽게 꺾일 수 있다는 단점이 있습니다. Top-down 방법은 당장 필요한 부분을 공부할 수 있지만 기본기가 부족해질 수 있다는 단점이 있습니다.

공부에서 가장 바람직한 방법은 Top-down 을 통해서 목표 지점을 확인하고 Bottom-up 을 통해서 기본기를 익혀가는 것이라고 생각합니다. 그런 점에서 Transformer로 자연어처리를 시작하는 것은 목표 지점을 명확히 설정하는 접근이 될 것입니다.

앞으로..

이후에는 Transformer를 이해하기 위해 필요한 개념과 지식을 설명하면서 Transformer를 활용하는 방법도 중간중간 함께 소개하도록 하겠습니다.

profile
developer

0개의 댓글