Neural architecture search (NAS)

🔴 유튜브 영상 시청
: 구글 클라우드에서 강연한 NAS에 대한 영상을 시청

🟠 영상 목차

• 아래의 순서대로 발표가 진행됨
  (1) NAS란 무엇인지
  (2) NAS buliding blocks
  (3) NAS가 어떻게 작동되는지
  (4) NAS의 강점, 성능
  (5) NAS의 사용 사례
  (6) 요약

🟡 NAS가 나온 계기

• 2007년 구글 브레인 팀은 기계학습 시, 확장 및 설계 측면에서 더 나은 접근 방식이 필요하다고 생각함
• 즉, 더 나은 신경망을 구축할 수 있도록 도울 수 있는 방법이 필요했음
• 신경망 구축 은 다양한 사용 사례에 적용될 수 있기 때문임
• 신경망을 잘 다루는 데이터 과학자, 엔지니어링 등 많은 전문가가 존재함 BUT, 신경망을 튜닝하기 위한 많은 노력, 시간이 필요함
  😀 따라서, 인공 신경망 설계를 자동화 하는NAS 기술이 개발됨

🟡 NAS란? (1)

• NAS는 AutoML의 하위 필드임
  : 하이퍼파라미터 튜닝을 살펴보면, 하이퍼파라미터 최적화는 NAS의 하위집합임
  : NAS의 주요 아이디어는 (1) 최적의 아키텍처를 찾고, (2) 최상의 하이퍼파라미터를 찾는 것
• 2017년, 구글 브레인 팀 논문발표) NAS를 실제로 알고리즘으로 개발한 두 데이터 세트를 사용함
  : (1) 손으로 코딩한 아키텍처를 능가하는 네트워크 아키텍처 개발
  ➡ 유사한 아키텍처를 사용한 이전보다 0.5배 더 빠름
  : (2) 이미지 분류 벤치마크
  ➡ 아키텍처 중 일부가 손으로 디자인한 것보다 훨씬 더 나은 성능을 보임 (메트릭=정확도)

🟡 NAS란? (2)

• 학습 개발 흐름에서 NAS의 역할은?
  : 전체흐름 > 데이터 생성-데이터 레이블 지정-모델 구축 및 훈련💭 실제 훈련 부분에 NAS가 위치함

🟡 NAS building blocks
(1) 검색 공간
: 실제로 사용 사례로, 설계되고 최적화될 신경망 유형을 정의함
(2) 검색 전략/모델 생성기
: 제안된 네트워크 아키텍처의 수를 샘플링 하는 것
: 정확도, 대기시간, 메모리, 비용 메트릭도 선택할 수 있음
: 이러한 아키텍처 후보의 성능을 최적화 하는 것
(3) 평가 검증
: 데이터에 대해 NAS 모델을 평가
: 이를 설계하는데 사용할 수 있는 경량 파이썬 라이브러리 PyGlove가 있음

🟡 NAS working

• 2017년 논문, (왼쪽) 컨트롤러가 있는 순환 신경망을 사용, (오른쪽) 자식 네트워크
• 컨트롤러
  : 사용자, 지정검색 or 미리 정의된 검색 공간 탐색
  : 검색 공간을 기반으로 아키텍처를 정의함 --> 정의된 아키텍처 = 자식 네트워크
• 자식 네트워크
  : 정확성을 위해 훈련됨, 강화학습을 사용하여 정확도 결과를 컨트롤러에 다시 제공함
• 따라서, 자식 네트워크를 설계하기 위해 사용한 매개변수를 업데이트 하고, 프로세스를 반복하기 위해 사용함 --> 점점 더 좋아질때까지 검색공간에서 네트워크를 구축함
• 강화 알고리즘에 대한 보상 메트릭을 스스로 선택함 (대기시간, 메모리 등의 조합)
  : 다른 모든 산업에서 다른 초점을 가지고 있기 때문에 정말 중요한 부분
  ◾ NAS는 문제를 해결하기 위해 신경망을 구축하는 것이 아닌, 신경망을 구축할 수 있는 또 다른 신경망이 있기 때문에 강력함
• 검색 공간에서는 conv layer, deconv layer, multi-head attention layer등의 기능이 있음 --> 이는 알고리즘이 선택할 수 있는 검색공간과 같음
  ◾ NAS는 자동화로 신경망을 탐색할 수 있으므로, 많은 전문가들보다 훌륭할 수도 있음?
• NAS 수행작업은 컨테이너를 가동하고, 하위 네트워크를 배치하고 학습시키게 하는 것임
  : 완료후 다른 자식 네트워크에 컨테이너를 사용하거나, 제거할 수 있음
  : 교육시간이 오래걸리고, 반복으로 인해 많은 리소스를 사용하지만, 최종모델은 조금 더 개선되어야 함 --> hand code 보다 더 개선되어야 함
  ◾ NAS는 사람이 직접 만든 모델보다 성능이 우수하거나 적어도 동등함. 또한, 전문지식을 갖춘 ML 엔지니어니어들이 설계할 필요없음
  ◾ NAS는 부동 소수점 연산의 수를 줄임으로써, 더 에너지 효율적이고 정확함
  : 기존의 컨볼루션 네트워크와는 다른 순서로 구조화된 다양한 레이어를 볼 수 있고, 많은 스킵 연결이 있기 때문임
  : 이는 선택할 수 있는 폭이 많다는 것을 의미하는데, 이를 NAS가 대신해줌
  ❓ "모든 검색 공간을 제거하고, 다른 신경망이 NAS 알고리즘이 선택할 수 있는 검색공간을 설계할 수 있을까?"

🟡 NAS 활용

• 자율주행자동차
  : 충돌을 피하고 싶음 --> 정확성/대기시간은 매우 중요 --> 자동차인지, 사람인지, 피할대상 등
  : waymo를 통해 다른 레이어 유형에서 '건너뛰기 연결'기능을 통해 (NAS 네트워크) 대기시간을 20~30%, 오류율 8~10% 감소 --> 자동차 산업의 좋은 사례

🎯 정리

• NAS를 공부하면서 대기업에서는 어떤 연구를 하고있는지 궁금해서 유튜브를 찾아보던 중 [구글 브레인, 구글 클라우드]의 영상을 보게 되었다. NAS는 AutoML의 하위분야로, 하이퍼파라미터 최적화의 중요한 역할을 할수 있는 연구분야라고 생각된다. NAS는 사람이 코딩한 것과 동등하거나 더 뛰어날 수 있기 때문에 많은 연구자들이 NAS를 활용하여 이미지분석, 텍스트 분석 그리고 실생활 적용하는 연구들까지 이어지고 있는 것 같다. 제일 인상깊었던 부분은 Search space 즉, 모든 검색 공간을 제거하는 방법이 없을까?라는 질문을 던진 발표자의 말이 기억에 남는다. 검색 공간을 제거한다면, 더 빠른 연산이 가능할 수 있기 때문에 던진 말인 것 같다. 최근에는 NAS를 더 효율적으로, 비용을 줄이는 연구에 초점을 둔다고 하는데, 이 발표자도 같은 초점을 두고 말한 것 같다. 앞으로도, NAS의 연구가 활발할 것 같고, 다양한 분야에 적용하기 위해 '초점' 연구가 중점적으로 이루어질 것 같다.