2010년대에 초등, 중등, 고등학교를 다닐 때는 3차 산업 혁명까지만 배웠는데, 벌써 4차 산업 혁명이 거론되고 있다. 그 중심에는 AI를 기반으로 한 수많은 IT 기술들이 있고, 수많은 산업들이 IT 기술을 업무에 도입하면서부터 IT의 대호황이 시작됐다. (물론, 지금은 전반적인 경기 침체라 IT도 힘들다...)
그 과정에서 여전히 현대의 AI는 한계가 있다며 이 한계를 타파하겠다는 포부를 가진 연구 분야가 있는데, 그 분야가 Brain Science이다. IT하는 사람들이나, Biology하는 사람들이나 이 분야는 생소한 듯 하면서도 묘하게 납득되는 부분이 있을 것이다. 애초에 Neural Network라는 말 자체가 Brain의 neural network에서 idea를 착안했음을 의미한다는 것은 익숙하기 때문이다.
그럼 현대의 AI는 brain based라 할 수 있나?
그건 아니다.
애초에 Neural Network라는 말이 무색하게, IT 쪽 AI 연구 분야에서는 Brain science보다는 mathematical approach에 더 집중하고 있기도 하고, Convolution Neural Network까지는 그래도 brain based idea였지만 최신 AI 기술들은 CNN을 응용한 그 외의 기술들이 더 중점적이기 때문이다.
그럼에도, 다시 brain science가 AI에 손을 대는 것은 왜 일까?
이 글에서 그 답변을 제시해본다.
Artificial Neural Network
말 그대로 인공적으로 만들어진 신경망이라는 뜻이다. IT 전공생들에게는 익숙하지 않은 말이고, 주로 Biology나 Brain science 쪽에서 많이 쓰는 용어이다. IT에서 배우는 식으로 표현하자면 그냥 AI다.
왜 여기서 Intelligence를 쓰지 않았는지 의문이긴 한데, 내 추측으로는
1. 아무래도 "지능"이라는 것의 정의에 철학적 관점이 달랐거나
2. 이 용어를 쓰는 domain이 Neural Network를 연구하기 때문에 비교를 위해서 Intelligence 대신 쓰는 것이거나
3. 애초에 IT업계에서 투자를 위해 어려운 말 대신 Intelligence를 집어 넣은 것은 아닌지
이렇게 3가지 가능성이 있다.
어쨌거나, 이 ANN에 속하는 것은 익숙한 머신러닝과 딥러닝 등등이 있다고 배우지만, 우리가 배우지 않는 것이 하나 있다.
그것이 내가 소개하려고 하는 Spiking Neural Network 즉, SNN이다. 학부에서도 안 배우긴 하지만, 국내에서 이를 연구하는 랩실조차도 드문 이 SNN은 과연 무엇일까?
우선 간단히 얘기하자면, biological neuron을 완전히 모사해서 이것의 spiking mechanism을 구현한 Network SW이다. 이걸 만든 사람들은 뇌 과학자 혹은 계산 뇌 과학자라고 불리는데...
대체 그 사람들은 이걸로 뭘 하고 싶은 걸까?
왜 Brain science domain에서 ANN에 주목하는가
한 2015~6년 쯤에 Alphago가 대히트를 치면서 AI의 침체기가 종식되고 전성기가 시작되었다. 그 때 쯤에는 아직 AI가 사람이 하는 일을 수행하는 것이 아니라 어떤 추상적인 task들(예를 들면, Atari game, Regression 등)을 수행했기 때문에 AI에 대한 두려움보다 그에 대한 희망적 전망이 더 두드러졌었다. 그러면서, "Intelligence"를 연구하는 학문인 인지 과학과 심리학 그리고 Brain science가 함께 거론되곤 했다. 그 시기에는 뇌 과학 포럼이라고 해서 일반인을 포함해 학생들까지 불러서 뇌 과학의 연구 결과에 대한 세미나나 인지 과학에 대한 강연을 많이 했었다. (지금 구글링해보니 이제 안 하나보다. 그 때는 연례 행사였는데...)
근데 지금은 왜 그렇게 뇌 과학에 시들하냐? 사실 연구하기 어렵다는 이유도 있지만, 뇌에 사람들이 집중했던 것은 이를 모사해서 지능적인 행동을 하는 algorithm을 만들면 인간 생활의 효율성을 가져다 줄 것이라고 전망했기 때문이다. 그런데 웬걸, 아주 약-간의 모사만으로 구현된 CNN이 너무 훌륭하게 image deep learning task를 수행해버린 것이다. 게다가 RNN, LSTM, Transformer가 우르르 쏟아져 나오면서 SW가 인간의 언어까지 섭렵하기 시작했다.
그래도 저 때까지는 그렇게 사람들이 AI가 강력할 줄 몰랐다. 왜냐면, 이제 막 Bigdata라는 개념이 생기고 data를 만들어나가던 시기이면서, 동시에 deep learning을 위한 HW system도 정립이 덜 되었을 때여서 Lab 환경에서는 우수했던 algorithm이 실생활 적용에 들어가니 애매하게 실수 투성이였기 때문이다. 이때까지는 아 아직은 AI가 갈 길이 멀구나 빨리 배워둬야겠다 막연하게 생각했었다.
근데 또! AI가 다시 대히트를 쳐버렸다. GAN이 발전하면서 이제는 진짜 사람이 하는 일을 AI가 점령하기 시작해버렸기 때문이다. 단순히 classification이나 translation, regression 등의 task만 수행하다가 갑자기 뭔가를 생산하는 AI가 나오자마자 사회가 들썩들썩하고 다들 그곳에만 집중하고, 이제는 덩달아 HW도 정립이 끝나서 NVIDIA는 주가가 폭등하는데다가 GPU chip 생산 주체랍시고 이제는 자체적으로 computer graphic 관련 논문도 줄줄이 써내고 있다.
이미 뇌 과학은 SW 업계에서 관심 밖이 되어버렸다.
뭐 하러 굳이 복잡하게 뇌를 파고 들어? 이미 mathematical operation으로 응용한 model이 사람 뇌보다 나아~
그럼 뇌 과학하는 사람들이 굳이 구질구질하게 SW업계 바짓가랑이 붙잡고 있느라고 ANN을 targeting하면서 주목하느냐? 그건 또 아니다.
나도 컴공생이고, 몇몇 계산 뇌과학 및 뇌 모사 인공지능을 연구하는 사람들을 보면 IT 유관 전공생인 경우가 많다. brain science가 재밌는 SW하는 사람들 중 소수와 SW를 할 줄 아는 소수의 brain scientist들이 모여서 여전히 뇌 과학에 어떤 해결책이 있을 것이라고 믿고 계속 연구를 하는 중인 것이다.
다만, 전과 다르게 ANN이 뇌 과학에 의존적인 position이 아니라, 뇌를 모사한 SW model을 simulation하면서 performance를 높이다 보면, ANN의 한계를 타파할 수 있지 않을까 하는 희망으로 뇌 과학이 ANN을 뒤따라 가고 있는 position이다.
ANN의 한계란?
GAN은 아직 IT 업계 측에서도 그 performance를 측정하기 위한 tool이 명확히 정해진 바가 없어 발전 속도에 비해 model들을 비교하는 방식은 구식인 편이다. (직접 돌려보다 보니 어떤 model이 이런 style의 image를 더 잘 생성하더라~ 같은 입소문 방식...)
그렇기 때문에 지금 말하는 ANN은 주로 classification, regression, reward based learning 등 전통적인 task를 수행하는 model을 말한다. (물론, GAN도 언급하기는 하지만...)
이런 model들의 한계는 다음과 같다.
1. outlier에 대한 대응이 어렵다.
자율 주행 차량을 예로 들어 보자.
현재 상용화 되어있는 단계의 자율 주행 차량은 1~3단계 쯤이다. (4단계는 아직 시범 운행 단계이다.) 왜 아직은 운전자의 개입이 필요하겠는가...
무단 횡단하는 사람을 두고 그게 그냥 일반 장애물이라 판단해서 사람을 쳐버리는 것이 2018년의 일이다. 5년이 지났어도 아직 이를 두고 사람들의 의견이 분분하다. SW가 error가 생기는 원인은 너무 복합적이기 때문에 SW에 온전히 맡기는 것이 위험하다는 것이 4단계 이상의 자율 주행을 반대하는 사람들의 의견이다. 물론 최근에는 자율 주행 차량이 무단 횡단자를 인식하고 멈췄다는 기사도 있지만, 그건 이미 사건이 발생하고 난 뒤에 만들어진 SW이기 때문에 가능했던 일이다.
만약, 정말 우연히 어떤 중대한 사건이 SW의 입장에서 outlier로 작용한다면?
사람이라면 사건을 최소화하는 방향으로 행동했을지 모르지만, robustness하지 않은 SW라면 아예 down 되어서 사건이 더 커질지도 모르는 일이다.
비단, 자율 주행의 예시에서만 그런 것이 아니다.
여전히 많은 연구에서는 outlier에 대해 robust하면서도 좋은 performance를 내는 ANN을 개발하려고 하고 있고, 실제로 아직까지는 outlier에 완벽히 대응해내는 우수한 ANN은 없다. (같은 사람 사진이지만 웃긴 표정을 하고 있답시고 사람이 아니라고 classification 해버리는 AI들...)
2. 메타 인지가 불가능 하다.
유명한 사건으로 "조선왕조실록에 기재된 세종대왕의 맥북 프로 던짐 사건에 대해 알려줘"라는 질문에 ChatCPT가 자신있게 헛소리를 한 일이 있다. 그 뿐만 아니라 AI는 개와 고양이를 구분하도록 만들었을 때, 호랑이의 사진을 주면
"처음 본다, 개나 고양이가 아닌 것 같다"
가 아니라
"개 34.6% 고양이 65.4%"
라고 한다. 얘는 자기가 학습하지 않은 것이 무엇인지를 모른다.
이것 때문에 GAN에서도 은근히 이상한 것들이 자주 생성되고 이것을 조정하려는 연구들이 진행되고 있는데... 사실 이 문제는 최근 ChatGPT의 환각 현상 때문에 두드러진 것뿐이지 기존의 AI들에게도 있었던 문제이다.
고질적인 문제라 할 수 있다.
(애초에 몇 만~ 몇 십만 단위의 data를 학습해놓고 그것들과의 유사도를 측정해서 배운 것인지 배우지 않은 것인지 판단한다는 것이 mathematical operation 기반의 SW에게는 너무 과한 task이다. - 시간만 잡아먹고, 굳이 필요는 없지만, 확실한 한계)
3. 전력 소비량이 너무 크다.
안 그래도 지구 온난화에서 기후 위기로 단어가 바뀐 시점에 전력 소비량이 일반 검색 기능의 5배 이상을 잡아먹는데다가 구글에서도 본인들의 회사 내 전력 소비량 중 AI를 돌리는데 사용한 것이 10~15%라고 한다. 지구 50년만 더 쓰고 말거면 그냥 계속 해도 되는데, 한 번 AI ethic researcher 잘 못 해고했다가 회사 내부 갈등 심하게 겪어본 구글이 나서서 전력량이 너무 크다고 언급할 정도면 말 다 한 거 아닌가?
(여담인데, 현재 AI algorithm을 돌리는 GPU로 NVIDIA가 거의 독점 수준이다보니, Intel의 GPU로 AI를 돌리려면 intel-tensorflow로 다시 AI algorithm을 개발해야 하는 상황이다. 독과점 시장도 문제긴 하다.)
Conclusion
위와 같은 문제들이 기술의 발전 속도를 보면 다 해결될 것이라고 하는 AI 관련 전문가들이 많긴 하다. (물론 이 사람들도 전력 소비량은 언급 일절 안 한다. 보통은 전력 소비량을 줄이는 것에 관심 없는 SW 전문가이기 때문에...) 어떤 사람들은 위의 한계들을 언급하면서 해결책을 제시하기도 하고, 다른 domain의 전문가들은 본인들의 분야에 접목하기에 부족한 AI의 한계를 언급하기도 한다.
애초에 ANN의 한계라는 것은 시간의 기준점을 미래로 볼 것인지, 현재로 볼 것인지에 따라 다르다. 현재로 보면, 아직은 data-centric이기 때문에 input을 중심으로 output이 나오는 것이 아니라 학습된 data를 기반으로 output이 나와서 ANN이 일각에서는 기계 취급을 받는 것이다. (우스갯 소리로 Auto-Image classifier, Auto-object Detector 같은 별명을 붙이기도 한다.) 그렇기 때문에, 미래 관점에서 본 ANN의 한계가 정말로 없다면, 그 한계를 타파하는 기술은 무엇이 될 것인가?
계속해서 mathematical approach를 이어갈 것인지,
아니면 다시 Brain science에서 idea를 착안할 것인지
딱 이 지점의 갈림길에서 어떤 연구자들은 후자를 택했고 그렇게 현재 연구되고 있는 것이 Spiking Neural Network(SNN)이다.
다음 글에서는 SNN에 대해서 좀더 깊게 들어가 보도록 한다.
