CVPR 2023!!!

현재 다니고 있는 회사에서 좋은 기회를 주셔서, cvpr 2023에 다녀왔다. cvpr 2023은 Vancouver Convention Centre에서 열렸으며, 6월 18-19일은 워크샵, 20일부터 22일까지 3일동안은 본프로그램이 진행되었다. 워크샵 기간에는 다른 일정이 있어 참가하지 못했다. cvpr 2023의 일정은 다음과 같다.

---

Poster & Oral Session

2022년까지의 CVPR은 Oral session이 주가 되고, Poster session은 좀 작게 열렸다고 하는데, 올해부터 조금 새롭게 바꿨다고 한다. Oral session은 수상후보인 논문 12개만 화,목(20,22)에 발표하도록 했고, 그 외 나머지는 Poster session으로, 개인이 관심있는 포스터에 직접 찾아가 발표를 듣고 개인적으로 질문하는 방식..!! Oral Session은 보통 Vancouver Convention Centre의 East building에서 진행되었고, Poster는 West building에서 진행되어서 시간 맞춰 이동하기 바빴던 것 같다.

accept된 논문의 리스트와 poster를 둘러보러 돌아다닌 결과, 요즘 최신 트렌드는 NeRF, Diffusion Model, VL(Vision-Language) Model, Video, Point-Cloud, Quantization 등 같았다. (확실히 3d가 유행인듯..!)
NeRF 관련 논문이 너무나도 많아서 돌아다니다가 괜찮다 싶었던 포스터 아니면 거의 안봤던 것 같다. Diffusion은 이전에 GAN을 통해 시도했던 실험을 Diffusion으로 바꿔 실험한 논문이 많았던 것 같다.

CVPR 2023 참가신청하는 과정에서 논문리스트를 보여주며 사람들이 어떤 논문에 관심이 있는지에 대해 조사를 했는데, 이를 토대로 Highlight Paper를 선정한 것 같다. Poster session을 돌아다니다보면, 포스터 위에 Highlight나 Award Candidate라고 (혹은 둘다) 적혀 있는 경우도 있었고, 이러한 포스터에는 사람이 정말 많이 몰렸다. 아키텍처에 대해 궁금하더라도 발표자와 너무 멀리 있어서 묻지 못하고 멀리서 포스터 사진만 찍었던 것 같당 ㅠㅠ

화,수,목 오전 오후 각 400개씩 포스터를 전시해둬서 듣고 싶은 발표를 찾아가 듣기가 빡셌던 것 같다. 2시간동안 400개의 포스터 발표를 다 듣기엔 무리가 있고, 그중 관심있는 포스터를 찾아가더라도 포스터만 덩그러니 걸려있거나, 아무것도 전시하지 않은 경우도 많아 아쉬웠다.

관심있게 본 논문(포스터)들은 리뷰할 예정이다!

Oral session은 화,목 Paper 6개씩 발표했다. 수상후보 12 Paper의 리스트는 다음과 같고, Oral Session 진행 중인 사진이다.

위 12 paper 중 5 paper만이 수상을 하게 되는데, Best Paper 2개, Honorable Mention 1개, Best Student Paper 1개, Honorable Mention(Student) 1개로 award될 예정이라 했다. 그리고 수상한 Paper는 다음과 같다.
위 리스트에서 Planning-oriented Autonomous Driving과 Visual Programming: Compositional visual reasoning without training Paper가 Best Papers로 뽑혔고, 3D Registration with Maximal Cliniques가 Best Student Paper로 선정되었다. 또한, Honorable Mention은 DynlBaR: Neural Dynamic Image-Based Rendering이, Honorable Mention(Student)로는 DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation이 선정되었다.
Award Candidate로 뽑힌 논문들 모두 대단하다고 느꼈고, 기회가 되면 12 논문 모두 리뷰해볼 생각이다. 일단 관심있게 본 논문과 최근에 읽은 과거 논문들 먼저 리뷰를..!!!ㅎㅎ

---

부스

다양한 기업들이 부스에 참여를 했다. 우리나라 기업은 LG, 현대자동차, 누비랩 등이 참가한 것 같았다.
10시30분부터 부스체험 및 포스터 세션을 들을 수 있어서, 키노트 발표 이후, 본프로그램(부스/포스터) 입장을 위해 사람들이 대기하고 있었다.

입구에 들어가자마자 Meta AI가 보였고, 다양한 체험거리를 많이 챙겨온 것 같았다. Project Aria라고 해서, real-time으로 Object Detection이 가능한 안경과 VR(Apple의 Vision Pro와 비슷하게 생김)로 집안 인테리어 구경이 가능한 안경도 있어, 이를 체험하기 위해 많은 사람들이 몰렸었다.
OD 안경은 안경 테두리 및 안쪽에 카메라가 달려서, 안경을 썼을 때 나의 눈동자를 보여주고, 현재 내가 보고 있는 환경을 Gray Scale로 변환한다고 한다. gray scale로 변환해주는 이유에 대해 물어봤는데 답변이 기억이 잘 안난다..ㅠㅠ 아무튼 내가 바라보는 환경에 대하여 Object Detection을 해줌으로써, 확률값과 bbox, 그리고 instance segmentation 결과까지 real time으로 보여줬다.
VR 안경은 지정한 범위 안에서 사용하면 VR 화면만 뚜렷하게 보이도록 되어 있고, 그 범위를 벗어나면 화면이 불투명하고 grid가 보인다. (안전을 위해 그렇게 만든 것..!) 고글을 포함한 양손에 쥐는 콘솔(?)에 초소형 카메라들이 탑재되어 있다고 한다. 콘솔로 순간이동하고 싶은 좌표를 눌러, 현재 위치에서 다른 위치로 이동해 인테리어를 볼 수 있는 것 같다. 체험하는 사람이 보는 화면을 따로 모니터에 연결해 다른 사람들도 볼 수 있도록 했다. Segment Anything과 DINOv2 등 솔루션과 관련해서도 따로 부스에서 설명하고 있었다.

타이밍만 잘 맞추면, Meta AI에서 소개하는 로봇 강아지(?)를 볼 수 있다. speech로 명령을 하면 그걸 그대로 동작으로 옮겨 로봇이 수행한다. 이 로봇의 이름은 '스팟'이고, 명령할 때는 애플의 siri를 부를 때처럼, "hey Spot"이라고 말을 하면, 스팟이 반응했다. 인형을 옮기는 심부름을 수행하고 잠깐 휴식을 취하는 스팟이다.

잠시 후, 휴식 중인 Spot에게 Coffee Table위에 있는 Eiffle Tower를 Basket에 넣어줘라는 말을 하자, 화면에 '어디서', '무엇을', '어디로' 명령을 수행할지에 대해 입력이 되고, Spot이 Coffee Table 쪽으로 이동해 에펠탑 모형을 detection해, 이를 basket으로 옮겼다. 타이밍이 잘 맞아서 운좋게 쇼(?)를 볼 수 있었던 것 같다.

또한, Zoox라는 기업에서는 무인전기자동차를 선보였는데, 직접 차를 타볼 수 있었다. 좌석이 마주보는 형식으로 생겼고, 각 좌석마다 에어컨/히터 설정 및 노래재생을 다르게 할 수 있다고 한다. 또, 차량의 현재 실시간 위치를 각 좌석에서 볼 수 있고 다양한 기능이 탑재되어있다고 한다. (전시장에 있기 때문에, 세계지도를 띄우도록 함)

Apple에서도 3d 인테리어 관련 솔루션을 포함한, 여러 솔루션 제품들을 소개하고 있었다. 애플의 Vision Pro가 출시 예정이라는 소식을 접한지 얼마 안됐어서, 부스에서 미리 체험할 수 있을거라 기대했지만 아쉽게도 cvpr에 안챙겨왔다고 한다. Meta AI의 제품과 비슷하게 생겨서 그런지 어떻게 다른지 직접 체험해보고 싶었지만 아쉽게도 그럴 수 없었다..ㅠㅠ

Qualcomm이라는 기업에서는 사람얼굴 Detection 및 얼굴의 landmark를 실시간으로 인퍼런스 해주는데, 여기서 신기했던 점은 사람의 눈동자가 어느 방향을 보고 있는지도 인식을 해 실시간으로 눈알이 어딜 보는지 보여준다.

이번 부스에서 가장 크기가 큰 부스는 바로 Tesla!!! 문이 wing으로 열리는 테슬라 차를 가져왔다. 운전석 및 조수석도 자동으로 닫히고, 차량 내부도 정말 이뻤다. 오늘부터 이 차가 내 Dream Car....!!!

이외에도 정말 다양한 기업들이 부스체험을 했지만, 생각보다 부스들이 너무 작아 체험보다는 인재채용을 하는 부스들도 많았다. (Netflix가 그랬다..ㅠㅠ) 넷플릭스에서 researcher랑 engineer를 채용한다길래 봤더니 모두 ph.d 이상을 요구하더라..눈물..

---

느낀점

대부분의 cvpr은 미국의 LA에서 진행되었다가, 이번에 처음(아마도?)으로 밴쿠버에서 진행되었다고 한다. 그래서 이전에 다녀온 사람들이 얘기하길 부스가 전체적으로 작아진 것 같다고 하는 것 같다. 부스 크기가 작다보니 체험형 부스보다는 인재채용을 위한 부스가 더 많았던 것 같다. 그래도 큰 부스에서 신기한 경험을 많이 해볼 수 있어서 재밌었다.

또, 수상후보들만 oral session으로 넣은 것에 대해서도 말이 많았던 것 같다. 이와 관련해서는 cvpr 2023이 끝나고 설문조사를 했는데, 52%였나? 올해 cvpr 방식이 더 마음에 들었다고 투표해서, 아마 내년에도 올해와 비슷하게 진행할 것으로 보인다.

첫 해외 학회를 다녀왔는데, 기대했던 것보다는 규모가 작고 마지막날 포스터가 1/3은 비어있어서 관심있던 포스터들을 못봤던게 아직까지도 아쉬운 것 같다..! 포스터 발표하는 사람들도 한국인이 생각보다 많아서 반가웠다. 또한, 대부분의 발표가 영어로 진행되다보니, 영어공부를 더 열심히 해야겠다는 동기부여도 된 것 같다. 앞으로 열심히 살아야겠다는 동기부여 왕창된 듯!!!!

cvpr에서 제공해주는 점심이 별로라는 소문을 들었는데, 직접 먹어보니 역시나 내 취향은 아니였다. 그래서 Tim Holtens에 자주 가서 IcedCap이랑 빵을 사먹었다. 한국에도 얼른 들어왔으면..!!!

한달이 지나서 올리는 후기다보니, 빼먹는 얘기도 너무 많은 것 같다 ㅠㅠㅠ 생각나는 내용들 모아서 내용이 많으면 2부로 찾아와야겠당(아니면 내용을 좀 더 보완해야겠다!!)