# 360

[논문 리뷰] 360-MLC: Multi-view Layout Consistency for Self-training and Hyper-parameter Tuning
Pre-trained model은 novel view position, different lighting conditions, severe object occlusion과 같은 문제들로 인해 새로운 도메인에서 예측 성능이 떨어진다.이를 보완하기 위해 target dom
360 mono depth estimation 프로젝트 개요
https://github.com/sunset1995/HorizonNet카메라의 회전을 잡아주는 과정이다. 환경: 파이썬링크: https://github.com/zhijieshen-bjtu/panoformer실행방법: X훈련방법: O환경: 파이썬링크:

[논문 리뷰] CoVisPose: Co-Visibility Pose Transformer for Wide-Baseline Relative Pose Estimation in 360◦ Indoor Panoramas
2개의 파노라마 이미지가 input으로 주어질 때 relative pose를 추정하는 연구Featureless region이 많거나 유사한 구조가 많은 이미지의 경우 feature-based 방식은 잘 작동하지 못하며 이를 보완하기 위해 denser RGB나 RGB-D

Raycast 게이지, 영상 변경
Raycast 게이지 Image를 복사하여 하나 더 만든다. 이름을 Reticle로 바꿈 Image 콤포넌트에서 Color 값을 빨간색으로 지정 Image Type을 Filled로 바꿈 Fill Amount를 0 으로 지정 커서이미지가 버튼에서 나왔을때 게이지를 줄

Raycast로 조작
UI 360Menu라는 새로운 씬을 생성한 뒤 버튼을 눌러 영상씬으로 이동하게 하자. 새로만든 씬에서 버튼을 하나 생성 Canvas를 선택한 후 Canvas속성에서 Render Mode를 World Space로 바꾼다. 결과창에 버튼이 사라지고 Rect Tran

개발 준비
개발 준비 구글에서 360 video download 검색 이 사이트에서 다운 가능 두 개의 360도 동영상을 다운로드 : 화질은 1080 으로 함 기타 강의 자료실에 있는 쉐이더 파일도 다운로드 하여 준비하도록 함 동영상 2개와, unlit-sphereins

[논문 리뷰] LASER: LAtent SpacE Rendering for 2D Visual Localization
본 연구에서는 Monte Carlo Localization(MCL) framework를 활용해 2D floor map에 대한 query panorama/perspective image가 주어졌을 때 camera pose를 찾는다.MCL은 generative framew

[논문 리뷰] CPO: Change Robust Panorama to Point Cloud Localization
변화가 있는 3D map을 매번 최신 정보로 업데이트하는 것은 많은 비용이 들기 때문에 이러한 변화에도 robust한 localization을 하는 모델이 필수적이다.따라서, 본 논문에서는 regional color distribution을 이용하여 빠르고 변화에 ro

[Point Review] PICCOLO: Point Cloud-Centric Omnidirectional Localization
본 연구에서는 point cloud와 single query image가 주어질 때 camera pose를 추정하고자 한다.Rendering을 하여 photometric loss를 활용하는 방식은 ERP의 극 부분에서 나타나는 왜곡을 고려하기 위한 처리가 필요하며 연산

[논문 리뷰] LGT-Net: Indoor Panoramic Room Layout Estimation with Geometry-Aware Transformer Network
본 논문에서는 room layout을 floor boundary와 room heigth로 표현한다.동일한 경도 간격으로 $N$개(논문에서는 256)의 point를 샘플링한 후 horizon-depth로 변환한다.HorizonNet에서는 floor/ceiling의 위도를

[Point Review] LED2-Net: Monocular 360◦ Layout Estimation via Differentiable Depth Rendering
HorizonNet과 같은 기존의 Layout estimation 모델들은 2D Panorama 상에서의 좌표로 loss를 정의하지만 2D 상에서 동일한 오차가 서로 다른 depth value를 가지게 된다.\-> "horizon depth를 활용하자"벽과 floor/

[Point Review] OmniFusion: 360 Monocular Depth Estimation via Geometry-Aware Fusion
ERP에서는 왜곡이 심하기 때문에 구면에서의 tangent 이미지를 활용하는 방법이 "Tangent images for mitigating spherical distortion"에서 소개되었다.Face의 개수는 level에 따라 달라지며 level이 너무 낮을 경우 왜