# Instant-ngp
Instant NGP, NeRF 개발 도전기
딥러닝 기술로 3D object를 만들 수 있을까? Neural Radiance Fields for View Synthesis ECCV 2020 Oral, Best paper Honorable Mention 논문이다. 신경망을 이용해 radiance field를 만들어 사진을 3D object로 만드는 task를 수행하는 기술로, 3D contruction 기술자가 아니어도 사진만으로 입체 영상을 만들고 편집할 수 있다는 점에서 3D 그래픽 기술의 확장 가능성을 제시하였다. Nerf overview 
Instant-NGP 리뷰 및 구현 (Multi-Resolution Hash Encoding)
NeRF 는 그 강력한 성능에 비해 너무나 느린 Training, Rendering 속도 등 여러가지 단점이 있다. 이를 해결하기 위해 Voxel 을 활용하는 연구들이 제시되었지만 속도 향상이 제한적이거나, 성능과의 trade-off 를 겪는 문제점을 보여주었다. Instant-NGP 는 Multi-resolution decomposition 과 Hashing 을 이용하여 극적인 속도 향상과 SOTA performance 를 동시에 달성하였다. 이러한 Instant-NGP 을 리뷰하고, PyTorch 로 핵심 부분을 implementation 을 제공한다. SIGGRAPH2022 Best Paper 1. Background 1.1. Positional Encoding NeRF 에서는 high-fidelity Scene reconstruction 을 위해서, 보통 다음과 같은 sinusoidal po
Colmap이란?
Structure from Motion Structure from Motion(SfM)은 2D 이미지에서 3D 정보를 얻는 과정. Camera Calibration 카메라 내부/외부 특징들 때문에 부정확한 3D Reconstruction이 발생할 수 있기 때문에, Calibration 진행. 영상처리, 컴퓨터비전에서도 자주 사용됨. 내부 파라미터 > 위에 보이는 matrix 연산이 Calibration임. A는 내부, R|t는 외부, XYZ는 월드 좌표계이다. > 내부파라미터는 카메라 자체의 특성이다. 초점거
Instant Neural Graphics Primitives
ABSTRACT Gigapixel image, SDF, NRC, NeRF를 모두 처리할 수 있는 모델을 소개한다. multiresolution hash encoding 기법을 사용해 네가지 task를 모두 처리할 수 있고, 네트워크의 크기도 작아졌다. 또한 fully-fused CUDA로 작업을 병렬로 처리해 속도를 향상시켰다. INTRODUCTION NeRF에서 알 수 있듯이 high frequency의 핵심은 encoding이다. Input의 차원을 늘려 더 자세한 정보를 추출할 수 있었다. 하지만 기존의 encoding 방법들은 하나의 task만 다룰 수 있었고 GPU를 제대로 활용하지 못하는 한계가 있다. 저자들은 이 문제를 multiresolution hash encoding을 사용해 해결하고자 한다. BACKGROUND AND RELATED WORK 간단히 encoding의 역사를 읊어보겠다. NeRF에서는 sin과 cos으로 이루어진 encodin