[SLAM] 8. 카메라 센서의 구조

1. 카메라란?

• light-capturing device
• camera == a light measuring device
• 좋은 카메라 : 물리적인 빛을 정확하게 담는 카메라

Steps to capture light

• light -> color filter -> photodiode -> voltage/current(전압 생성) -> analogue-to-digital convertor
• RGB camera
  • bayer pattern 사용
    

1. 렌즈를 통해 빛이 들어온다
2. CCD/CMOS 센서가 빛을 디지털 신호로 변환
3. 디지털 신호 값 * ISO gain -> 밝기갑 조정
4. bayer pattern에 따라 demoasicing을 통해 모든 픽셀에 RGB 값이 생성
5. 노이즈 제거
6. 화이트 밸런스
7. sRGB 컬러 스페이스로 매핑해주고 저장

---

2. 다양한 종류의 카메라

RGB camera

• color 정보 -> 딥러닝에 필수
• 전통적인 컴퓨터 비전은 gray 이미지 사용
  
• 맨 위의 사진이 bayer pattern
• 단점
  • demoasicing(color filter array(CFA) interpolation) 과정에서 문제가 많다
    • bayer pattern은 물체에 r,g,b 필터 중 하나를 씌워주고 두개의 같은 컬러 픽셀들 사이의 픽셀들을 interpolation으로 푼다
    • interpolation : 주변 픽셀의 값으로 빈 픽셀의 값 추론 -> 정확한 값이 아니다
    • interpolation을 통해 blurring 효과가 들어간다 -> color 이미지는 실제 데이터를 받는 것보다 흐려진다
  • r,g,b 필터 중 하나가 픽셀에 씌워지는데 이 필터 때문에 하나의 색만 받을 수 있게 된다 -> 전체적인 광량이 줄어들어 전체적인 밝기가 줄어든다

monochrome camera

• 컬러 카메라와 동일한 칩 센서
• 다른 점은 컬러 필터를 이용한 bayer pattern이 없다는 것 -> 이미지의 quality가 좋아진다
• 광량이 많아진다
  • 신호대비 노이즈 비율(SNR)이 좋아진다 -> 훨씬 깔끔한 이미지 (위 : 흑백카메라 / 아래 : 컬러 카메라)
    
  • 이미지 밝기가 밝다 (컬러 이미지를 밝게 하려면 ISO gain값으로 신호를 증폭시키는데 이때 노이즈도 함께 증폭된다)
    

Multi-/Hyperspectral camera

• 특수한 카메라
• 더 많은 컬러 채널을 받는다. 사람 눈에 보이지 않는 것도 받는다
• 보통 10개 정도의 채널 / 100~200개까지 받으면 hyperspectral
• 적외선 카메라가 이 중 하나 : 야간, 화재 vslam에서 사용될 수 있다
  

Polarized camera

• 편광 카메라
• 빛 반사를 없애는 편광필터 사용
• 금속, 비닐의 빛 반사로 인해 공장에서 vslam이 안되는 경우가 있어서 이때 편광 필터 사용
• 소프트웨어 적으로 이를 해결할 방법은 없고 하드웨어 적으로 편광 필터를 사용해야만 한다

Event camera

• 픽셀의 밝기 변화가 있을 때만(이벤트가 있을때만) 촬영 -> 속도가 매우 빠르다 (초고속 카메라와 비슷)
• 주변 정보 추출 가능, 이를 slam에 적용하면 굉장이 빠른 motion에도 위치를 수정할 수 있다
  

---

3. 좋은 카메라 선정 방법

• 카메라 구성
  • image sensor(camera)
    • 물리적인 빛의 신호를 받아서 디지털 신호로 변환해주는 이미지 센서
  • lens : 빛을 모아서 바늘 구멍을 통과하게 하는 장치

좋은 camera 선정 방법

high sensor resolution

• 해상도가 높으면 물체에 대한 정보를 세밀하게 담을 수 있다.
• 작은 객체까지 표현 가능
• 데이터 처리 시간이 오래걸린다
• 카메라의 크기 고정, 해상도 높이면 픽셀 각각의 면적이 줄어들고 그러면 받을 수 있는 빛의 양도 줄어들기 때문에 SNR이 어두워진다.

high sensitivity

• 적은 양의 빛으로도 밝은 이미지를 얻는다
• 너무 밝으면 금방 하얗게 되기 때문에 필터를 씌우는 등의 작업으로 광량을 줄여야 할수도 있다

high FPS

• 시간에 대한 해상도가 높다
• 실시간 20~20fps

large sensor size

• 픽셀의 사이즈도 같이 커진다
• 픽셀에서 받을 수 있는 광량 증가 -> SNR이 좋아진다 -> 깔끔한 이미지를 얻을 수 있다
• DSLR 카메라가 full frame sensor size를 사용하는 이유이다
• 센서의 중간 부분만 crop해서 사용함으로써 외곽의 왜곡을 피할 수 있다

noise

• shot noise / read noise : 둘다 낮은게 좋다
• quantum efficiency : 실제 받은 광자을 얼마나 디지털 신호로 변환할지, 디지털 신호로 변환되지 않은 광자는 노이즈로 적용되기 때문에 quantum efficiency는 높은 것이 좋다
• heat stability : 더운, 추운 환경에서 찍을때 노이즈의 원인이 되기도 하고, 촬영이 지속됨에 따라 뜨거워져서 생기는 노이즈의 원인이 되기도 한다

high dynamic range

• 밝은 곳과 더 밝은 곳 / 어두운 곳과 더 어두운 곳을 구분하는 능력
• 잦은 조명 변화에 빠르게 적응할 수 있는 것이 좋다

sensor type

• CCD
  • DSLR 카메라, 머신 비전에서 모바일 용도로도 사용
  • high dynamic range, low noise, natural global shutter
  • 센서의 크기가 크다
• CMOS
  • 대부분의 카메라 센서, 소형화, 저전력에서 작동
  • 움직이면서 촬영하면 이미지가 밀려보이는 rolling shutter 효과가 있고 이를 해결하기 위해서는 global shutter가 가능한 CMOS 아키텍처 카메라를 선택해야한다
• vslam에서는 global shutter 카메라를 사용하여 큰 공간을 매핑했을 때 안정적인 결과가 나온다

shutter type

• rolling shutter
  • 움직이는 동안 촬영하면 센서가 윗줄부터 아래로 차례로 픽셀값을 읽는데 움직이면서 픽셀이 밀리게 된다
• global shutter
  • snapshot으로 사진을 찍는다
  • 움직이는 경우가 많은 VSLAM의 특성상 rolling shutter로는 깔끔한 이미지를 얻기 어렵다. 그래서 global shutter 카메라를 사용하는 것을 추천

카메라의 크기 (form factor)

• 쿨링, 파워, 인터페이스와 같이 어떤 주변 기기와 붙는지에 따라 카메라 전체 크기, 무게가 결정된다
• 드론, AR 안경과 같은 경우에는 크기가 중요하다

Power

• USB / POE+ (랜선) / Power supply
• 보통은 power interface랑 cable이 따로 있는 경우가 많다

Cooling

• 카메라의 성능이 뛰어날수록 cooling이 필요하다
• cooling에도 power를 넣어야한다
• 카메라의 성능은 좋아지겠지만 무게, 크기가 늘어난다

Interface

• 카메라마다 인터페이스도 다르다
• USB / USB3 / USB-C /
• 각각의 속도, 최대 대역폭이 다르다
• 권장 케이블 길이가 있다 -> 맞추지 않으면 속도, 대역폭이 줄어든다

mount

• 카메라를 어떻게 가지고 이동할지에 따라 결정해야한다
• 손으로 직접, 하드웨어에 부착, 짐벌에 부착, 삼각대, 벽에 설치 등등
• mount를 지원하지 않는 카메라도 있다

pre-processing / ISP(Image Signal Processor)

• 빠른 이미지 처리를 위해 카메라 내부에 탑재
• 발열이 있기 때문에 cooling 필요

shock resistance / heat proof

• 충돌, 온도에 안정적으로 작동해야한다

Lens

5가지 고려

• sensor size
• working distance
• resolution
• depth of field
• field of view

이를 통해 아래가 결정된다

• spatial resolution(공간 분해능)
• distortion
• perspective
• contrast

spatial resolution(공간 분해능)

• spatial resolution vs sensor resolution
  • sensor resolution :해상도 / 센서가 표현할 수 있는 최대 정확도
  • spatial resolution : 분해능 / 공간을 얼마나 정확히 쪼개서 전달할 수 있는지
    
• 같은 sensor resolution이지만 왼쪽은 높은 공간 분해능을 가진다, 오른쪽은 낮은 공간분해능을 가지고 있다
• 무조건 높은 spatial resolution이 좋다!

focus

• 좋은 focus를 위해서는 sensor size + working distance + field of view가 잘 맞아야한다
• 어떤 것이 좋은지는 lens calculator 앱을 사용하면 알 수 있다. 하지만 좋은 공간 분해능을 가졌는지는 알 수 없다.

field of view (시야각)

• 광각 렌즈 (wide-view lens)
  • 넓은 화각
  • 외곽은 더 많은 굴절을 하기 때문에 quality가 안좋다
  • 더 많은 굴절을 위해 렌즈가 둥글어지는데 이 때문에 왜곡이 생긴다
    

• 망원 렌즈(telecentric lens)
  • 외곽에서도 왜곡없이 깔끔한 이미지
  • 정확한 초점거리가 멀기 때문에 초점을 맞추기 쉽지 않다
    
• 왼쪽 : 망원 / 오른쪽 : 광각
  
  

MTF chart

• 깔끔한 이미지를 얻는다는 것을 확인하는 방법
  

• x축은 특정 공간안에 반복되는 패턴의 수

• y축은 contrast : 높을수록 구분을 잘한다/ 공간 분해능과 직접적으로 연관

• 특정 공간안에 패턴이 반복될수록 세세한 패턴 -> 이를 잘 검출하는 것이 좋은 렌즈

• x값이 커져도 y가 천천히 감소하는 것이 좋은 것
  

• 오른쪽이 좋은 MTF chart를 가진 렌즈