Computational Photography

계산사진학 내용은 개인적인 공부를 위해서 정리하는 용도이다. 개인적으로 인터넷을 통해서 공부한 내용을 포함하여 POSTECH의 조성현 교수님의 계산사진학 강의를 기반으로 정리할 것이다. 계산사진학, 영어로 computational photography에 대해서 시작해

Understand how cameras operate 사진과 이미지를 만들어내는 장치인 카메라에 대해서 알아보고자 한다. 전문적인 포토그래퍼들은 외부적인 요인과 카메라 내부적인 요인에 대해서 잘 알고 이를 조절하여 원하는 목적의 사진과 이미지를 얻는다. 여기서는 카메

Depth of Field 피사계 심도라고 불리는 depth of field(DOF)는 한 사진의 초점이 맞은것으로 인식이 되는 범위를 말한다. 렌즈의 초점같은 경우에 단 하나의 면에 정해지게 되어 있지만, 실제로 사진에서는 초점이 된 면을 중심으로 서서히 흐려지는 현

이번에는 센서가 포착한 빛으로부터 어떻게 디지털 이미지가 생성이 되는지 이해할 것이다. 그래서 이미지가 어떻게 형성이 되는지와 이에 따라서 카메라가 처리하는 과정에 대해서 알아보려고 한다. Image Formation in the Eye 카메라는 인간의 눈과 같은 기

이번에는 sampling에 의해서 발생하는 aliasing의 의미를 이해하고, 이러한 현상을 어떻게 피하고 막을 수 있는지 알아볼 것이다. Sampling 이미지를 획득하는 과정 속에서 우리가 하고 싶었던 일은 continuous 데이터들로부터 digital 데이터를

핸드폰으로 사진을 찍을 때 필터를 설정해서 사진을 찍은 경험이 있을 것이다. 이렇게 이미지에 특정한 필터를 덮어서 이미지의 분위기를 바꾸는 방법에 대해서 알아보려고 한다. Spatial Filter 먼저, filter라는 것은 frequency domain proce

Gradients Gradient는 각 변수들의 1차 미분한 결과을 모아놓은 것을 말한다. $$\nabla f(x,y)=\begin{bmatrix}\frac{\partial f(x,y)}{\partial x}\\\frac{\partial f(x,y)}{\partial

Order-statistics filter는 non-linear한 spatial domain filter 중 하나이다. Linear filtering에서의 과정과 마찬가지로 원본 이미지 상에 filter를 사용해서 sliding을 시키면서 픽셀 값을 계산하여 결정해주

Spatial Domain Processing Spatial domain은 이미지에서 픽셀들이 존재하는 일종의 공간이라고 생각하면 된다. 우리는 spatial domain technique을 통해서 직접적으로 이미지 상의 픽셀들을 조작하고 변형할 것이다. 이미지는 픽셀

Histogram Histogram은 통계학 시간에 배운 기초 개념으로, 원하는 정보를 일종의 bar 모양의 그래프로 나타낸 것을 말한다. 다음의 예시는 학점 분포 상에서의 학생들의 수를 히스토그램으로 나타낸 것이다. Histogram of Image 이미지로부터 h

이미 frequncy가 무엇인지에 대해서는 잘 알고 있을 것이다. 1차원에서의 signal과 2차원(이미지)에서의 signal이 무엇인지는 이미 알아보았다. 1차원에서의 signal은 느리게 흘러가는 low frequency component와 빠르게 흘러가는 high

이전까지 Fourier transform의 정의와 특징에 대해서 알아보았다. 지금부터는 convolution theorem에 대해서 알아볼 것이다. Convolution Theorem Convolution theorem은 두 함수로부터 convolution의 Four

Linearity Fourier transform은 linearity를 가지고 있다. 즉, 2개의 signal의 linear combinationd의 Fourier transform이 다음과 같이 있고 이를 2개의 Fourier transform의 linear com

Edge Aware Filters Filter는 다양한 computer vision이나 graphics 분야에서 fundamental building block의 역할을 한다. 이러한 filter의 하나로 특수한 경우가 바로 edge aware filter이다. Edg

Edge aware filter 중 가장 대표적인 bilateral filter를 알아보았다. 이번에는 다른 방법인 guided image filtering에 대해서 알아보려고 한다. Guided filter는 마찬가지로 edge aware filter이며 bilate

Color Basics Color Model Color는 digital image에서 중요한 요소이며, image의 color를 설명하기 위해서는 color model이 필요하다. Color model은 숫자들의 tuple로서 color를 설명하려는 추상적이고 수학적

More About Colors Color Is Perceptual 개체들의 color에는 perceptual property가 존재한다. 사람의 눈에는 개체의 color를 red, green, blue 등으로 인식하게 되지만 color는 자체적으로 개체들의 주된 물

Multiresolution Processing 서로 다른 크기의 얼굴이 포함되어 있는 image를 가지고 있다고 해보자. 이렇게 크기가 다른 얼굴을 검출하기 위해서 우리는 multiresolution processing을 사용할 수 있다. Mutliresolutio

Cut-and-Paste Cut-and-paste는 간단한 image blending 기법 중 하나로, 2-step으로 진행이 된다. 첫번째는 image로부터 sprite를 추출한다. Sprite는 input image와 mask가 있을 때, input image로부

Image processing에는 주로 다루는 2개의 image operation이 있다. 그 중 하나는 filtering이고, 나머지 하나는 warping이다. Filtering은 pixel의 값을 바꾸는 것이지만, warping은 pixel의 위치를 바꾸는 것이다

Recovering Transformations 이전에는 서로 다른 transformation들에 대해서 다루어보았다. 만약 2개의 image를 가지고 있다면 이들 사이의 적절한 transformation을 어떻게 찾을 수 있을까? 이번에는 transformation

Example - Panorama Image alignment에 대해서 알아보기에 앞서서 다음의 image를 보도록 하자. Image alignment는 여러 image를 정확하게 겹치기 위해서 image들을 정렬하는 기법이다. Image alginment의 적용 사

Feature-Based Alignment Feature-based alginment의 전반적인 과정은 다음과 같다. 우리가 정렬하고 싶은 2개의 image가 주어졌을 때, 가장 먼저 중요한 feature point들에 대해서 찾아야 한다. Feature point는

Morphology Morphology라는 단어는 일반적으로 동물과 식물의 형태와 구조를 다루는 생물학의 한 분야를 가리킨다. 그러나 이 단어가 image processing에서는 수학적으로 사용이 된다. Morphology는 boundary, skeleton, con

Global Optimization Image processing에서 optimization 기반의 approach에 대해서 알아볼 것이다. 먼저 numerical optimization problem에 대해서 다뤄볼 것이다. 이 문제는 구체적인 objective fu

Another Example: Image Denoising 이전에 살펴본 regularization optimization을 어떻게 활용할 수 있을까? Image denoising을 예시로 좀 더 실용적으로 살펴보도록 하자. Image denoising의 목표는 inp

Image Degradation Image degradation은 image의 화질을 떨어뜨리는 현상을 말한다. Image degradation에는 다음과 같이 여러 다양한 종류가 있다. 만약 빛이 적은 환경에서 사진을 촬영한다면 image 상에 알 수 없는 모양들이

Classical Image Denoising 지금부터는 deep learning 이전 시대의 image restoration 기법들에 대해서 알아보고자 한다. 실제로 image restoration 기법은 정말 다양하게 존재한다. 앞으로 대표적인 3개의 image r

Classical Super-Resolution Super-resolution도 image restoration에서 대표적인 기법 중 하나이다. Super-resolution은 2종류의 problem이 존재한다. 하나는 single image SR이고, 다른 하나는 m

Classical Image Deblurring Image deblurring은 blurred image에 있는 blur를 제거해서 다음과 같이 sharp image로 만드는 image restoration 기법 중 하나이다. 이 문제에서 목표는 blurred ima

Image synthesis and generation은 computer vision과 graphics에서 널리 연구되는 분야들 중 하나이다. 특히 image synthesis는 computer graphics의 메인 주제로, computer graphics는 어떻게

GANs 최근들어 수많은 image synthesis는 neural network를 사용한다. GAN은 generative adversarial network의 약자이며 2014년도에 "Generative Adversarial Nets"라는 논문에서 처음으로 소개되었다

Style & Contents Style transfer는 texture transfer와 거의 유사하다. Style transfer에서는 image를 style과 content의 조합으로 생각한다. 사실 style과 content라는 것을 정의하는데는 모호한 부분이

Image Completion Image editing, image manipulation에도 deep learning 기반의 연구들이 많이 존재한다. Image completion도 이와 비슷한 예제이고, image inpainting, holl filling과 동일