# quantile regression

5개의 포스트

Multiple quantile regression with Tensorflow - Part 2

Abstract 이전 포스팅에서는 Tensorflow를 이용하여 Multiple quantile을 추정하기 위한 모델을 구성하는 과정을 소개했다. 이번 포스팅에서는 예제를 통해 모델을 적합해보고, 시각화해보도록 하겠다. Main Example 예제는 이번에는 조금 다른 예제를 사용해봤다. y값을 다음과 같이 구성했다. $$ y = \frac{\sin(\pi x)}{\pi x} + \epsilon, \\ $$ 이 때, $x$와 $\epsilon$은 각각 다음의 분포에서 random sampling 했다. $$ x \sim \text{Uniform}(-1, 1), \epsilon ~ \sim N(0, 0.1 \times \exp(1 - x)) $$ 코드로 표현하자면 다음과 같다.

2023년 3월 10일
·
0개의 댓글
·

Multiple quantile regression with Tensorflow - Part 1

Abstract 이전 포스팅에서는 Multiple quantile에 대해서 소개했다. 이번 포스팅에서는 Tensorflow를 활용하여 동시에 Multiple quantile을 추정하며, Crossing problem을 방지할 수 있는 방법에 대해 서술한다. Main Deep learning을 사용하여 Multiple quantile regression을 어떻게 적합할 수 있을까? 많은 방법이 있겠지만 이전 포스팅에서 소개한 Cannon의 접근법을 사용해봤다. Transform data 먼저, 아래처럼 학습 데이터를 입력 quantile들의 개수만큼 복제하는 DataTransformer class를 만들었다. Layers 다음으로, 각각의 Layers에 대해서 정의한다. Cannon의 연구에서는 Input에서

2023년 3월 9일
·
0개의 댓글
·

Multiple quantile regression

Abstract 지난 포스팅에서는 LightGBM을 활용하여 quantile 을 추정하는 방법을 소개했고, 여러 개의 quantile 을 각각 추정할 때 발생할 수 있는 quantile 사이의 역전 문제점(Crossing problem)을 소개했다. 이번 포스팅에서는 동시에 여러개의 quantile을 추정하기 위한 목적함수와 crossing problem을 방지하기 위한 제약조건, 그리고 crossing problem을 방지하기 위한 몇 개의 접근법을 소개한다. Main 먼저, 목적함수는 Introduction 에서 소개한 여러개의 Quantile loss의 합쳐서 아래와 같이 만들어준다. $$ L(f{\tau1}, ..., f{\tauT}) = \frac{1}{nT} \sum{t=1}^T \sum{i = 1}^n \rho{\taut}(y_i -

2023년 2월 23일
·
2개의 댓글
·

Quantile regression with LightGBM

Abstract 지난번 포스팅에서는 quantile regression 이 대략적으로 어떤것인지 얘기했었다. 이번 포스팅에서는 실제로 quantile을 LightGBM을 이용해서 적합해본다. LightGBM 은 Microsoft 에서 개발한 gradient boosting tree framework 로 모델 적합이 빠르고 계산량이 적어서 자주 사용된다. LightGBM 에서는 기본적으로 quantile을 추정하는 알고리즘을 내장하고 있다. 그러나, LightGBM에는 한 가지 결함이 있는데, 이는 마지막 Chapter에서 다루도록 하겠다. Code 예제에 사용할 데이터는 다음과 같다. 예제는 링크에서 참고했다. 해당 데이터를 간단하게 다음과 같이 시각화 해볼 수 있다. ![](https://velog.velcdn.c

2023년 2월 20일
·
0개의 댓글
·

Introduction

Abstract Regression model은 일반적으로 반응 변수의 Conditional expectation을 파악하기 위해 사용된다. 마찬가지로, Quantile regression은 설명변수와 반응변수 사이의 관계를 파악하기 위해서 사용되며, 이에 더해 반응 변수의 Conditional distribution의 요약 정보를 파악할 수 있어 용이하다. 이 글에서는 Quantile regression의 전반적인 내용들을 소개한다. Main Quantile regression의 목적은 Conditional quantile, $\tau \in [0, 1]$에 대해서 $$ q{Y|X}(\tau )=\inf \left\{y:F{Y|X}(y)\geq \tau \right\} $$ 를 추정하는 것이 목적이다. Koenker, Ng, and Portnoy (1994) 가 선형 모델 $f_\tau(x) = x^\top \beta$ 와 Check loss (혹은 Tilted

2023년 2월 17일
·
0개의 댓글
·