Learning multiple quantiles with neural networks

분위수 회귀 모형은 설명 변수가 주어진 경우 조건부 분포를 파악하는데 유용하다.

모형의 모수 혹은 weight는 check loss function으로 구성된 목적함수를 최소화하여 추정된다.

그러나, 여러개의 분위수를 동시에 추정할 때, 조건부 분위수가 역전되는 문제가 종종 발생하며 이를 crossing 문제라고 한다. 쉬운 예로, 선형 모형에서 기울기가 다른 값을 가진다면 반드시 역전이 일어나게 된다.

이는 분포함수가 증가함수라는 성질에 위배되는 심각한 문제이다. 90% 분위수가 80% 분위수보다 작게 추정되는 문제라고 생각해보면 문제의 심각성을 이해하기 쉬울 것이다.

본 연구에서는 신경망 모형을 사용하여 분위수 회귀 모형을 구성하는 한편, crossing 문제를 방지하는 새로운 방법을 제안하고자 한다.

Crossing 문제는 non-crossing SVM 모형에서 사용되는 부등 제약조건을 도입하여 해결했다. 그러나, 신경망 모형으로 구성된 부등제약조건을 포함한 최적화 문제를 Gradient descent method와 같은 일차 방법으로 해결하기는 어렵다.

이를 해결하기 위해 제약조건을 항상 만족하는 임의 변수를 도입하고 lasso penalty를 통해 원래의 변수와 임의 변수가 비슷한 값을 갖도록 했다. 제안 알고리즘은 부등제약 문제에서 쉽게 적용 가능한 projected gradient descent method과는 달리 많은 계산량이 필요한 projection step을 피할 수 있어 효율적이다.

논문 게재에 성공했다! [link]