[Probability] Gaussian Process

🪴 Task

하나의 함수에서 나오는  context dataset 이 다음과 같이 주어져있을 때 $$Context:\{(x_1,y_1),(x_2,y_2),...,(x_c,y_c)\}$$ 이 주어졌을 때 $$Target:x_1^{\ast },x_2^{\ast },...,x_t^{\ast }$$의 y값을 예측하는 방법

 

🪴 Gaussian Process

Gaussian Process에서는 예측값을 Normal distribution으로, distribution over target 값들을 나타낸다. 즉, $${\hat{y}}_1^{\ast }\sim \mathcal{N}({\mu }_{y_1^{\ast }},{\sigma }_{y_1^{\ast }})$$ $${\hat{y}}_2^{\ast }\sim \mathcal{N}({\mu }_{y_2^{\ast }},{\sigma }_{y_2^{\ast }})$$ $$...$$ $${\hat{y}}_t^{\ast }\sim \mathcal{N}({\mu }_{y_t^{\ast }},{\sigma }_{y_t^{\ast }})$$

• Define probability distributions over functions, generalise from observed data.

🪴 Methodology

Gaussian process에서는 y*에 대한 예측값을 다음과 같이 정의한다.

$$y^{\ast }|y\sim \mathcal{N}(K_{\ast }{K}^{-1}y,K_{\ast \ast }-K_{\ast }{K}^{-1}{K}_{\ast }^T)$$ 의 분포를 가지며, 여기에 정의되는 K, K_*, K_**는 다음에 정의된 k를 바탕으로 계산된다. 이들은 context dataset들의 x값 간의 관계를 통해 이를 유추해내고자 한다. 이 때 시그마 값들은 하이퍼 파라미터에 속한다.

$$k(x,x^{\prime })={\sigma }_f^{2}exp(-\frac{(x-x^{\prime }{)}^2}{2l^2})+{\sigma }_n^2\delta (x,x^{\prime })$$을 바탕으로, 

행렬 계산을 통해 y*값을 유추해낸다. 이 때, computation complexity인 big0를 유추해보자면,

$$K^{-1}\sim O(C^3),K_{\ast }{K}^{-1}\sim O(T\times C^2)$$이므로 $$findingE(y^{\ast })\sim O(C^3+T\times C^2)$$