[Probability] Bayesian Neural Network

이 글은 최성준 교수님의 Bayesian Deep Learning 강좌와 Yarin Gal의 논문을 참조한 글로, 필자의 이해를 위해 작성된 글입니다.

📟 Bayesian Neural Network

1. Replace the deterministic network's weight parameters with distributions over these parameters
2. average over all possible weightes (referred to as marginalisation)

Given a training dataset $\mathcal{D}=(\mathbf{X},\mathbf{Y})={(x_i, y_i)}_{i=1}^N$, we would like to estimate a function $\mathbf{y = f(x)}$ that is likely to have generated our observations.

\subsection{Bayesian methods}
\subsubsection{Gaussian Process}

The Gaussian Process(GP) is a powerful tool in statistics that allows us to model distributions over functions. The Gaussian process offers desirable properties such as uncertainty estimates over the function values, robustness to over-fitting, and principled ways for hyper-parameter tuning. The use of approximate variational inference for the model allows us to scale it to large data via stochastic and distributed inference.\cite{Gal2015DropoutC}

Gaussian processes put prior distribution over the space of functions $p(\textbf{f})$. This distribution is the prior belief as to which functions are more likely or less likely to have generated dataset. The posterior distribution over the space of functions given train dataset $(\mathbf{X},\mathbf{Y})$:
$$p(\mathbf{\text{f}}|\mathbf{\text{X,Y}})\propto p(\mathbf{\text{Y}}|\mathbf{\text{X,f}})p(\mathbf{\text{f}})$$

This distribution captures the most likely functions given the train dataset. By modeling the distribution over the space of functions with a Gaussian process, we can analytically evaluate its corresponding posterior. To model the data we have to choose a covariance function for the Gaussian distribution. This function defines the (scalar) similarity between every pair of input points $\textbf{K}(x_i, x_j)$. Given a train dataset of size N this function induces an N $\times$ N covariance matrix. Evaluating the Gaussian distribution involves an inversion of an N by N matrix, an operation that requires $\mathcal{O}(N^3)$ time complexity. Many approximations to the Gaussian process result in a manageable time complexity. Bayesian Neural Network solve this problem by variational inference(VI).

\subsubsection{Bayesian Neural Network}
Bayesian Neural Networks provide a principled mathematical framework where $\mathbf{W}_i$ is the NN's weight matrices of dimensions $K_i \times K_{i-1},$ $\mathbf{w} = \{\mathbf{W}_i\}_{i=1}^L$ is set of random variables for a neural network model with L layers.  The predictive distribution for a new input point $x^*$ is:
$$p(y^{\ast }|x^{\ast },\mathcal{D})=\int p(y^{\ast }|x^{\ast },\mathbf{w})p(\mathbf{w}|\mathcal{D})d\mathbf{w}$$

Bayesian inference is used to compute a posterior over the weights $p(\mathbf{w}|\mathcal{D})$. However exact Bayesian inference is computationally intractable for neural networks. (As $p(\mathbf{w}|\mathcal{D}) = p(\mathcal{D} | \mathbf{w}) p(\mathbf{w})/{p(\mathcal{D})}$, $p(\mathcal{D})$ cannot usually be evalutaed analytically.) Instead of computing the posterior distribution, we can use variational inference \cite{hintonDescriptionlength} to approximate the (intractable) posterior distribution $p(\mathbf{w}|\mathcal{D})$ with (tractable) variational posterior $q_\theta(\mathbf{w})$ that we get by the KL divergence minimization. 
The predictive distribution can be approximated by minimizing KL divergence.
$$p(y^{\ast }|x^{\ast },\mathcal{D})=\int p(y^{\ast }|x^{\ast },\mathbf{w})p(\mathbf{w}|\mathcal{D})d\mathbf{w}\approx \int p(y^{\ast }|x^{\ast },\mathbf{w})q_{\theta }(\mathbf{w})d\mathbf{w}$$
The level of similarity among two distributions would be: 
$$\begin{array}{rl}{\mathrm{D}}_{\mathrm{KL}}[q_{\theta }(\mathbf{w})\parallel p(\mathbf{w}|\mathcal{D})]& =\int q_{\theta }(\mathbf{w})\log \frac{q_{\theta }(\mathbf{w})}{p(\mathbf{w}|\mathcal{D})}d\mathbf{w}\\ & =\int q_{\theta }(\mathbf{w})\log \frac{q_{\theta }(\mathbf{w})p(\mathcal{D})}{p(\mathcal{D}|\mathbf{w})p(\mathbf{w})}d\mathbf{w}\\ & =\int q_{\theta }(\mathbf{w})\log \frac{q_{\theta }(\mathbf{w})}{p(\mathbf{w})}d\mathbf{w}+\int q_{\theta }(\mathbf{w})\log p(\mathcal{D})d\mathbf{w}-\int q_{\theta }(\mathbf{w})\log p(\mathcal{D}|\mathbf{w})d\mathbf{w}\\ & ={\mathrm{D}}_{\mathrm{KL}}[q_{\theta }(\mathbf{w})\parallel p(\mathbf{w})]+\log p(\mathcal{D})-{\mathbb{E}}_{\mathbf{w}\sim q_{\theta }(\mathbf{w})}[\log p(\mathcal{D}|\mathbf{w})]\end{array}$$

Minimizing the KL divergence is equivalent to maximizing the ELBO(Evidence Lower BOund) which also contains the integral with respect to the variational parameters defining $q_\theta(\mathbf{w})$. 
$$\begin{array}{rl}\log p(\mathcal{D})& ={\mathbb{E}}_{\mathbf{w}\sim q_{\theta }(\mathbf{w})}[\log p(\mathcal{D}|\mathbf{w})]-{\mathrm{D}}_{\mathrm{KL}}[q_{\theta }(\mathbf{w})\parallel p(\mathbf{w})]+{\mathrm{D}}_{\mathrm{KL}}[q_{\theta }(\mathbf{w})\parallel p(\mathbf{w}|\mathcal{D})]\\ & \ge {\mathbb{E}}_{\mathbf{w}\sim q_{\theta }(\mathbf{w})}[\log p(\mathcal{D}|\mathbf{w})]-{\mathrm{D}}_{\mathrm{KL}}[q_{\theta }(\mathbf{w})\parallel p(\mathbf{w})]=\mathbf{\text{ELBO}}\end{array}$$

 Maximizing ELBO will result in a variational distribution $q_\theta(\textbf{w})$ that explains the data well.
$$p(y^{\ast }|x^{\ast },\mathcal{D})=\int p(y^{\ast }|x^{\ast },\mathbf{w})p(\mathbf{w}|\mathcal{D})dz\approx \int p(y^{\ast }|x^{\ast },\mathbf{w})q_{\theta }(\mathbf{w})d\mathbf{w}:=q_{\theta }^{\ast }(y^{\ast }|x^{\ast })$$
where $q_\theta^*(\textbf{w})$ is an optimum. To sum up, on Bayesian Neural Network there are many methods of approximating posterior distribution $p(\textbf{w}|\mathcal{D})$ that can be used to approximate the predictive distribution $p(y^*|x^*, \mathcal{D})$. For variational inference, there are many methods of approximating posterior distribution $p(\textbf{w}|\mathcal{D})$ for example Monte Carlo sampling, SGD, EM algorithm. MC dropout use Monte Carlo sampling.