Mathematics
[Probability] Bayesian Neural Network
이 글은 최성준 교수님의 Bayesian Deep Learning 강좌와 Yarin Gal의 논문을 참조한 글로, 필자의 이해를 위해 작성된 글입니다. 📟 Bayesian Neural Network Replace the deterministic network's weight parameters with distributions over these parameters average over all possible weightes (referred to as marginalisation) Given a training dataset $\mathcal{D}=(\mathbf{X},\mathbf{Y})={(x_i, y_i)}_{i=1}^N$, we would like to estimate a function $\..
[Probability] 3. Gaussian process, Gaussian Process Latent Variable Model(GPLVM)
🌡️ Gaussian Process Gaussian Process is a collection of random variables, any finite number of which have a joint Gaussain Distribution
[Probability] 2. Random Process, Random Variable, Functional analysis, Kernel function
이 글은 최성준 교수님의 Bayesian Deep Learning 강좌를 요약한 글로, 필자의 이해를 위해 작성된 글입니다. 🦉 전체 흐름 Random Process를 이해하기에 앞서 Random Variable을 이해하고, RV는 sigma-field에서 정의되는 function이므로 이 일련의 과정을 이해하고자 한다. 🐻 Set, sigma-field, Measure --> Probability Set Set function: a function assigning a number of a set Measure is a set function sigma-field: a collection of subsets of U such that axioms(Sigma-field is designed to defi..
[Probability] 1. Probability Distribution: Gaussian Distribution
Distributions Gaussain Distribution(Normal Distribution) Bernoulli Distribution Binomial Distribution Cauchy Distribution Gaussian Distribution(Normal Distribution) Univariate Gaussian distribution Multivariate Gaussian distribution Conditional Gaussian distribution etc Central limit theorem Bernoulli Distribution
[Linear Algebra] L1/L2 Norm, Loss
이 글은 필자가 이해한 부분을 정리하고자 작성된 글입니다. 참고한 블로그 글은 링크1 입니다. 🧘♂️ Norm, L1/L2 Norm Norm: 두 벡터 사이의 길이/크기를 나타내는 방법 $${ \parallel x \parallel}_p := {(\sum_{i=1}^n {\mid x_i \mid}^p)}^{1/p} $$ 대표적인 Norm인 L1, L2 norm $$p=(p_1, p_2, ..., p_n) \; and \; q = (q_1, q_2, ..., q_n) $$ L1 Norm: 절댓값의 합 $$d_1(p,q) = \parallel p-q \parallel_1 = \sum_{i=1}^n \mid p_i-q_i \mid $$ L2 Norm: 흔히 알고 있는 유클리디안 distance로 unique..
[Probability] Gaussian, Bayesian 용어 정리
🐤 Gaussian Gaussian distribution $$\mathcal{N}(\mu, \sigma)$$ Gaussain Process: A collection of random variables, any finite number of which have a joint Gaussian distribution Gaussain Process regression 🐤 Bayesian Bayes' rule $$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$$ Bayesian probability Bayesian Inference Bayesian Neural Network 🐤 내가 Gaussian과 Bayesian 이 헷갈리는 이유 Gaussian Process와 Bayesian Neural Ne..
![[Probability] Gaussian Process](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fbkh0ws%2Fbtrrpm3UUwk%2FToPzYNnFgiIWSlFKqyOTk1%2Fimg.png)
[Probability] Gaussian Process
🪴 Task 하나의 함수에서 나오는 context dataset 이 다음과 같이 주어져있을 때 $$Context: \big\{(x_1, y_1), (x_2, y_2), ..., (x_c, y_c)\big\}$$ 이 주어졌을 때 $$Target: x_1^*, x_2^*, ..., x_t^*$$의 y값을 예측하는 방법 🪴 Gaussian Process Gaussian Process에서는 예측값을 Normal distribution으로, distribution over target 값들을 나타낸다. 즉, $$\hat{y}_1^* \sim \mathcal{N}(\mu_{y_1^*}, \sigma_{y_1^*})$$ $$\hat{y}_2^* \sim \mathcal{N}(\mu_{y_2^*}, \sigma_{y_..
[Information theory] Information/Entropy/Cross Entropy/KL Divergence
본 글은 위 링크를 참조하여 정리한 글입니다. 🪄Entropy/Cross Entropy/KL Divergence 특정 stochastic 확률을 띄는 사건 X 일어날 Probability확률 P(X) Information정보량: 주어진 이벤트에서 발생하는 놀라움의 양 (ex. 동전 던지기) I(X) $$Information \; I(X) = -log_2 P(X)$$ Entropy엔트로피: 임의의 이벤트에서 발생한 Information(놀라움)의 평균/기댓값 H(X) $$Entropy \; H(X) = E(I(X)) = -\sum P(X)log_2 P(X)$$ 사건 P가 확률분포를 가질 때 그 분포를 근사적으로 표현하는 확률분포 Q를 대신 사용할 경우: Cross Entropy크로쓰 엔트로피: 두 확률분포..