Mathematics/Probability, Statistics, Information

Mathematics/Probability, Statistics, Information
[Probability] Bayesian Neural Network
이 글은 최성준 교수님의 Bayesian Deep Learning 강좌와 Yarin Gal의 논문을 참조한 글로, 필자의 이해를 위해 작성된 글입니다. 📟 Bayesian Neural Network Replace the deterministic network's weight parameters with distributions over these parameters average over all possible weightes (referred to as marginalisation) Given a training dataset $\mathcal{D}=(\mathbf{X},\mathbf{Y})={(x_i, y_i)}_{i=1}^N$, we would like to estimate a function $\..
→2022.03.05
Mathematics/Probability, Statistics, Information
[Probability] 3. Gaussian process, Gaussian Process Latent Variable Model(GPLVM)
🌡️ Gaussian Process Gaussian Process is a collection of random variables, any finite number of which have a joint Gaussain Distribution
→2022.03.05
Mathematics/Probability, Statistics, Information
[Probability] 2. Random Process, Random Variable, Functional analysis, Kernel function
이 글은 최성준 교수님의 Bayesian Deep Learning 강좌를 요약한 글로, 필자의 이해를 위해 작성된 글입니다. 🦉 전체 흐름 Random Process를 이해하기에 앞서 Random Variable을 이해하고, RV는 sigma-field에서 정의되는 function이므로 이 일련의 과정을 이해하고자 한다. 🐻 Set, sigma-field, Measure --> Probability Set Set function: a function assigning a number of a set Measure is a set function sigma-field: a collection of subsets of U such that axioms(Sigma-field is designed to defi..
→2022.03.05
Mathematics/Probability, Statistics, Information
[Probability] 1. Probability Distribution: Gaussian Distribution
Distributions Gaussain Distribution(Normal Distribution) Bernoulli Distribution Binomial Distribution Cauchy Distribution Gaussian Distribution(Normal Distribution) Univariate Gaussian distribution Multivariate Gaussian distribution Conditional Gaussian distribution etc Central limit theorem Bernoulli Distribution
→2022.02.19
Mathematics/Probability, Statistics, Information
[Probability] Gaussian, Bayesian 용어 정리
🐤 Gaussian Gaussian distribution $$\mathcal{N}(\mu ,\sigma )$$ Gaussain Process: A collection of random variables, any finite number of which have a joint Gaussian distribution Gaussain Process regression 🐤 Bayesian Bayes' rule $$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$$ Bayesian probability Bayesian Inference Bayesian Neural Network 🐤 내가 Gaussian과 Bayesian 이 헷갈리는 이유 Gaussian Process와 Bayesian Neural Ne..
→2022.02.12
Mathematics/Probability, Statistics, Information
[Probability] Gaussian Process
🪴 Task 하나의 함수에서 나오는 context dataset 이 다음과 같이 주어져있을 때 $$Context:\{(x_1,y_1),(x_2,y_2),...,(x_c,y_c)\}$$ 이 주어졌을 때 $$Target:x_1^{\ast },x_2^{\ast },...,x_t^{\ast }$$의 y값을 예측하는 방법 🪴 Gaussian Process Gaussian Process에서는 예측값을 Normal distribution으로, distribution over target 값들을 나타낸다. 즉, $${\hat{y}}_1^{\ast }\sim \mathcal{N}({\mu }_{y_1^{\ast }},{\sigma }_{y_1^{\ast }})$$ $$\hat{y}_2^* \sim \mathcal{N}(\mu_{y_2^*}, \sigma_{y_..
→2022.01.21
Mathematics/Probability, Statistics, Information
[Information theory] Information/Entropy/Cross Entropy/KL Divergence
본 글은 위 링크를 참조하여 정리한 글입니다. 🪄Entropy/Cross Entropy/KL Divergence 특정 stochastic 확률을 띄는 사건 X 일어날 Probability확률 P(X) Information정보량: 주어진 이벤트에서 발생하는 놀라움의 양 (ex. 동전 던지기) I(X) $$InformationI(X)=-lo{g}_{2}P(X)$$ Entropy엔트로피: 임의의 이벤트에서 발생한 Information(놀라움)의 평균/기댓값 H(X) $$EntropyH(X)=E(I(X))=-\sum P(X)lo{g}_{2}P(X)$$ 사건 P가 확률분포를 가질 때 그 분포를 근사적으로 표현하는 확률분포 Q를 대신 사용할 경우: Cross Entropy크로쓰 엔트로피: 두 확률분포..
→2022.01.08

• 이전
• 1
• 다음