AI, Deep Learning Basics/NLP

    AI, Deep Learning Basics/NLP

    [생각노트] GPT-3 / Chain of thoughts: InstructGPT

    이 글은 필자가 NLP를 하면서 조금씩 배운 내용을 적은 [생각노트] 시리즈 중 하나입니다. 내용이 맞지 않을 수 있다는 점 참고하세요. Transformer --> GPT-3 GPT-3 Dataset: CommonCrawl, WebText2 (from web pages), Wikipedia, Books1, Books2 (a large collection of free novel books written) Chain of thoughts ex. InstructGPT, Step by step Zero-shot이나 Few-shot이 존재한다.

    AI, Deep Learning Basics/NLP

    [CS182 Sergey Levine] Deep Learning - NLP Basics

    Goal: Check how sequential processing might be possible for robots Contents 4h 43m Lecture 10. Recurrent Neural Networks 1h 25m Lecture 11. Sequence to Sequence 1h 11m Lecture 12. Transformers 1h 4m Lecture 13. NLP 1h 3m

    [NLP] 4. Modern Recurrent Neural Networks: Seq2Seq
    AI, Deep Learning Basics/NLP

    [NLP] 4. Modern Recurrent Neural Networks: Seq2Seq

    🐶 Encoder-Decoder structure 🐶 Sequence to Sequence

    [NLP] 3. Modern Recurrent Neural Networks: GRU, LSTM
    AI, Deep Learning Basics/NLP

    [NLP] 3. Modern Recurrent Neural Networks: GRU, LSTM

    🎲 Gated Recurrent Units (GRU) 🎲 Long Short Term Memory (LSTM)

    [NLP] 2. RNN Basics: Language Model
    AI, Deep Learning Basics/NLP

    [NLP] 2. RNN Basics: Language Model

    이 글은 필자가 Dive into Deep Learning을 읽고 정리한 글입니다. 🏉 Language Model Given a text sequence that consists of tokens$(x_1, x_2, \cdots, x_T)$ in a text sequence of length $T$, the goal of language model is to estimate the joint probability of the sequence $P(x_1, x_2, \cdots, x_T)$. We should know how to model a document or even a sequence of tokens. 🏉 Learning a language Model Let us start by applying..

    AI, Deep Learning Basics/NLP

    [NLP] 1. Introduction of NLP, Word2vec

    🏓 NLP: Natural Language Processing 자연어를 처리하는 분야, 우리의 말을 컴퓨터에게 이해시키기 위한 분야를 의미합니다. 자연어는 살아있는 언어이며 그 안에는 '부드러움'이 있습니다. 🏓 '단어의 의미'를 잘 파악하는 표현방법 시소러스(Thesaurus, 유의어 사전) 활용 단어 네트워크(사람의 손으로 만든 유의어 사전)를 이용하는 방법이다. 단어 사이의 '상위와 하위' 혹은 '전체와 부분' 등 더 세세한 관계까지 정의해둔다. ex. Car = auto, automobile, machine, motorcar 대표적인 시소러스는 WordNet(NLTK 모듈)이 존재한다. Cons: 사람이 수작업으로 레이블링하는 번거로움/시대 변화에 대응하기 어렵다./단어의 미묘한 차이를 표현할 수..

    [NLP] RNN 예제로 살펴보는 RNN 맛보기
    AI, Deep Learning Basics/NLP

    [NLP] RNN 예제로 살펴보는 RNN 맛보기

    *이 글은 네이버 AI Hackerton의 참가 때 이용하였던 ClovaAI Github를 참고하여 작성되었습니다. 깃허브 링크를 누르시면 더 전반적인 코드를 보실 수 있습니다. 이 Encoder, Decoder 부분은 Attention 함수를 기반으로 작성되었기에 좀 어려움을 느끼실 수 있겠지만, RNN 전반적인 코드 작용에 대한 이해를 돕기 위해 작성되었습니다. 너무 깊게 보시는 것보다는 이런 흐름으로 이어진다는 느낌 정도를 받는다는 생각으로 가볍게 보시길 추천드립니다. Encoder 함수 엿보기 1. Conv2d: Convolution 작업(filter를 통해 곱하고, activation function을 거치는 작업)을 하는 레이어 input_channel : 1 < 초기 channel 개수 ou..

티스토리툴바