AI, Deep Learning Basics/NLP

[생각노트] GPT-3 / Chain of thoughts: InstructGPT

이 글은 필자가 NLP를 하면서 조금씩 배운 내용을 적은 [생각노트] 시리즈 중 하나입니다. 내용이 맞지 않을 수 있다는 점 참고하세요.
  • Transformer --> GPT-3
  •  GPT-3
    • Dataset: CommonCrawl, WebText2 (from web pages), Wikipedia, Books1, Books2 (a large collection of free novel books written)
  • Chain of thoughts
    • ex. InstructGPT, Step by step
    • Zero-shot이나 Few-shot이 존재한다.
저작자표시 비영리 동일조건

'AI, Deep Learning Basics > NLP' 카테고리의 다른 글

[CS182 Sergey Levine] Deep Learning - NLP Basics  (0) 2022.04.19
[NLP] 4. Modern Recurrent Neural Networks: Seq2Seq  (0) 2022.02.12
[NLP] 3. Modern Recurrent Neural Networks: GRU, LSTM  (0) 2022.02.05
[NLP] 2. RNN Basics: Language Model  (0) 2022.02.01
[NLP] 1. Introduction of NLP, Word2vec  (0) 2022.01.22
    Jisu_Han
    Jisu_Han

    티스토리툴바