2022 Fall) Colloquium Lecture notes

이 글은 2022년 가을학기 콜로키움 강연을 듣고 든 생각들을 정리한 메모리 페이지 입니다.

• 2022.09.23 이제희 NCSoft 부사장
  • 교수에서 기업으로: 기업 (돈, 인력) 으로가서 인류에 impact를 주는게 중요하다. 큰 영향을 주기 위해서 기업에 간다는 말이 굉상히 인상깊었다. 나도 인류에 영향을 어느정도 주고자 연구의 길에 들어오게 되었는데, 이걸 증폭시키기 위해서 기업으로 간다, 인력이 충분한 곳으로 간다는게 생각해볼만한 영역인 것 같다.
• 2022.09.23 김종기 푸른나무재단 명예이사장
  • 리더의 조건
    1. 상대에게 진정과 최선을 다하는가
    2. 작고 사소한 것을 놓치지 않는가
    3. 미래에 대한 변화를 가져올 것인가
    4. 합리적이고 투명한가
    5. 준비와 마무리는 잘하고 있는가
• 2022.09.30 유상호 한국투자증권 부회장
  • 리더의 조건: 비전을 제시, 행복을 주는 (가장 큰 수혜자는 곧 나다.), 소통이 되는 (긍정의 에너지 무한 발산, 웃으며 악역하기)
  • 인재평가방법: 2x2 matrix=> 정량적 평가 (실력/성과) x 정성적 평가 (충성심) 
    • 둘다 가능한 사람은 리더로 키우고, 하나만 가능한 사람은 나름대로 쓸모가 있으며, 나머지는 빨리 다른 길로 인도
  • 스트레스를 풀 수 있는 상황을 만들어야 한다. 일상에서 작은 설레임을 만들기.
    • 여행 
• 2022.10.21 Dr. Caelan Garrett (NVIDIA Research Scientist)
  • Specification of sampling procedures as streams
  • What sampler do we need?
    1. Low dimensional placement stability constraint
    2. Directly sample values that satisfy the constrint
• 2022.10.21 윤찬성
  • Learning dependencies in Long Horizon Planning
    1. Forward dependency: Future action feasibility 잡고나서 뭘해야 할지
    2. Backward dependency: 과거에 못한 거 trace
• 2022.10.28 이상완 카이스트 신경과학-인공지능 융합연구센터장: 전두엽의 메타 강화학습
  • Brain-like RL: 인간의 뇌를 모방한 강화학습 기법, Cognitive Prosthetics.
  • HippoCampus: Sucessor representation
  • Basal Gangila: Distributional RL, Model-Free RL
  • 전두엽: Model-based RL, Planning, Goal-directed learning
• 2022.11.04 이기민 Google Research Scientist: Transformer for Reinforcement Learning 
  • Preference-based Reinforcement Learning
• 2022.11.04 Hyung Won Chung Google Brain: Large language models: beyond self-supervised pretraining
  • Direction of LLM: From system 1, to system 2 reasoning
    • LLM falls that require system 2 thinking
    • How about prompt engineering?
      • Prompt engineering cannot change the model. Pre-trained models are more capable for generalization. 나는 prompt engineering의 일종으로 fine-tuning을 생각했는데 둘이 다른 부분인가? Prompt engineering이 fine-tuning이면 model change하는거 아닌가? Prompting에 여러 가지 전략이 존재하는 것인가?
      • Prompt engineering 보다는 task-specific fine-tuning. Self-supervised 랑 fine-tuning이랑은 어떤 연결성이 있는거지? Generalized pre-training + Instruction fine-tuning -> Generalization to unseen task.
    • Pre-trained 모델에 generic bias를 함축하고 있다.
    • Loss spike -floating type, Layer norm
  • Scalability 
    • What kinds of scalability?
      1. Parameter
      2. Dataset (diversity on task, number etc.)
      3. Number of tokens
    • Why do we need scalability?
      
      • Larger model have abilities that smaller model doesn't posess.
      • Towards generalization, Emergent behavior (Explore를 위한 "착즙"이라 판단)
    • 문제를 항상 볼 때, 이 문제가 scalable한지, General problem formulation으로 연결될 수 있는지 생각해보기
    • Google 이 일하는 방식: 하나의 idea -> Scalable할 때까지 풀기 (극한으로 치닫기) -> 다음 idea 생각
  • Training resource
    1. GPU resource
    2. Dataset
    3. Training time