2022 Summer) Common Sense Workshop

이 글은 필자가 2022년 8월 11일에서 12일까지 열린 Common sense workshop을 참여하고 UNIST 임성빈 교수님과 연세대학교 유영재 교수님 강의를 듣고 배운 내용을 정리한 글입니다. 필자의 개인적인 연구 내용에 가미되어 있습니다.
개인적으로 생각하고 있던 부분들을 교수님들의 견해로 생각해볼 수 있어서 만족스러운 시간이었습니다.

What is essential for the robot? Which knowledge do we have to inject?

• Common sense에서, domain adaptation으로 가는 단계적 접근이 필요한 것 같다. - Related to Behavior intelligence
  1. Common sense 생성
     1. Big data에 의해 생성된 memorization 정보 (현재, System 1)에서 더 나아가 logical한 reasoning이 적용된 reasoning perception (system 2)으로 나아가야 한다.
        
        • System 1: Relies on learned behavior
        • System 2: Thinking is slow, deliberate and more logical. Effort involved.
     2. 대부분 self-supervised한 방법으로 하는 것이 괜찮은 방법이라고 생각한다. 왜지?
  2. Grounding common sense in the domain: Scene 정보를 knowledge graph으로 바꾸어, reasoning을 처리한다.
     • 절차 
       1. Scene 정보는 Multi-modal sensor 정보들. 이를 knowledge graph로 통합하는 과정이 필요하다.
       2. knowledge graph를 써서 얻는 이득이 무엇인가?
       3. Reasoning 처리: Casual information이 가미된 structured한 graph를 만들어야 하는데, context dependent한 부분이기에 만드는 것 자체가 쉽지가 않다. 데이터 생성도 쉽지 않다.
     • What should be considered on grounding?
       
       • Planning할 때 주어진 장면/공간과의 mapping이 이루어져야 한다. 즉, multi-modal data로 Planning 처리가 필요할 수 있다. text+action(motion)+vision(3D scene)
  3. 새로운 사실의 학습 및 추론 범용적 상식의 활용 능력 검증

Common sense?

Facts about events, including actions (cause) and their effects.

• 대부분 지역, country에 invariant한 개념이고, domain adaptation으로 variance를 극복하는 것으로 보인다.
• Causal reasoning (ICM principle: invariance principle) & Commonly shared (그 외의 값들이 invariant해야, 어떤 변수를 바꿔도 유지를 하고 싶은 functional한 관계를 무너뜨리지 않는다.)
  • Common sense should be considered from a multi-modal perspective - NLP and vision should go together. There is no such thing as either being main or using only one.
    • For example, Gettysberg 조약을 vision으로 표현하기 어려울 것이고, 명화를 NLP로 표현하기 어려울 것이다.
• There should be a one-to-one representation mapping between common sense and language (or knowledge graph).

What is wrong with current foundation models (ex. GPT-3)?

1. Scarce dataset: 아직도 데이터셋이 부족하다. 데이터셋에 대한 bias가 존재하므로 배우지 못한 것들에 대한 처리가 부족하다. General한 것을 학습하기에는 거리가 멀었다. 
   • Do Language Model learn commonsense knowledge? 
     1. The model's zero-shot performance vary depending on certain evaluation design choice (ex. Prompt format, score function)
     2. Zero-shot has high performance than few-shot. < How can this even happen? This means they are merely memorizing things.
   • Step-by-step paper: Common sense QA에서 성능이 떨어진다. 
2. No common sense-inferrable dataset: Do even humans write down their common sense in the text? > We have to focus on the point that NLP and vision should go together > Video would be the final dataset (최종관문)
3. Dataset distribution shift: Super-human performance는 real-world example을 만나면 무너진다.
4. 알고리즘적으로 적용할 수 있는 structure discovery가 필요하다. > Memorization에서 벗어나 perception 추론할 수 있는 구조

•  

Terminologies that I first heard

• Behavior Intelligence (행동지능): 물리적 지식과 공간 지리 능력을 바탕으로 주어진 상황에서 영상 및 텍스트 정보를 심도있게 활용하는 능력
• Soft Robotics: A subfield of robotics that concerns the design, control, and fabrication of robots composed of compliant materials. -Wikipedia -내 쪽이랑 아직 큰 관련이 없어보인다.
• Foundation model: Large-scale model trained on a vast quantity of unlabeled data resulting in a model that can be adapted to a wide range of downstream tasks.

추가. Upstage 기업 (이활석 박사님, Upstage CTO)

내가 AutoEncoder를 2년전에 배우기 시작했을 때 들었던 강의 "AutoEncoder의 모든 것"의 이활석 박사님 강좌를 들은게 엊그제 같은데 이제는 굿즈를 받게 되다니. 그 때의 열정과 절박함이 생각나서 기분이 좋았다.