Training Tips for the Transformer Model

This article is the summary for Training Tips for the Transformer Model and Advanced Techiniques for Fine-Tuning Transformers. Training data preprocessing A higher batch size my be beneficial for the training and the batch size can be higher when excluding training sentences longer than a given threshold. It may be a good idea to exclude too long sentences. Training data size Comparing different..

(작성중) Optimal Estimation Algorithms: Kalman and Particle Filters

Kalman filter: Gaussian distribution Particle filter: Sampling-based algorithm

Training on GPU, CPU

이 사이트를 꼭 읽자. Training을 할 때 눈 여겨보아야 할 점은 bottleneck이 있는지이다. 즉, GPU와 CPU가 balance있게 잘 퍼졌는지 확인해야 한다는 점이다. CPU와 GPU 모두 RAM이 존재한다. CPU (RAM): 주로 serial 계산을 처리 GPU (DRAM, VRAM): matrix multiplication을 하는 역할을 한다. GPU Bottleneck (Hardward 문제) Hardward의 thread가 모자르다. -core가 모자르다. Thread를 사용할 Tensorcore 부족 Memory transfer 하드웨어 -> RAM, RAM -> GPU memory, GPU memory -> shared memory: 크게 3단계로 나뉘는데, 상위 단계로 보낼..

Scalability and Generalization

Scalability What kinds of scalability? Parameter Dataset (diversity on task, number etc.) Number of tokens Why do we need scalability? Larger model have abilities that smaller model doesn't posess. Towards generalization, Emergent behavior (Explore를 위한 "착즙"이라 판단)

[AI614] 03. Introduction to Task planning

학교 수업을 듣고 복습차 lec 8-10까지 정리한 review 글입니다. Outline: What does this review contain? Representations for task planning -Logic-based AI, First-order logic, and STRIPS Heuristic search for task planning 🚧 Representations for task planning -Logic-based AI, First-order logic, and STRIPS 🚧 Heuristic search for task planning

[AI614] 02. Introduction to Motion planning

학교 수업을 듣고 복습차 lec 5-7까지 정리한 review 글입니다. Outline: What does this review contain? Problem statement Discretization-based methods -A* Sampling-based algorithms -RRTs, PRMs Probabilistic completeness -RRT* Basic notion Configuration: A specification of the position of all points of a robot 로봇 모든 부위 위치 -센터 위치인데 shape알면 다 되는건가? robot shape랑 robot configuration이랑 무슨 차이지? If we know the joint angles (e..

[AI614] 01. Introduction to TAMP, Basics of robot manipulation

학교 수업을 듣고 복습차 Lecture 1-4까지 정리한 review용 글입니다. 내용의 간결성과 전달력을 위해 수식 설명은 제하였습니다. Outline: What does this review contain? Introduction of TAMP Planning vs. Learning based approach Planning -TAMP Positions and orientations of rigid bodies Manipulator forward and inverse kinematics Manipulator velocities and dynamics 🛝 Introduction of TAMP Difference btw industrial robot and intelligent robot agents i..

(작성중) [AI602] 3. Bayesian Deep Learning

1. Bayesian Machine Learning Posterior inference 2. Bayesian Deep Learning How: Variational inference Markov Chain Monte Carlo (MCMC) Sampling Bayes by Backprop 3. Bayesian Approximation 4. Appolication) Meta-learning: Neural Processes

(작성중) [Deep Learning] 헷갈리는 기본 용어 모음집 (2)

Benchmark Benchmark is the act of running a computer program, a set of programs, or other operations, in order to assess the relative performance of an object, normally by running a number of standard tests and trials against it. -Wikipedia Evaluation protocol with evaluation modes Off-policy RL vs. On-policy RL vs. Offline RL vs. Online RL 링크 Off-policy RL: Test할 때 meta-train dataset도 보는 경우 On-..

[AI602] 2. Self-supervised Learning

Self-supervised learning is an unsupervised learning strategy to learn transferable representations by solving data-generated tasks (pretext tasks). It also learns a good representation without supervision, and implements other tasks. The model is evaluated by stacking a task-specific layer. 결국에는, SSL은 어떤 objective를 해결하기 위해서 1. pretext task에는 기존의 dataset에서 반대의 representation을 만들어서 적용하는 방식. 이후에, ..

2022 Fall) Colloquium Lecture notes

이 글은 2022년 가을학기 콜로키움 강연을 듣고 든 생각들을 정리한 메모리 페이지 입니다. 2022.09.23 이제희 NCSoft 부사장 교수에서 기업으로: 기업 (돈, 인력) 으로가서 인류에 impact를 주는게 중요하다. 큰 영향을 주기 위해서 기업에 간다는 말이 굉상히 인상깊었다. 나도 인류에 영향을 어느정도 주고자 연구의 길에 들어오게 되었는데, 이걸 증폭시키기 위해서 기업으로 간다, 인력이 충분한 곳으로 간다는게 생각해볼만한 영역인 것 같다. 2022.09.23 김종기 푸른나무재단 명예이사장 리더의 조건 상대에게 진정과 최선을 다하는가 작고 사소한 것을 놓치지 않는가 미래에 대한 변화를 가져올 것인가 합리적이고 투명한가 준비와 마무리는 잘하고 있는가 2022.09.30 유상호 한국투자증권 부회..

[AI602] 1. Vision Transformer

Transformer: an all-attention model for encoder-decoder framework without any recurrences or convolutions. Attention Self-attention (문장 내에서의 연결) Scaled dot-product attention (with keys, values, and queries). Self-attention learns to encode a word at a certain position by learning what other words to focus on to better understand it. Done via matrix computations, which are fast to compute using G..

[AI602] AdvancedML Introduction

Vision Transformer Self-supervised Learning Bayesian Deep Learning

[Probabilistic Robotics] Planning and Control: Partially Observable Markov Decision Processes

이 글은 Probabilistic Robotics Chapter 16. Partially Observable Markov Decision Processes를 읽고 정리한 글입니다. To choose the right action, we need accurate state estimation. We need information-gathering tasks, such as robot exploration, for precise state estimation (i.e. reduce uncertainty). There are two types of uncertainty: uncertainty in action, and uncertainty in perception. Uncertainty in action) D..

[Probabilistic Robotics] Planning and Control: Uncertainty in action/Belief space

blockquote data-ke-style="style2">이 글은 Probabilistic Robotics Chapter 15. Markov Decision Processes를 읽고 정리한 글입니다. To choose the right action, we need accurate state estimation. We need information-gathering tasks, such as robot exploration, for precise state estimation (i.e. reduce uncertainty). There are two types of uncertainty: uncertainty in action, and uncertainty in perception. Uncertainty..

[AI614] Overview of Robot Task and Motion planning

Introduction to Robotics: Mechanics and Control Positions and orientations of rigid bodies Manipulator forward and inverse kinematics Manipulator velocities and dynamics Manipulator equation Motion planning Discretization-based methods -RRTs and PRMs Sampling-based algorithms -RRT* Probabilistic completeness Task planning Representations for task planning -Logic-based AI, First-order logic, and ..

2022 Summer) Common Sense Workshop

이 글은 필자가 2022년 8월 11일에서 12일까지 열린 Common sense workshop을 참여하고 UNIST 임성빈 교수님과 연세대학교 유영재 교수님 강의를 듣고 배운 내용을 정리한 글입니다. 필자의 개인적인 연구 내용에 가미되어 있습니다. 개인적으로 생각하고 있던 부분들을 교수님들의 견해로 생각해볼 수 있어서 만족스러운 시간이었습니다. What is essential for the robot? Which knowledge do we have to inject? Common sense에서, domain adaptation으로 가는 단계적 접근이 필요한 것 같다. - Related to Behavior intelligence Common sense 생성 Big data에 의해 생성된 memori..

Sim2Real transfer: Domain randomization, domain adaptation, System identification

이 글은 domain randomization의 이해를 돕기 위해 작성된 글입니다. 참고자료1를 해석한 글입니다. 더 자세히 나와있으니 읽어보길 추천합니다! 로보틱스에서 어려운 문제 중 하나는 모델 자체를 실제 환경에서 어떻게 돌아가게 하는지이다. 강화학습 알고리즘의 sample inefficiency와 실제 로봇의 data collection의 문제로 우리는 simulator에 많은 양의 데이터를 제공하여 훈련하도록 하애 한다. 하지만, simulator와 실제 환경 사이의 간극은 로봇을 실제 상황에서 돌아가게 할 때 많이 발생된다. 이러한 간극은 physical parameter, 예를 들어 마찰, kp, dampling, mass, density)나 더 치명적인 비물리적인 모델링 (i.e. 표면사이..

PDDL (Planning Domain Definition Language)

이 글은 필자의 이해를 돕기 위해 작성된 글입니다. 참고자료1, 참고자료2 PDDL은 "classical" planning task의 표준 encoding language입니다. PDDL planning task는 다음과 같이 이루어져 있습니다. problem.pddl Objects: 존재하는 물체들 Initial state: 시작 state Goal specification: 우리가 원하는 goal # gripper-four.pddl (define (problem ) (:domain ) [...] ) domain .pddl Predicates: 물체들에 대한 제약 Actions/Operators: world를 바꾸기 위한 방식들 각 action 당 description, precondition, 과 e..

[Paper Review] Inner Monologue

Methodology: Closed-loop (with feedback) Semantic constraints and objectives Intractable number of rules Limitations Question: Human needs to reason instead. Not considering the scene. Cannot solve Long Horizon problem Only command consists of pick and place Fail to ground contextually dependent action: How to plan well while being contextually aware For example, Awareness of geometric constrain..

[생각노트] GPT-3 / Chain of thoughts: InstructGPT

이 글은 필자가 NLP를 하면서 조금씩 배운 내용을 적은 [생각노트] 시리즈 중 하나입니다. 내용이 맞지 않을 수 있다는 점 참고하세요. Transformer --> GPT-3 GPT-3 Dataset: CommonCrawl, WebText2 (from web pages), Wikipedia, Books1, Books2 (a large collection of free novel books written) Chain of thoughts ex. InstructGPT, Step by step Zero-shot이나 Few-shot이 존재한다.

Semantic Task Planning Domain

On semantic task planning, Task cannot be trivially decomposed to set of geometric predicates, you have to order "do this" Multiple possible goals "under-specified" recipe Cleaning X Laundry Dynamic agent Babysitting, Elder care, Level 1 If there is a clear recipe It can be hard because "New"/non-rigid objects Cooking Gardening Level 0 Camera Director Just an optimization problem Logistics - mov..

Imitation learning

The simplest version of imitation learning is behavior cloning.

2022년 후반기 HaveDone/TODO

HaveDone How to represent my idea How to Argument - clue Habit to process the document flow and process to be mine. Team leadership / How to lead a team (Ongoing) How to make efficient meetings 내가 이끌어오는대로 오지 않는 사람이 있다. 이럴 땐 내가 그 사람과의 일종의 협의점을 찾아야 한다. 가만히 있으면 스트레스만 쌓이니 내가 바뀌어야 한다. Idea를 이끌어내는 것도 중요하지만 그에 못지 않게 team discussion의 흐름이 밖으로 빠져나가는걸 막아야 한다. (이게 제일 피곤하다. Idea를 내면서 지금 딴 이야기로 새지 않는지 계속 확인해야..

[CS330] 06. Advanced Meta-Learning: Task Construction

[CS330] 03. Supervised solution of Meta-learning problem: Black-Box vs. Optimization-based vs. Non-Parametric

The Meta-Learning Problem Given data from $\mathcal{T}_1, \cdots, \mathcal{T}_n$, quickly solve new task $\mathcal{T}_\textrm{test}$. Assume that meta-training tasks and meta-test task drawn i.i.d. from same task distribution. $\mathcal{T}_1, \cdots, \mathcal{T}_n \sim p(\mathcal{T}), \mathcal{T}_j \sim p(\mathcal{T})$ For example, the task can be: a robot performing different tasks or giving fe..

[CS330] 02. Multi-Task Learning & Transfer learning Basics

What is "Task"? More formally, a task can be described as this format: $\mathcal{T}_i \equiv \{p_i(\textbf{x}), p_i (\textbf{y|x}), \mathcal{L}_i\}$, based on data generating distribution. Multi-task learning: Learn $\mathcal{T}_1, \mathcal{T}_2, \cdots, \mathcal{T}_T$ at once Transfer learning: Solve target task $\mathcal{T}_b$ after solving source task $\mathcal{T}_a$ by transferring knowledge..

[CS330] 01. Course Introduction

Their point of view of why multi-task learning and meta-learning are important Robots can teach us things about intelligence. Faced with the real world Must generalize across tasks, objects, environments, etc Need some common sense understanding to do well Supervision can't be taken for granted Specialists vs. Generalists Specialist: Learn one task in one environment, starting from scratch using..

2022년도 가을학기 카이스트 AI대학원 국비장학생 합격 후기

이 글은 2022년도 가을학기 카이스트 AI대학원에 국비장학생으로 합격한 후기를 작성한 글입니다. 2022년도 봄학기에 전기전자대학원으로 합격한 후기도 참고하시면 입시에 도움이 될 것 같습니다. 최종 결과: 국비장학생으로 합격 왜 전기전자에서 AI대학원으로 가게 되었는가?: 컴퓨터 비전으로 내가 100년을 먹고 살 수 없겠다 라는 판단이 결정적이었다. 그 외에도 지금 있는 랩실이 마음에 들었고, 미국 박사를 진학하기 위해서는 괜찮은 process라고 생각했기 때문이다. 내 인생을 이끎에 있어서 석사, 박사를 어떤 세부 분야로 갈지는 굉장히 신중하게 결정해야 할 문제이다. 내가 할 결정에 대해 진지하게 대하다보니 8kg이 감량이 될 정도였다. 결과적으로는 내가 후회하지 않을 결정을 내렸고 이 결정에 최선을..

[CS391R] Overview of Robot Decision Making

Robot Decision making: Choosing the actions a robot performs in the physical world Mathematical Framework of Sequential Decision Making Markov Decision Process Learning for Decision Making reinforcement learning (model-free vs. model-based, online vs offline) Optimizes the policy by trial and error in an MDP. Goal: To maximize the long-term rewards imitation learning (behavior cloning, DAgger, I..