Skill based trends/approaches in Robotics

Robotics에서 skill 기반으로 출판되는 논문들을 정리해보았습니다. 분류Skill pre-trainingDIAYN [1]LSD [2]CSD [3]Skill discovery -label offline data via VLMEXTRACT [4] SPRINT [5]Skill discovery -from testBOSS [6]: generate new skills via VLM, but not generate new skills instead basically combining existing skills.Side Notes

Robotics Planning 기초 벼락공부

이 글은 필자의 기본기 재확인을 위해 로보틱스 기초를 키워드 별로 정리한 글입니다. BasicsRobot manipulator --multiple link and jointsLink: length (signed distance from joint i-1 to i), twist (angle from joint i-1 to i), force (linear motion) and torque (rotational motion)Joint -description differ by joint typesPlanning: Given an initial state, goal and model, finding a sequence of actions to achieve a goal.Planning focuses on impr..

강화학습 벼락공부 및 떠다니는 키워드 정리하기

이 글은 필자가 강화학습에 대한 감을 유지하고자 그 중에서 헷갈리는 키워드들을 모으고 의문점들을 해결하고자 작성한 글입니다.색깔 칠한 부분들은 필자가 개인적으로 신경쓰는 부분이라 무시하셔도 됩니다. 참고로 이 글은 여러가지 소스에서 발췌하였으며, 특히 이분과 이 문서의 도움을 많이 받았습니다. 확실하지 않은 부분은 이렇게 처리됩니다.헷갈리는 기본 키워드/질문과 답변 모음Planning vs. Control둘을 나누는 차이는 transtition probability와 reward function을 담는 model의 존재여부로 판단된다. 이 model이 learned되더라도 planning이라고 하는 것으로 판단된다.Motion planning과 task planning 도 이쪽 계열이다. -Control..

Misc) Paper writing tips

Research Q’s (Research Objectives, What are you trying to find out? What are we going to learn?)Method: Value: clearly and concisiely (research highlight)novelty: 아무도 안한거 하는거 (necessary but not sufficient)Motivation있는 애들 —> 문제 —> naive approach —> sub -naive -wrong -my solution- Experimental results should backup that - break down and [sub -naive -wrong -my solution]Ultimate problem전과 비교해서 Figur..

[3D Geometry] 1. 3D Representations: Types / pros and cons / Conversion between different types

이 글은 성민혁 교수님의 CS479: Machine Learning for 3D Data (Fall 2023)을 듣고 (필자의 이해를 위해) 정리한 글입니다. Intro: Application of 3D data 3D Generation (e.g., used for simulator, games) 3D Reconstruction (e.g., AR/VR) 3D Perception (e.g., waymo, home-environment) Types of 3D Representations We are interested in 2D surfaces in 3D space. Explicit representations 3D Grid (Voxels): 3D 창 Multi-view images Point cloud C..

Debugging learning

List of factors that might impact the learning phrase: 1. Batch size 2. Learning rate & Optimizer & warm up state 3. Number of demonstrations (the demonstrations are not enough to sufficiently being trained.) 4. Loss is wrong Number of demonstration depending - How much randomized (e.g., domain, object position, pose) - Multi-modal solutions. Memory reduction 1. fp32 -> fp16 How to compare compu..

Seminar Series on Artificial General Intelligence (AGI) #1] Dr. Jim Fan: Generalist Agents in Open-Ended Worlds

이 글은 필자가 231117 일에 들은 카이스트 안성진 교수님께서 주최하신 AGI 세미나를 듣고 필자 위주로 정리한 글입니다. 미래지향적인!! 굉장히 인상깊었던 세미나였습니다. 1년 중에 들은 세미나 중에 퀄리티가 굉장히 높은 매우 행복한 세미나였습니다. Seminars Open-ended environment: How can we comba the world knowledge? Foundation model for agents --> Issue: How can we ground into real-life? We should pursue in language-manner. Because prompting and delivering the concept are both straightforward. Emb..

Misc) Presentation skill notes

1. Introduce your problem Making 3d model is a tedious and time-consuming process2. Motivate the problem - Demos (foldable iPhone, selfie stick) - PF (use our PF slide now, but this should be changed to text later)3. Explain existing solutions and state the issues with these approaches - Huge networks to generate text/image into mesh (DreamFusion) / problems - Ditto / problems - URDFusion / prob..

2023 가을] 리더십 강좌 요약

필자에게 도움이 되는 말들을 리스트 형식으로 나열해놓은 조각글입니다. 듣기를 잘해서 눈치를 살피고, 상사/상대가 듣고 싶어하는 말을 하기 시뮬레이션 시 이정표를 정해서 이정표 대로 이야기하는 연습하기 상사가 원하는 체크리스트를 만들어 이를 잘 해결했는지 현황체크

Build OpenCV with CUDA in virtual environment

To make OpenCV work with CUDA support in a specific conda environment, you need to build OpenCV from source within that environment. Here's a step-by-step guide: 1. Setup Your Conda Environment: If you haven't created the environment yet: ```bash conda create --name [YOUR ENV NAME] python=3.8 ``` Activate your environment: ```bash conda activate [YOUR ENV NAME] ``` 2. Install Dependencies: Withi..

[Advanced Topics] 02. Representation Learning for RL

이 글은 2023년 가을학기 AI707 이기민 교수님 수업을 듣고 복습차 필자의 이해를 위해 정리한 글입니다. RL from pixel is difficult. Poor sample-efficiency Poor generalization on different environment Representation learning resolves these issue. What is representation learning; Learning the represenation of the data, which contain useful information for ML methods. However, this is also true that optimizing a main task objective might n..

[Advanced Topics] 01. RL with human feedback

이 글은 2023년 가을학기 AI707 이기민 교수님 수업을 듣고 복습차 필자의 이해를 위해 정리한 글입니다. (세계적으로 유명한 교수님들의 직강을 들을 수 있어서 영광이라고 생각한다!!) Rough introduction of Reinforcement Learning Reinforcement Learning: Finding an optimal policy for sequential decision making problem through interactions and learning By interacting the environment, the agent generates roll-outs of the form $\tau = \{(s_0, a_0, r_0), \cdots, (s_H, a_H, r_H)..

2023 Summer] Presentation/Writing tips

Conference Presentation tips collaborator mention 시간 없으면 하지 말기 Cannot be ->diffcult to Better wording “Any action leads to reward signal” plot/영상이 뭔지 설명 Additional challenge로 / 와서 이야기하셈. 끝나는걸 end of my presentation으로 하지 말기. Writing tips motivation -> problem -> why not? -> setup & question motivation은 example로 straightforward하게 show why is useful limitate -> too slow, difficult -> why? 굉장히 자세하게 ..

[Takeaways] Robot Brains Podcast S3 E20: Jitendra Malik on Building AI from the ground up: Sensorimotor learning before language

Notes after checking the impressing interview: https://youtu.be/k_Wrd1kI1B0?si=QIqUl3Qrcx7y1FEs These are my personal thoughts. [Grounding LLM] is open to being proven incorrect. According to the brain development, words are identified later. I actually agree with this. This implies [corporating control with LLM] is the key, now this area is kinda hot. Instead, brain development starts with the ..

[Takeaways] Invited Talk by Junyoung Chung (@Deepmind)

AI for Code: The Rise of Code LLMs and AlphaCode AlphaCode is trained based on the "code competition dataset". Why use the code competition dataset? Because the evaluation metric for the output is clear, it can provide accurate feedback to the model. To communicate with other models, the direction of code synthesis should be considered. Originally, large models are created through several stages..

[Takeaways] Invited Talk by Li Yi (Assistant Prof. @ Tsinghua) and He Wang (Assistant Prof. @ Peking)

1. Li Yi's Talk Title: Interaction-Oriented 4D Visual Understanding and Synthesis Takeaways I should persue towards 3D scenes, not only in 2D scene. (I am planning to take CS487 course for this.) -> This will further require the need of 4D deep visual scene understanding. What direction should I take? How can my vision be integrated to this world? Are the robot's ultimate goal humaoid robots? Th..

RSS 2023를 참가하고 느낀 점 (발표/참여 attitude, atmosphere etc.)

Very honored to see well-known researchers Andy Zeng, Shuran Song, omg... What should be the next move High energy of woman researchers Dorsa, Shuran Song English communication/Presentation atmosphere Now I will communicate with full English. This is really important towards international researcher. I think I should be the international robot researcher. My big picture / the direction that I am..

[작성중] RSS 2023 Accepted papers 로 보는 현재 robotics trend / Workshop takeaways

필자의 머릿속 트렌트 정리를 위해 작성된 페이지입니다. Human-Centered Robotics Recent trend Interesting paper Why What should I focus Manipulation from Demonstrations and Teleoperation Recent trend Interesting paper What should I focus Self-supervision and RL for Manipulation Recent trend Interesting paper What should I focus Large Data and Vision-Language Models for Robotics Recent trend Interesting paper What should ..

[Scribble] 논문 introduction 작성

High-level intuition (important, challenge) -Figure 꼭 있기 -Dongwon paper Learning to write, speak is really important Explain the problem is. Real-world —> Challenge —> 필요성 —> our approach. Execution data, simulation data 를 existing work에서 처리하고 / jargon 으로 처리 First paragraph -Sufficient explanation of example and Figure. Reader should fully know the example is. Convey all information 그냥 이야기하면 안되고..

[How to code] Coupling and Cohesion

이 글을 간단하게 번역한 글입니다. Coupling: Software module 끼리 interdependence한 정도 (결합도). High coupling: closely connected and changes in one module may affect other modules. Low coupling: 각자의 모듈이 독립적이고 하나의 모듈에서의 수정이 다른 모듈에 영향을 미치지 않는다. A good software design will have low coupling Cohesion: 모듈에서의 element들이 연관된 정도 (응집도). A good software design will have high cohesion. For example, 단일 책임을 가진 클래스, 다른 클래스에 바로 적용..

How to solve a problem? tips

바로 생각난 solution 현재의 solution이 최적의 solution인지/빠르게 해결할 수 있는 solution인지 생각해보기 problem setup을 수정하면서 해결할 수 있는 문제인지 생각해보기 바로 생각난 hypothesis valid한 observation이 존재하는지 이를 뒷받침하는 related works가 존재하는지 들이닥친 problem Solution 무지막지하게 찾아보기 나에게 맞는 solution이 있는지 찾아보기 없으면 순서대로 실행해서 결과 확인하기

Debugging tips (항상 업데이트 중)

문제 자체가 성립이 안되는 걸 수도 있다. 데이터셋이 너무 vague하다거나 ex. classification task에 success나 fail이 input에 따른 구별이 어려운 데이터셋 noisy한 데이터가 추가되었거나 ex. 데이터셋을 모으는 과정에서 문제 해결을 위한 데이터셋이 아니거나 ex. classification을 해결해야 하는데 데이터셋이 비중이 맞지 않거나 해결 방법: 데이터셋을 제대로 모으거나 (ex. 데이터셋을 모으는 것에 제약을 주어서 확실한 데이터셋을 모으도록 하거나) 데이터셋의 noisy 네트워크 자체에 버그가 있을 수도 있다. 판단방법: 네트워크가 쉽게 답을 예측할 수 있도록 돕는 indicator를 추가하여 이를 올바르게 예측하는지 찾아보자. --> 이 방법에서 올바르게 예..

[Diffusion Model] DDPM, DDIM

Pooling: Max/Average/GAP

Grad-CAM에 관해 알아보던 중 GAP 관련 내용을 배우고자 찾아보게 되었다. Pooling을 하는 이유 CNN에서 발생하는 수많은 파라미터 사이즈를 통해서 모델 자체가 overfitting이 될 수 있다. 이를 방지하고자 pooling 방식이 나왔다. Max pooling Average pooling: Average Global Average Pooling: (Height, Width, Channel) 크기의 feature map이 존재할 때, 이를 (1,1,C)로 줄여버린다.

2022 Fall) M.S. Candidate First semester retrospect

What did I learn What class did I registered? 정리하지 못한 부분이 많기에 방학 때 짬짬이 정리할 것.. AI602: TAMP의 전반적인 접근에 대해 학습하게 되었다. AI611: 요즘 딥러닝 트렌드를 다 스캔하였다. 아무래도 뭘 알고 싶을 때 기반이 없었는데 이 수업 덕분에 깨달은 바가 많다. Personal thoughts 발표력 사람들이 다 나보다 잘 아는 줄 알았는데, 그게 아니었다. 다들 나랑 같은 수준의 지식을 가지고 있다. 그저 자신이 알고 있는 점을 어떻게 명확하게 표현하는 능력이 뛰어나기에 자신이 말하고자 하는 바를 strict하게 나타낼 수 있는 것 같다. 내가 보완해야 할 점은 내가 생각하는 바를 얼마나 빠른 기간안에 정리할 수 있고, 그 내용을 얼..

Docker/Linux 환경에서 자주 쓰이는 command 모음

현재 directory의 존재하는 파일 명시 ls -la 파일/폴더 제거 rm -vrf [파일/폴더명] ssh 연결 ssh [계정이름]@[IP주소] -p [포트번호] 파일 전송: scp/ scp -r [전송하려는 파일/폴더] [도착해야 하는 장소] 화면 안 꺼지게 sudo pmset -c disablesleep 1 현재 위치 (절대 위치) 출력 pwd Docker -container 관리 container 실행 중단 docker stop [container 이름] container 제거 docker rm [container 이름] Docker -폴더 launch NVIDIA GPU GPU 현황 확인 nvidia-smi 진행중인 process kill nvidia-smi로 해당되는 PID확인 sudo ki..

[Pytorch] permute/transpose/view/reshape/flatten/squeeze

참고자료1 참고자료2 참고자료3 참고자료4 텐서의 차원 변경 view contiguous하지 않는 함수에서도 작동한다. reshape() ==contiguous().view() reshape 텐서의 차원 교환 transpose contiguous tensor에서 사용할 수 있음 swap only two dimension view 함수를 이용해서 반환된 값은 원본과 data(memory)를 공유하기 때문에 하나만 수정해도 반환 이전의 변수와 이후 변수 모두 수정된다. permute: transpose의 일반화 버전 sway all the dimensions 텐서를 결합 stack cat 텐서의 차원 늘리기 unsqueeze dimension을 늘려주고 그 값은 1로 만듭니다 텐서의 차원 줄이기 squeez..

[Linux] Useful tools

tmux (terminal multiplexer) (2022.11.06 작성) github 참고자료1 tmux is a terminal multiplexer. It lets you switch easily between several programs in one terminal, detach them (they keep running in the background) and reattach them to a different terminal. -tmux github "Session", "window", "pane"의 화면을 한번에 볼 수 있는, terminal을 여러개 (multiple)하게 볼 수 있는 프로그램이다. 그럼 여기서 생기는 의문은 "Session", "window", "pane" 이 뭐지?..

Training Tips for the Transformer Model

This article is the summary for Training Tips for the Transformer Model and Advanced Techiniques for Fine-Tuning Transformers. Training data preprocessing A higher batch size my be beneficial for the training and the batch size can be higher when excluding training sentences longer than a given threshold. It may be a good idea to exclude too long sentences. Training data size Comparing different..

(작성중) Optimal Estimation Algorithms: Kalman and Particle Filters

Kalman filter: Gaussian distribution Particle filter: Sampling-based algorithm