RT-2: Vision-Language-Action Models TransferWeb Knowledge to Robotic Control

Abstract - 

 

RT-1은 로봇 데이터로 학습한 Transformer policy였지만, 웹 규모 vision-language model의 지식은 충분히 활용하지 못했다.
RT-2는 인터넷 규모 VLM의 semantic knowledge를 로봇 action policy에 직접 연결하려는 모델이다.

 

RT-2 의 아키텍쳐

 

Introduction - 

앞선 RT-1 에서 Transformer를 이용해서 action token을 만드는데 성공하였다. 하지만 최근 사전학습 모델을 쓸 수 없다는 문제가 있었다.

기존에는 LLM이나 VLM을 로봇에 붙일 때 보통 high-level planner로 사용했다. 예를 들어 SayCan 같은 방식은 LLM이 명령을 해석해서 다음과 같은 primitive로 쪼갠다.

1. pick object
2. move to target
3. place object

 

그다음 실제 로봇 제어는 별도의 low-level controller가 담당한다.

문제는 이 경우, low-level controller 자체는 웹 규모 VLM의 semantic knowledge를 직접 학습하지 못한다는 점이다.

즉, LLM/VLM은 위에서 명령을 해석하지만, 실제 팔을 움직이는 policy는 여전히 제한된 로봇 데이터에만 의존한다.

RT-2는 이 부분을 문제로 본다. 저자는 결국 대규모 vision-language model을 로봇의 low-level control에 직접 통합할 수 있을까? 에 대한 의문을 해결하기 위한 논문.

RT2는 로봇 action을 text token처럼 표현해서, VLM이 자연어 답변을 생성하듯 action token을 생성하게 만든다.

 

원래 VLM 이 image + question 으로 answer를 얻었다면,  RT-2 는 Image + instruction 으로 action token을 얻는 것 이다.

 

결국 RT-1 은 Robot Images + Instruction→Action 이라면 RT-2 는 Web-scale VLM+Robot Trajectory Data→Vision-Language-Action Model 의 흐름을 타게 된다.

구분   RT-1 (왼쪽) - RT-2 (오른쪽)

기반 모델	Robotics Transformer	Web-scale VLM
주요 데이터	Robot demonstration	Robot trajectory + web vision-language data
action 표현	Discretized action token	Text-encoded action token
핵심 목표	대규모 로봇 데이터로 generalization	VLM의 semantic knowledge를 robot control에 연결
강점	실제 로봇 task 수행, closed-loop control	새로운 객체/명령/의미 추론 일반화
한계	웹 지식 부족	physical skill은 robot data 분포에 제한

 

Related Works - 

 

Vision-language-Action model 

 

 

PaLI-X	RT-2-PaLI-X	PaLI-X를 로봇 action 출력까지 하도록 변형
PaLM-E	RT-2-PaLM-E	PaLM-E를 로봇 action 출력까지 하도록 변형

 

기본 성격	범용 Vision-Language Model	Embodied Multimodal Language Model
주요 입력	이미지 + 텍스트	이미지 + 텍스트 + 로봇/센서 상태
주요 출력	자연어 token	자연어 token / embodied reasoning output
강점	이미지 이해, VQA, captioning, multilingual VL task	로봇/환경 관측을 포함한 embodied reasoning
RT-2에서의 역할	action token을 출력하도록 fine-tuning된 VLM backbone	action token을 출력하도록 fine-tuning된 embodied VLM backbone

이 두개의 모델만 알면됨.

 

여러 task를 수행하는 RT-2 모델

Robot-Action Fine-tuning

 

위에서 언급한 PaLM-E 모델 PaLI-X모델은 결국 output은 text 이다.  하지만 robot 이 필요한 것은 action이다.

RT-2 는 다음과 같이 action을 뱉는다.

 

Action                                                                            dimension의미

terminate	episode 종료 여부
(\Delta pos_x)	end-effector x 방향 이동
(\Delta pos_y)	end-effector y 방향 이동
(\Delta pos_z)	end-effector z 방향 이동
(\Delta rot_x)	x축 회전 변화
(\Delta rot_y)	y축 회전 변화
(\Delta rot_z)	z축 회전 변화
gripper_extension	gripper 열림 정도

action을 8개의 integer로 표현한다는 뜻

각 dimension을 256개 bin 중 하나로 바꾸면, 전체 robot action은 8개의 정수로 표현된다.

예를 들어 어떤 timestep의 action이 다음과 같이 바뀔 수 있습니다.

1 128 91 241 5 101 127 64

 

논문 예시에는 숫자가 7개처럼 보이는데, 설명상 target string 형식은 다음 8개.

terminate Δpos_x Δpos_y Δpos_z Δrot_x Δrot_y Δrot_z gripper_extension

 

각 숫자의 의미는 대략 이렇습니다.

1     128    91     241    5      101    127    64
│      │      │      │      │       │      │      │
종료?   x이동   y이동   z이동   x회전    y회전   z회전  gripper

 

여기서 중요한 건 숫자 자체가 실제 cm나 radian 값이 아니라는 점.

예를 들어 128은 “실제 action 값 128”이 아니라,
256개 bin 중 128번 구간이라는 뜻이다.

즉:

128→해당 action dimension의 중간 근처 값128 \rightarrow \text{해당 action dimension의 중간 근처 값}128→해당 action dimension의 중간 근처 값

라는 뜻이다.

 

이것은 RT-1 과 비슷하나 중요한건 RT-2는 VLM을 사용한다는 점 .

VLM 입장에서 action은 일종의 “텍스트 답변” 이다.

예를 들면 VQA prompt처럼 만듭니다.

Q: what action should the robot take to pick up the coke can?
A:

 

모델은 여기에 자연어 답변 대신 action string을 출력한다.

1 128 91 241 5 101 127 64

 

이게 RT-2의 핵심.

 

PaLI-X는 tokenizer가 숫자 표현을 비교적 편하게 지원했었음.

PaLI-X tokenizer에는 "0", "1", "2", ..., "255" 같은 숫자가 각각 하나의 독립 token으로 존재한다.

 

그래서 action bin과 token을 아주 자연스럽게 연결할 수 있습니다.

action bin 0   → token "0"
action bin 1   → token "1"
action bin 2   → token "2"
...
action bin 128 → token "128"
...
action bin 255 → token "255"

 

즉, PaLI-X에서는 별도의 vocabulary 조작이 거의 필요 없음.

---

PaLI-X 예시

로봇 action이 원래 연속값으로 있었다고 예시를 들자면 

terminate = 0
Δpos_x = 0.00
Δpos_y = -0.03
Δpos_z = 0.04
Δrot_x = -0.10
Δrot_y = 0.02
Δrot_z = 0.00
gripper = close

 

이걸 256-bin discretization으로 바꾸면 예를 들어 다음과 같이 변환됨.

0 128 91 241 5 101 127 20

 

PaLI-X에서는 이 숫자들이 그대로 텍스트 token으로 표현하게 됨.

"0" "128" "91" "241" "5" "101" "127" "20"

 

즉, VLM 입장에서는 그냥 숫자로 이루어진 답변을 생성하는 것처럼 보인다.

입력은:

Q: what action should the robot take to pick up the coke can?
A:

 

출력 target은:

0 128 91 241 5 101 127 20

 

이 된다. 이렇게 된다면 decoding이 간편해짐.

PaLM-E에서는 어떻게 했나?

PLM-E는 X와 달리 각각 하나의 token이 존재하는 것은 아니다. PaLM-E tokenizer에는 0~255 숫자를 action token으로 쓰기 좋은 형태가 없어서, 기존 vocabulary에서 가장 덜 쓰이는 token 256개를 골라 action bin 0~255로 덮어썼다.

 

어쨌든 둘다 회귀 token으로 action token을 뱉는다고 보면 됨.

 

Real-Time inference

RT-2 는 LLM을 사용하기 때문에 내부 GPU 가 아닌 통신으로 사용했다고 한다.

 

 

Experiments 

본 논문은 총 4가지 관점에서 봄. 

 

• RT-2가 seen task에서 잘하고, 특히 unseen objects/backgrounds/environments로 일반화하는가?
• RT-2에서 emergent capability를 관찰하고 측정할 수 있는가?
• model size와 training strategy가 generalization에 어떤 영향을 주는가?
• RT-2가 chain-of-thought reasoning 비슷한 행동을 보일 수 있는가?

FIg3의 그림

 

Figure 3은 실험에서 말하는 unseen generalization이 정확히 무엇인지 보여주는 그림이다. 여기서 중요한 주장은, 

RT-2가 본 적 없는 물체나 환경에서 잘한다면, 단순히 로봇 trajectory를 외운 게 아니라 VLM pretraining에서 얻은 visual/semantic concept을 로봇 action으로 전이했다는 주장이 가능해진다.

Unseen 에 관한 일반화 주장 표

모델                                                    의미

R3M	human video 기반 visual representation
VC-1	robotics-oriented visual foundation representation
RT-1	기존 Robotics Transformer baseline
MOO	VLM을 semantic map으로 쓰는 object-centric baseline
RT-2 w/ PaLM-E-12B	PaLM-E 기반 VLA
RT-2 w/ PaLI-X-55B	PaLI-X 기반 VLA

 

Model	Seen	Unseen Objects	Unseen Backgrounds	Unseen Enviroments	AVG
R3M	45	easy 32 / hard 14	easy 13 / hard 9	easy 0 / hard 2	12
VC-1	63	easy 34 / hard 10	easy 13 / hard 3	easy 0 / hard 0	10
RT-1	92	easy 31 / hard 43	easy 71 / hard 9	easy 26 / hard 14	32
MOO	75	easy 58 / hard 48	easy 38 / hard 41	easy 19 / hard 3	35
RT-2-PaLI-X-55B	91	easy 70 / hard 62	easy 96 / hard 48	easy 63 / hard 35	62
RT-2-PaLM-E-12B	93	easy 84 / hard 76	easy 75 / hard 71	easy 36 / hard 33	62

Figure 4 해석

Seen task에서는 RT-1과 RT-2가 거의 비슷하다. 

• RT-1: 92
• RT-2-PaLI-X: 91
• RT-2-PaLM-E: 93

즉, RT-2가 “기존 로봇 skill”을 배우는 능력에서 RT-1보다 압도적으로 좋은 건 아니다. 오히려 seen task만 보면 거의 동급입니다.

그런데 unseen generalization으로 가면 차이가 커짐.

• RT-1 unseen average: 32
• MOO unseen average: 35
• RT-2 unseen average: 62

즉, RT-2는 RT-1/MOO 대비 거의 2배 수준이고, R3M/VC-1 대비로는 훨씬 크다. 논문도 이 차이가 RT-2의 강점이 “Internet-scale pretraining에서 온 더 일반적인 visual/semantic concept 전이”에 있음을 시사한다고 해석.

Figure 5는 정량 그래프라기보다 “이 방식이 다른 로봇/시뮬레이션 setting에서도 작동한다”는 보조 증거이다.

 

 Fig6(a) 에서 보여주는 것은 robot data 에 없단 semantic reasoning을 보여주는 지표이다. 논문은 이 emergent capability가 “새로운 로봇 motion이 생긴 것”은 아니라고 분명히 말한다. 물리 skill은 robot data에서 본 분포에 제한되지만, VLM pretraining에서 배운 의미/시각 개념을 이용해 기존 skill을 새로운 방식으로 사용하는 것이다.

RT1 에 비해서 큰 차이로 그 의미를 이해하고 있음.

Figure 6b 해석

여기서 가장 중요한 결론은 세 가지이다. 

첫째, scratch training은 거의 망한다.

5B scratch unseen average가 9. 즉, 단순히 큰 모델을 robot data만으로 처음부터 학습한다고 좋은 게 아니다. VLM pretraining이 핵심이라는 것을 말하는 것.

둘째, co-fine-tuning이 robot-only fine-tuning보다 좋다.

5B에서는 42 → 44로 차이가 작지만, 55B에서는 52 → 63으로 꽤 크다. 논문은 이를 기존 VLM training data를 fine-tuning 중에도 유지함으로써, VLM이 원래 배운 concept을 잊지 않게 하기 때문이라고 해석한다.

셋째, 모델이 커지면 generalization이 좋아진다.

55B co-fine-tuning이 unseen average 63으로 가장 높다. 즉, RT-2에서는 모델 규모와 web pretraining의 효과가 로봇 generalization에도 이어진다고 주장할 수 있다.

pretraining이 필요하다.
robot-only fine-tuning보다 co-fine-tuning이 낫다.
모델 규모가 클수록 generalization이 좋아진다.

COT에 관한 실험

여기서는 RT-2-PaLM-E를 약간 추가 fine-tuning해서, 출력에 Plan:이라는 자연어 계획 단계를 넣어보았다.

형식은 대략 

Instruction: I’m hungry.
Plan: pick rxbar chocolate.
Action: 1 128 124 136 121 158 111 255

 

논문은 이 augmentation을 VQA dataset의 visual reasoning과 manipulation dataset의 action generation 사이를 이어주는 bridge라고 설명하고 있다. 즉 저자는 RT-2가 바로 action token만 출력하는 게 아니라, 중간에 자연어 plan을 생성하고 그 뒤 action을 출력할 수 있다를 주장한다.

 

 

Limitations and Conculsion

1. VLM pretraining은 semantic/visual generalization은 높여주지만, 로봇에게 새로운 motion skill 자체를 만들어주지는 않는다.

2. 저자들이 제안하는 미래 방향: human video

3. 계산 비용과 실시간 추론 ->저자들이 제안하는 해결 방향: quantization과 distillation