RT-1: ROBOTICS TRANSFORMERFOR REAL-WORLD CONTROL AT SCALE

초록 - 

이 논문은 여러 모달들이 잘 발전되어 왔지만 robotics 관점에서는 아직 입증되어야 할 문제라고 보고, robotics transformer를 제시함. 실제 로봇들이 실제 환경의 작업을 수행하면서 수집한 대규모 데이터에 기반하여, 서로 다른 모델 계열들이 데이터 크기, 모델 크기, 데이터 다양성의 함수로서 어떻게 일반화하는지를 연구함으로써 결론을 검증함. 

 

 

Introduction - 

RT-1 논문은 로보틱스에서도 CV/NLP처럼 대규모 범용 사전학습 모델을 만들 수 있는지 묻는다.

기존 로봇 학습은 보통 특정 작업마다 데이터를 따로 모으고, 그 작업에 맞게 모델을 학습하는 방식이었다. 예를 들어 “컵 잡기”, “서랍 열기”, “물체 옮기기”마다 별도 데이터를 수집하는 식이다. 그런데 이런 방식은 로봇 분야에서 특히 비효율적이다. 실제 로봇 데이터는 수집 비용이 크고, 사람 시연이나 로봇 운용 인프라가 필요하기 때문이다.

그래서 저자들은 다음 질문을 던진다.

 

다양한 로봇 작업 데이터를 하나로 모아서, 하나의 큰 멀티태스크 로봇 모델을 학습하면 새로운 작업, 환경, 물체에도 일반화할 수 있을까?

 

저자는 두가지가 중요하다고 한다.

첫째, 크고 다양한 데이터셋이 필요하다. 단순히 데이터 양만 많은 것이 아니라, 다양한 작업과 환경을 포함해야 한다. 동시에 작업들 사이에 어느 정도 구조적 연결성이 있어야 한다. 그래야 모델이 “비슷한 작업들 사이의 공통 패턴”을 학습하고, 그 패턴을 조합해서 새로운 작업도 수행할 수 있다.

둘째, 고용량 모델 아키텍처가 필요하다. 다양한 로봇 데이터를 흡수하려면 모델 용량이 커야 하고, 언어 지시에 따라 여러 작업을 수행하려면 Transformer 구조가 적합하다고 본다.

 

Transformer는 많은 작업과 언어 조건을 처리하기 좋지만, 로봇 제어에서는 문제가 있다.

로봇은 실시간으로 움직여야 한다. 즉, 카메라 이미지와 언어 명령을 보고 빠르게 다음 행동을 출력해야 한다. 그런데 Transformer는 계산량이 크기 때문에 그대로 쓰면 실시간 제어에 부담이 된다.

그래서 RT-1은 카메라 이미지, 언어 지시, 모터 명령 같은 고차원 정보를 압축된 토큰 표현으로 바꾼 뒤 Transformer에 넣는다. 이를 통해 Transformer의 장점을 유지하면서도 실시간 로봇 제어가 가능하도록 만든다.

 

Related Works - 

 

기존 연구 흐름한계RT-1의 주장

Transformer 기반 로봇 policy	언어 조건화 중심이거나 제한된 task	vision-language-action 전체를 sequence modelling으로 처리
Gato / Behavior Transformer	실제 로봇 task 다양성 부족	대규모 real-world manipulation task에서 검증
로봇 grasping / language-conditioned learning	규모와 행동 다양성 제한	700개 이상 task, 다양한 객체/장면/행동으로 확장
멀티태스크 로봇 데이터셋	demonstration 수집은 있었지만 대규모 일반화 검증 부족	scale + breadth + generalization을 체계적으로 평가

 

 

PRELIMINARIES  - 

 

Robot Learning - 

우리는 시각 정보로부터 언어 조건화된 작업을 해결하는 로봇 정책(Policy)을 학습하는 것을 목표로 함. 형식적으로, 우리는 순차적 의사결정 환경을 고려함.

1. 초기 단계 ($t = 0$)
시간 단계 $t = 0$에서, 정책 $\pi$는 언어 지시 $i$와 초기 이미지 관측 $x_0$를 제공받음.
정책은 행동 분포인 $\pi(\cdot \mid i, x_0)$를 생성함.
이 분포로부터 행동 $a_0$가 샘플링되어 로봇에 적용됨.

2. 반복 및 상호작용
이 과정은 계속해서 반복. 정책은 누적된 관측 데이터를 바탕으로 학습된 분포로부터 행동을 반복적으로 샘플링하여 로봇에 적용합니다.

$$a_t \sim \pi(\cdot \mid i, \{x_j\}_{j=0}^{t})$$

상호작용은 미리 정의된 종료 조건이 달성되면 끝이 납니다.

 3. 에피소드(Episode)와 보상(Reward)
시작 단계 $t = 0$부터 종료 단계 $T$까지의 전체 상호작용 과정인 $i, \{(x_j, a_j)\}_{j=0}^{T}$를 하나의 에피소드(Episode)라고 부름.

에피소드가 끝나면, 에이전트(Agent)는 로봇이 언어 지시 $i$를 성공적으로 수행했는지 여부를 나타내는 이진 보상(Binary Reward) $r \in \{0, 1\}$을 받게 됨.

 

 4. 최종 학습 목표
우리의 최종 목표는 지시문, 초기 상태 $x_0$, 그리고 환경의 전이 역학(Transition Dynamics) 분포에 대한 기댓값 관점에서  평균 보상을 최대화하는 최적의 정책 $\pi$를 학습하는 것.

 

Transformers
RT-1은 로봇 policy $\pi$를 표현하기 위해 Transformer 구조를 사용한다.

일반적으로 Transformer는 입력 시퀀스 $\{\xi_h\}_{h=0}^{H}$를 받아 출력 시퀀스 $\{y_k\}_{k=0}^{K}$로 변환하는 sequence model이다. 이때 self-attention layer와 fully-connected neural network를 조합하여 시퀀스 내부의 관계를 학습한다.

원래 Transformer는 텍스트 시퀀스를 처리하기 위해 제안되었다. 즉, 입력 $\xi_j$와 출력 $y_k$는 각각 하나의 text token을 의미했다. 하지만 이후 Transformer는 이미지, 로봇 데이터, 멀티모달 데이터 등 다양한 modality로 확장되었다.

RT-1에서도 이 아이디어를 따른다. 다만 텍스트만 처리하는 것이 아니라, 언어 지시 $i$와 이미지 관측 시퀀스 $\{x_j\}_{j=0}^{t}$를 먼저 Transformer가 처리할 수 있는 입력 토큰 시퀀스 $\{\xi_h\}_{h=0}^{H}$로 변환한다. 그리고 로봇이 수행해야 할 action $a_t$ 역시 출력 토큰 시퀀스 $\{y_k\}_{k=0}^{K}$로 표현한다.

즉, RT-1은 다음과 같은 매핑을 학습한다.

$$\{\xi_h\}_{h=0}^{H} \rightarrow \{y_k\}_{k=0}^{K}$$


언어 명령 + 이미지 관측 시퀀스 $\rightarrow$ 로봇 action을 Transformer 기반 sequence prediction 문제로 바꿔서 학습하는 것이다.



Imitation Learning
RT-1은 imitation learning 방식으로 학습된다.

Imitation learning은 사람이 직접 수행한 demonstration 데이터를 이용해 policy $\pi$를 학습하는 방법이다. 이 논문에서는 성공한 episode들로 구성된 demonstration dataset $\mathcal{D}$가 주어졌다고 가정한다.

데이터셋은 다음과 같이 표현된다.

$$\mathcal{D} = \left\{ \left(i^{(n)}, \{(x_t^{(n)}, a_t^{(n)})\}_{t=0}^{T^{(n)}} \right) \right\}_{n=0}^{N}$$

여기서 각 episode는 다음을 포함한다.
언어 지시 $i^{(n)}$
각 timestep의 이미지 관측 $x_t^{(n)}$
해당 timestep에서 수행된 action $a_t^{(n)}$

또한 모든 demonstration은 성공한 episode라고 가정한다. 즉, 최종 reward가 1인 데이터만 사용한다.

RT-1은 behavioral cloning으로 policy를 학습한다. Behavioral cloning은 expert demonstration에서 관측된 action을 그대로 따라 하도록 모델을 학습하는 방법이다.

구체적으로는 이미지와 언어 지시가 주어졌을 때, 실제 demonstration에서 수행된 action $a_t$의 negative log-likelihood를 최소화한다. 즉, 모델이 expert가 한 행동에 높은 확률을 부여하도록 학습하는 것이다.

 

System Overview - 

 

이 섹션은 RT-1이 어떤 로봇, 어떤 환경, 어떤 데이터, 어떤 모델 구조로 구성되어 있는지 설명한다.

 

학습 데이터

RT-1의 학습 데이터는 사람이 제공한 demonstration으로 구성된다.

각 episode에는 로봇이 수행한 작업을 설명하는 자연어 instruction이 붙는다. 예를 들면 다음과 같은 형태다.

• “pick coke can”
• “open drawer”
• “place apple upright”

이 instruction들은 보통 하나의 동사와 하나 이상의 명사로 구성된다.

저자들은 instruction을 더 체계적으로 다루기 위해 이를 skill과 object로 나눈다.

• skill: pick, open, place upright 같은 동작
• object: coke can, apple, drawer 같은 대상 물체

가장 큰 데이터셋은 다음 규모를 가진다.

• 13만 개 이상의 demonstration
• 700개 이상의 서로 다른 task instruction
• 다양한 object 포함

즉, RT-1은 작은 수의 작업만 학습한 모델이 아니라, 많은 수의 실제 로봇 demonstration을 기반으로 학습된 대규모 멀티태스크 로봇 policy이다.

 

 

RT-1은 다음 조건을 동시에 만족하도록 설계되었다.

• 대규모 데이터를 흡수할 수 있어야 함
• 새로운 작업과 환경에 일반화할 수 있어야 함
• 실제 로봇 제어를 위해 실시간으로 action을 출력할 수 있어야 함

RT-1의 입력은 다음 두 가지다.

1. 짧은 이미지 시퀀스
2. 자연어 instruction

출력은 각 timestep에서 로봇이 수행할 action이다.

전체 구조는 대략 다음 흐름을 따른다.

Image Sequence + Language Instruction→CNN + FiLM→TokenLearner→Transformer→Action Tokens

 

Image + Language 

먼저 이미지와 텍스트는 ImageNet으로 사전학습된 convolutional network를 통해 처리된다.

여기서 자연어 instruction은 pretrained embedding으로 변환되고, FiLM 방식으로 이미지 feature 처리 과정에 조건으로 들어간다.

쉽게 말하면, RT-1은 이미지를 그냥 보는 것이 아니라, “지금 어떤 언어 명령을 수행해야 하는지”

를 고려하면서 이미지 feature를 추출한다.

예를 들어 같은 주방 이미지라도 instruction이 “pick apple”인지 “open drawer”인지에 따라 중요한 시각 정보가 달라진다. FiLM은 이런 언어 조건을 시각 feature에 반영하는 역할을 한다.

 

TokenLearner

이미지 feature는 고차원 정보이기 때문에 그대로 Transformer에 넣으면 계산량이 커진다.

이를 해결하기 위해 RT-1은 TokenLearner를 사용한다.

TokenLearner는 이미지 feature에서 중요한 정보만 압축하여 작은 수의 token으로 변환한다.

즉, 전체 이미지 feature를 모두 Transformer에 넣는 대신, 작업 수행에 중요한 compact token set만 추출한다.

이것이 RT-1이 Transformer를 쓰면서도 실시간 제어를 가능하게 하는 핵심 요소 중 하나다.

 

Transformer 의 Action 출력 

TokenLearner가 만든 compact token들은 Transformer에 입력된다.

Transformer는 이 token들 사이의 관계를 self-attention으로 처리한 뒤, 최종적으로 discretized action token을 출력한다.

RT-1의 action은 크게 세 부분으로 구성된다.

첫째, 로봇 팔 움직임 7차원이다.

• x
• y
• z
• roll
• pitch
• yaw
• gripper opening

둘째, mobile base 움직임 3차원이다.

• x
• y
• yaw

셋째, mode switching을 위한 discrete action이다.

• arm control
• base control
• terminate episode

즉, RT-1은 단순히 팔만 움직이는 것이 아니라, base 이동, 팔 조작, 종료 판단까지 함께 출력한다.

 

Closed Loop control

RT-1은 closed-loop control 방식으로 동작한다.

즉, 처음에 한 번 action sequence를 전부 계획해놓고 실행하는 것이 아니라, 매 timestep마다 현재 관측을 보고 다음 action을 다시 예측한다.

RT-1은 3Hz 속도로 action command를 출력한다.

이 과정은 다음 중 하나가 발생할 때까지 반복된다.

1. 모델이 terminate action을 출력함
2. 미리 정해둔 최대 timestep limit에 도달함

따라서 RT-1은 다음과 같은 방식으로 움직인다.

Observe→Predict Action→Execute→Observe Again→Predict Next Action

이 구조 덕분에 로봇은 환경 변화나 작은 오차에 반응하면서 작업을 수행할 수 있다.

RT1 의 전체 framework

 

이제부터 RT1이 어떻게 토큰화 시키는지 서술함.

 

Model-

 

Instruction and image tokenization

RT1은 한장만 이용하는게 아니라 6장을 이용함.

ImageNet tokenizer를 위해  ImageNet pretrained EfficientNet-B3를 사용

하지만 RT-1 은 patchify 는 하지않는다. 대신 9×9 feature map을 flatten해서 81개 visual token으로 만든다.

출력은 9 x 9 x 512 를 flatten 해서 81 x 512 로 함. 

언어 instruction은 Universal Sentence Encoder로 embedding한다. 중요한 점은 이 language embedding을 단순히 Transformer 뒤쪽에 붙이는 것이 아니라, 이미지 feature를 뽑는 CNN 단계부터 조건으로 넣는다는 것이다.

FiLM으로 이미지 encoder를 언어 조건화한다.

RT-1은 EfficientNet 내부에 FiLM layer를 추가.

RT-1의 중요한 설계 선택은 언어 정보를 나중에 Transformer에서만 합치는 것이 아니라, 이미지 feature extraction 단계부터 반영한다는 점. 이렇게 하면 모델이 초반부터 task-relevant visual feature를 추출할 수 있음.

즉, “이미지 전체를 무작정 인식한 뒤 나중에 언어와 맞춰보는 것”이 아니라, “이 명령을 수행하는 데 필요한 시각 정보가 무엇인지”를 고려하면서 이미지를 인코딩한다 는 구조이다. 이게 RT-1 성능 향상에 도움이 된다고 저자들은 말하고 있음.

그런데 이렇게 FiLM을 막 사용하면 pretrain 이 깨질 수 있다. 그래서 저자들은 identity-initialized FiLM을 사용한다고 했다.

FiLM은 보통 affine transformation을 사용하게 되는데 , 그래서 저자들은 FiLM affine transformation을 만드는 dense layer의 weight를 0으로 초기화해서 pretrained 를 계속 유지하게 함. 

FiLM이 어떻게 적용되는가에 대한 아키텍쳐

 

저자들은 ImageNet pretrained EfficientNet뿐 아니라, 처음부터 학습하는 EfficientNet에서도 identity-initialized FiLM이 더 좋은 결과를 낸다고 말한다. 

하지만 그래도 최종적으로는: ImageNet pretrained EfficientNet + identity-initialized FiLM 이 가장 좋았다는 의미입니다.

즉, 로봇 데이터만으로 vision encoder를 처음부터 학습하는 것보다, ImageNet으로 배운 시각 feature를 가져와서 instruction-conditioned하게 조정하는 쪽이 더 효과적.

 

최종적으로 Image-Language tokenizer는 다음과 같은 구조를 따름.

 

 

TokenLearner가 필요한 이유

8token 만을 뱉고 있음

최종적으로는 81개의 token이라고 했지만 그렇게 되면 로봇 입장에서는 너무 연산이 느려지기 때문에 가장 중요한 token만 정하게 됨. TokenLearner는 이미지 feature의 여러 위치 중에서 현재 작업에 중요한 부분에 더 높은 attention을 주고, 덜 중요한 부분은 줄인다.

예를 들어서 "pick up a coke can" 이라면 이미지 안에는 여러 물체가 있을 수 있다.

• 컵
• 사과
• 서랍
• 배경
• 카운터
• coke can

이 중에서 현재 작업에 가장 중요한 것은 coke can과 gripper 주변입니다. TokenLearner는 이런 중요한 시각 정보를 중심으로 token을 압축한다. 그 다음 transformer layer로 들어감.

근데 왜 8개의 token으로 되었나?

 

중요한 점은 TokenLearner가 단순히 81개 중 8개를 딱 골라내는 hard selection이 아니라는 것입니다.

논문 표현대로는 soft-select 이다 . 즉, 특정 token 하나만 선택하는 것이 아니라, 여러 token의 정보를 attention weight로 가중합해서 중요한 token 조합을 만든다.

예를 들어 하나의 output token은 다음 정보를 섞어서 가질 수 있음.

• target object 위치 정보
• gripper 위치 정보
• 주변 obstacle 정보
• 작업 관련 배경 정보

그래서 TokenLearner의 출력 8개 token은 원래 81개 token의 정보를 압축한 “요약 token”에 가까움.

Action token 만드는 과정

 

Action token을 만드는 과정 

앞서서 한 이미지당 8개의 토큰으로 출력한다고 말했고, 6장이 들어간다고 했으니 총 토큰 수 는 48개이다. 모두 이것을 이어 붙인 후 positional encoding 작업을 한다. (당연하게도 작업 순으로 들어가야 하니깐)

RT-1 의 transformer 는 decoder-only sequence model 이다.

 

Action tokenization: 연속 action을 256개 bin으로 이산화

원래 action은 연속적인 벡터이다.  RT-1은 각 action dimension을 256개의 bin으로 나눈다. 256 이산화란, 

예를 들어 로봇의 joint 가 0.02가 움직이는게  답이라면, 그 min max로 구간 안에서 index로 나타낸 것이다. 즉 0.02 움직였을때 도착한 그 구간을 뱉는것.

 

이렇게 이산화 하게 된다면, 

각 timestep마다 다음이 기록되어 있음.

$$(i, x_t, a_t)$$

$i$: 언어 instruction
 $x_t$: 이미지 관측
 $a_t$: expert가 실제로 한 action

학습 전에 $a_t$의 각 dimension을 256-bin index로 바꾼다.

예를 들어,
$$a_t = [0.02, -0.01, 0.03, ...]$$
가 아래와 같이 변환된다.
$$a_t^{token} = [179, 102, 201, ...]$$

그 다음 모델은 이미지와 언어를 보고 이 action token들을 맞히도록 학습한다.

$$\pi(a_t^{token} \mid i, x_{0:t})$$

loss는 각 action dimension에 대한 cross-entropy이다. 이렇게 변환을 하게 되면 나중에 추론을 할때는 연속 벡터로 decode 만 하면 되니깐 편리하다.

 

그러나 mode action은 좀 다르다.

arm/base/terminate를 고르는 mode variable은 원래부터 discrete(이산적)이다. 즉, 256-bin으로 나누는 연속값이 아니라, 세 가지 class 중 하나를 고르는 문제다.

$$a^{mode} \in \{\text{arm}, \text{base}, \text{terminate}\}$$

이 mode action은 로봇이 지금 무엇을 제어할지 결정한다. 예를 들면 다음과 같다.
mode = arm이면 팔 action을 실행한다.
mode = base이면 base action을 실행한다.
mode = terminate이면 episode를 종료한다.

그래서 RT-1은 매 timestep마다 단순히 “얼마나 움직일지”뿐 아니라, 무엇을 제어할지도 함께 판단한다.

 예시로 본다면, 
명령이 “open the drawer”이고, 현재 이미지에서 로봇이 서랍 앞에 있다고 가정한다. 이때 RT-1은 action token을 다음과 같이 예측할 수 있다.

$$[130, 128, 90, 128, 128, 128, 255, 128, 128, 128, \text{arm}]$$

이를 해석하면 다음과 같다.
* $x$: 약간 앞으로
* $y$: 거의 이동 없음
* $z$: 아래로
* roll / pitch / yaw: 거의 변화 없음
* gripper: 열기
* base movement: 거의 없음
* mode: arm control

다음 timestep에서 gripper가 손잡이에 가까워지면 또 이미지를 보고 다음 action token을 생성한다. 그 다음에는 다음과 같은 예측이 나올 수 있다.

$$[140, 128, 128, 128, 128, 128, 0, 128, 128, 128, \text{arm}]$$

이런 식으로 gripper를 닫고 당기는 action을 연속적으로 예측하게 된다.