Open X-Embodiment: Robotic Learning Datasets and RT-X Models

기존 RT-1 , RT-2를 읽고 오는 것이 좋음.

 

Abstract - 

대규모 사전 학습이 다른 분야에는 나오는데 Robotics에도 필요하지 않을까? 그래서 저자는 21개 기관의 협력을 통해 수집된 22개의 서로 다른 robot으로부터 dataset을 구성했으며, 이 dataset은 527개의 skill과 160,266개의 task으로 이뤄진 data를 만들었다.

RT-X가 positive transfer를 보이며, 다른 platform에서 얻은 경험을 활용함으로써 여러 robot의 능력을 향상시킨다는 것을 보여준다.

 

INTRODUCTION - 

다양한 데이터로 대규모 vision model 또는 language model을 사전학습함으로써 가능해진 일반화에 영감을 받아, 저자는 일반화 가능한 로봇 policy를 학습하는 목표가 X-embodiment training, 즉 여러 로봇 platform으로부터의 데이터를 사용한 학습을 필요로 한다는 관점을 취한다.

저자는 두가지의 목표를 취한다.

첫째, 여러 다른 로봇과 환경에서 얻은 데이터로 학습된 policy들이 positive transfer의 이점을 누리는지 평가한다. 즉, 각 평가 setup의 데이터만으로 학습된 policy보다 더 좋은 성능을 달성하는지 평가한다.

둘째, X-embodiment model에 대한 미래 연구를 가능하게 하기 위해 대규모 로봇 데이터셋을 조직화한다.

최종적으로 저자가 학습한 model과 함께 data 및 tool을 제공하여, X-embodiment robot learning을 둘러싼 연구를 활성화하는 것이다.

 

RELATED WORKS - 

 

로봇 embodiments 간의 transfer 

기존 연구들은 시뮬레이션과 실제 로봇에서 로봇 embodiment 간 transfer를 위한 방법들을 연구해왔다.

이러한 방법들은 종종 서로 다른 로봇들 사이의 embodiment gap을 다루기 위해 특별히 설계된 메커니즘을 도입한다. 예를 들어 다음과 같은 방식들이 있다.

• shared action representation
• representation learning objective의 도입
• embodiment information을 이용한 학습된 policy의 적응
• robot representation과 environment representation의 분리

기존 연구들은 Transformer 모델을 이용한 X-embodiment training과 transfer의 초기 demonstration을 제공해왔다.

우리는 이와 상호보완적인 architecture를 조사하고, 상호보완적인 분석을 제공한다. 특히 X-embodiment transfer와 web-scale pretraining 사이의 상호작용을 연구한다. 저자의 연구는 embodiment gap을 줄이기 위한 별도의 메커니즘 없이 X-embodiment data에 직접 policy를 학습시키고, 그 데이터를 활용함으로써 positive transfer가 관찰됨을 보인다.

 

Large-scale robot learning datasets

저자는 여러 embodiment에서 수집한 data를 쓴다고 한다.

 

Language-conditioned robot learning

기존 연구들은 로봇과 다른 agent들이 언어 지시를 이해하고 따르는 능력을 갖추도록 하는 것을 목표로 해왔다. language-conditioned policy를 학습하는 방식으로 접근했다.

저자는 이러한 많은 기존 연구들과 마찬가지로 imitation learning을 통해 language-conditioned policy를 학습한다. 하지만 저자는 이를 대규모 multi-embodiment demonstration data를 사용해 수행한다.

 

정리하자면. 

기존에도 로봇 간 transfer, 대규모 로봇 데이터셋, 언어 조건화 로봇 학습 연구는 있었다. 하지만 대부분은 특정 embodiment gap을 줄이기 위한 별도 구조를 쓰거나, 같은 종류의 로봇 데이터에 머물렀다. 이 논문은 여러 로봇 embodiment의 데이터를 표준화해 직접 함께 학습하고, positive transfer가 실제로 일어나는지 보여준다는 점이 다르다.

 

본 논문은 

첫째, Open X-Embodiment Dataset이다.
이는 22개의 robot embodiment로부터 얻은 100만 개 이상의 robot trajectory를 포함하는 robot learning dataset이다.

둘째, Pre-Trained Checkpoints이다.
이는 inference와 fine-tuning에 바로 사용할 수 있는 RT-X model checkpoint들의 일부 선택본이다.

 

The Open X-Embodiment Dataset

 

Dataset Analysis

 

 

Figure 2(a)는 robot embodiment별 dataset breakdown을 보여주며, Franka robot이 가장 흔한 embodiment임을 보여준다.

이는 Figure 2(b)의 embodiment별 distinct scene 수에도 반영되어 있으며, 여기서도 Franka가 지배적이다.

Figure 2(c)는 embodiment별 trajectory breakdown을 보여준다.

다양성을 더 분석하기 위해, 저자는 데이터에 존재하는 language annotation을 사용한다.

우리는 PaLM language model을 사용해 instruction으로부터 object와 behavior를 추출한다.

Figure 2(d, e)는 skill과 object의 다양성을 보여준다.

대부분의 skill은 pick-place 계열에 속하지만, dataset의 long tail에는 “wiping”이나 “assembling”과 같은 skill도 포함되어 있다.

추가로, 데이터는 appliance, food item, utensil에 이르는 다양한 household object를 포괄한다.

 

같은 action vector 를 가지더라도 로봇마다 크게 다를 수 있음.

Rt-1 과 RT-2 에 관한 모델 설명은 생략.

두 model 모두 output space에 대해 standard categorical cross-entropy objective를 사용한다.

RT-1의 경우 output space는 discrete bucket이고, RT-2의 경우 output space는 가능한 모든 language token이다.

저자는 모든 실험에서 사용하는 robotics data mixture를 다음 데이터들로 정의한다.

9개의 manipulator로부터 온 데이터이며, 다음 데이터셋들에서 가져온다.

• RT-1
• QT-Opt
• Bridge
• Task Agnostic Robot Play
• Jaco Play
• Cable Routing
• RoboTurk
• NYU VINN
• Austin VIOLA
• Berkeley Autolab UR5
• TOTO
• Language Table

RT-1-X는 위에서 정의한 robotics mixture data만으로 학습.

반면 RT-2-X는 원래 RT-2와 유사하게 co-fine-tuning 방식으로 학습되며, 원래 VLM data와 robotics data mixture를 약 1:1 비율로 나눈다.

실험에서 사용한 robotics data mixture는 9개의 embodiment를 포함한다는 점에 유의해야 한다. 이는 전체 Open X-Embodiment dataset의 22개 embodiment보다 적다.

이 차이가 생긴 실질적인 이유는 저자가 시간이 지나면서 dataset을 계속 확장해왔기 때문이다. 실험 당시에는 위에서 언급한 dataset이 사용 가능한 전체 data를 대표했다.

inference 시점에는 각 model이 robot에 필요한 rate로 실행된다. 이 rate는 3–10 Hz이다.

RT-1은 local에서 실행되고, RT-2는 cloud service에 host된 뒤 network를 통해 query된다.

 

Experimental Results 

X-embodiment training의 효과에 관한 세 가지 질문에 답한다.

첫째, X-embodiment dataset으로 학습된 policy가 효과적으로 positive transfer를 가능하게 할 수 있는가? 

둘째, 여러 platform과 task의 데이터로 model을 co-training하는 것이 새로운 unseen task로의 generalization을 향상시키는가?

셋째, model size, model architecture, dataset composition과 같은 서로 다른 design dimension들이 결과 policy의 성능과 generalization capability에 어떤 영향을 미치는가?

이 질문들에 답하기 위해, 저자는 6개의 서로 다른 robot에 걸쳐 총 3600개의 evaluation trial을 수행한다.

In-distribution performance across different embodiments

첫째는 small-scale dataset을 가진 domain에서의 evaluation이다. 이는 Figure 4에 해당한다. 이 경우 더 큰 dataset으로부터의 transfer가 성능을 크게 향상시킬 것이라고 기대한다.

둘째는 large-scale dataset을 가진 domain에서의 evaluation이다. 이는 Table I에 해당한다. 이 경우에는 추가적인 성능 향상이 더 어려울 것이라고 기대한다.

Improved generalization to out-of-distribution settings

RT-2 논문에서 제안된 것과 동일한 generalization property evaluation을 수행한다.

이는 unseen object, unseen environment, unseen background에 대해 조작할 수 있는 능력을 테스트하는 것.

위 테이블을 보면 RT-2 나 RT-2-X 나 비슷한 성능을 보여줌.

 

Emergent skills evaluation

Knowledge transfer를  평가한 것. 

row (1)과 row (2)를 비교하면, RT-2-X가 RT-2보다 약 3배 더 좋은 성능을 보인다는 것을 알 수 있다. 다른 robot으로부터의 데이터를 training에 포함하는 것이, 이미 많은 데이터를 가지고 있는 robot에 대해서도 수행 가능한 task 범위를 향상시킨다는 것을 시사한다. 즉 다른 platform의 데이터로 co-training하는 것이, 해당 platform의 원래 dataset에는 존재하지 않는 추가 skill을 RT-2-X controller에 부여한다는 것을 시사한다.

 

다음 ablation은 RT-2-X training에서 Bridge dataset을 제거하는 것이다.

row (3)은 Bridge dataset을 제외하고 RT-2-X에 사용된 모든 데이터를 포함한 RT-2-X의 결과를 보여준다.

이 variation은 hold-out task에서의 성능을 크게 낮춘다.

 

Design decisions

가장 성능이 좋은 RT-2-X model의 generalization capability에 대해 서로 다른 design decision들이 미치는 영향을 측정하기 위한 ablation을 수행한다.

이 결과들은 Table II에 제시되어 있다.

짧은 image history를 포함하는 것이 generalization performance를 상당히 향상시킨다는 점에 주목한다. 이는 row (4)와 row (5)의 비교에서 볼 수 있다.

RT-2 논문의 결론과 유사하게, model의 web-based pretraining은 large model에서 높은 성능을 달성하는 데 중요하다. 이는 row (4)와 row (6)의 비교에서 볼 수 있다.

또한 55B model은 5B model과 비교해 Emergent Skills에서 상당히 더 높은 success rate를 보인다. 이는 row (2)와 row (4)의 비교에서 볼 수 있다.

이는 더 높은 model capacity가 robotic dataset 간 transfer를 더 높은 수준으로 가능하게 함을 보여준다.