PaLM-E: An Embodied Multimodal Language Model

RT-2 를 좀 재대로 이해하기 위해서 읽음.

 

Abstract - 

PaLM-E는 시각, 언어, 로봇 상태 정보를 하나의 토큰 시퀀스로 통합하여, 여러 로봇 embodiment와 관측 모달리티에서 일반화 가능한 embodied reasoning을 수행하는 모델이다.

 

Introduction - 

기존 LLM은 추론 능력은 뛰어나지만, 실제 로봇 환경에서는 부족하다.
왜냐하면 로봇이 행동하려면 텍스트만 이해하는 것이 아니라, 이미지, 물체 위치, 로봇 상태, 장면의 기하 구조 같은 실제 세계 정보를 함께 이해해야 하기 때문이다.

기존 방식인 SayCan 계열은 LLM이 텍스트로 계획을 만들고, 별도의 로봇 정책이나 affordance 함수가 실행 가능성을 판단한다. 하지만 LLM 자체는 여전히 텍스트만 입력으로 받기 때문에, 장면의 공간적 구조가 중요한 로봇 문제에는 한계가 있다.

그래서 PaLM-E는 다음을 제안한다.

이미지, 로봇 상태 추정값 같은 연속 센서 정보를 텍스트 토큰과 같은 embedding 공간에 넣고, Transformer LLM이 이를 텍스트처럼 함께 처리하게 만든다.

 

즉, PaLM-E는 단순한 VLM이 아니라, 시각 정보 + 로봇 상태 + 언어를 하나의 입력 시퀀스로 통합한 embodied language model이다.

실험에서는 로봇 조작, VQA, 이미지 캡셔닝, 일반 언어 과제까지 함께 학습시켰고, 그 결과 multi-task training이 단일 task 학습보다 성능이 좋았다고 주장한다. 특히 로봇 작업에서는 적은 데이터만으로도 성능이 크게 오르고, 새로운 물체 조합이나 보지 못한 물체에 대해 one-shot / zero-shot 일반화도 가능했다고 말한다.

또한 PaLM-E를 562B 파라미터까지 키웠고, PaLM 540B와 ViT 22B를 결합했다. 이 모델은 로봇 작업뿐 아니라 OK-VQA에서도 SOTA 성능을 냈고, zero-shot multimodal chain-of-thought, few-shot prompting, OCR 없이 수학 추론, multi-image reasoning 같은 능력도 보였다고 한다.

 

주요 contribution

 

1. Embodied data를 LLM 학습에 섞으면 multi-embodiment decision-making agent를 만들 수 있음을 보임.
2. 기존 VLM은 zero-shot으로 로봇 reasoning을 잘 못하지만, embodied data로 학습하면 가능하다고 주장함.
3. Neural scene representation, entity-labeling multimodal token 같은 구조적 아이디어를 제안함.
4. PaLM-E가 로봇 reasoning뿐 아니라 일반 vision-language 모델로도 강하다는 것을 보임.
5. 모델 크기를 키우면 multimodal finetuning 때 catastrophic forgetting이 줄어든다고 주장함.

Related Works - 

기존 VLM은 이미지와 텍스트를 함께 이해하는 모델이다. 그래서 VQA, captioning, OCR, object detection 같은 작업에 쓰인다.

하지만 기존 VLM들은 보통 이미지-텍스트 이해에 초점이 있다. 즉, 이미지를 보고 질문에 답하거나 설명문을 만드는 식.

PaLM-E의 차이는 다음입니다. PaLM-E는 이미지를 단순히 하나의 보조 입력으로 넣는 것이 아니라, 이미지와 텍스트를 모두 latent vector 형태의 “multimodal sentence”로 표현한다.

Action-output model과의 차이Action-output model과의 차이

기존 embodied vision-language 모델들은 보통 이미지와 언어를 입력받고 바로 action을 예측한다.

예를 들면:

입력: “빨간 블록을 집어라” + 이미지
출력: 로봇 action 또는 trajectory

 

VIMA, Gato, RT 계열 같은 모델들이 이 범주에 가깝다.

그런데 PaLM-E는 직접 low-level action을 출력하는 것이 아니라, high-level instruction을 텍스트로 생성.

예를 들면:

“컵 쪽으로 이동한다.”
“그리퍼를 연다.”
“컵을 잡는다.”
“들어 올린다.”

이런 식의 계획을 자연어로 출력하게 된다.

 

기존 action-output 모델에서 language는 주로 task specification, 즉 “무엇을 하라”는 명령 역할입니다. 반면 PaLM-E에서 language는 단순 명령이 아니라 추론과 계획의 표현 수단이다.

그래서 PaLM-E는 자기 자신이 생성한 이전 계획을 다시 조건으로 사용하면서 다음 계획을 만들 수 있고, LLM 내부에 저장된 world knowledge도 더 직접적으로 활용할 수 있다.

Gato와도 비교합니다. Gato도 여러 embodiment에서 동작하는 generalist agent이다. 하지만 논문 저자들은 PaLM-E가 Gato와 달리 여러 도메인을 함께 학습했을 때 positive transfer가 나타난다는 점을 강조.

즉, 로봇 작업만 학습하는 것보다 VQA, captioning, language task 등을 같이 학습하면 로봇 성능도 좋아진다는 주장이다.

 

SayCan과의 차이

대표적으로 SayCan 같은 방식은 LLM이 가능한 행동 후보를 만들고, 별도의 affordance function이 실제 실행 가능성을 평가.

예를 들면:

LLM: “컵을 집어라”
Affordance model: 지금 로봇이 컵을 집을 수 있는 위치인가? 가능성 점수 계산
최종 선택: 언어적으로 맞고 실제로 가능한 행동

이 방식의 한계는 LLM 자체가 실제 장면을 직접 보는 것이 아니라는 점. 즉, grounding을 외부 모델에 의존하게 됨.

PaLM-E는 이와 다름. PaLM-E는 이미지, 로봇 상태, scene representation을 LLM 내부 입력으로 직접 넣고, grounding된 계획을 직접 생성하도록 학습한다.

그래서 별도의 affordance model, visual feedback module, graph planner, program generator 등에 의존하지 않고, LLM 자체가 grounded inference를 하도록 만드는 것이 목표이다.

 

PaLM-E: An Embodied Multimodal Language Model

여기서부터는 Method.

가장 중요한 아이디어는 멀티모달 정보를 LLM에 같이 밀어넣는 다는 것.

예를 들어서 "pick up the cup" 이라면  토큰화를 통해 transformer 에 넣지만 이때 image 나 robot state 같은 토큰도 같이 넣는것.

 

텍스트	질문, 명령어, task description	기존 LLM token embedding
연속 관측값	이미지, 로봇 state, 센서 데이터	encoder로 변환 후 language embedding과 같은 차원의 벡터로 변환

즉, PaLM-E는 다음처럼 입력을 만듭니다.

텍스트 토큰 + 이미지 토큰 + 로봇 상태 토큰 + 텍스트 토큰

이것을 논문에서는 multimodal sentence라고 부른다.

PaLM-E는 decoder-only LLM이다

PaLM-E는 encoder-decoder 구조가 아니라 decoder-only LLM이다. GPT류 모델처럼 앞의 prefix/prompt를 보고 다음 토큰을 autoregressive하게 생성한다.

 

출력 예시는 두 가지.

1. 질문에 대한 답변

입력: 이미지 + “What is on the table?”
출력: “A red cup is on the table.”

1. 로봇이 실행해야 할 high-level decision 또는 plan

입력: 이미지 + 로봇 상태 + “Put the block in the drawer.”
출력: “Move to the block. Grasp the block. Move to the drawer. Release the block.”

 

그런데 여기서 중요한 점은 PaLM-E 가 직접 모터 제어를 하는건 아니다.

joint torque, joint velocity, gripper command

같은 직접 제어 명령을 내리는 모델이 아니다.

대신 PaLM-E는 텍스트 형태의 high-level decision 또는 plan을 출력.

그리고 이 high-level plan을 실제 로봇 action으로 바꾸는 것은 별도의 low-level policy 또는 planner가 담당한다.

즉 전체 구조는 다음과 같다.

이미지 / 센서 / 텍스트 입력
→ PaLM-E
→ 텍스트 plan 출력
→ low-level policy 또는 planner
→ 실제 로봇 action 실행

그래서 PaLM-E는 로봇 제어기라기보다는, 센서 정보를 이해하고 계획을 세우는 embodied reasoning module에 가깝다.

 

 

PaLM-E 는  decoder only 구조를 가진다. 앞에 주어진 prompt 을 보고, 그 뒤에 이어질 토큰 을 하나씩 생성하는 방식이다. 예를 들어 문장이 “Robot sees a red block on the table. Task: put the block in the drawer. Plan:” 라면 그 뒤를 알맞게 채우는 방식이다. 이미 이 과정은 LLM이 잘 하기 때문에, PaLM-E는 LLM 구조를 완전히 바꾸지 않고, prefix 안에 텍스트뿐 아니라 이미지/센서 embedding도 넣는 방향을 택한다.

 

원래 LLM은 단어들을 모두 토큰화해서 Transformer에 넣게된다. PaLM-E도 이와 동일하게 생각해서 이미지나 로봇 상태도 같은 차원의 벡터로 바꿔서 넣으면 LLM이 같이 처리할 수 있지 않을까? 라는 질문에 답을 준다.

 

Multimodal Sentence

그렇다면 어떻게 하면 멀티모달에 넣을 수 있을까? 실제로 토큰화를 통한다면 이미지든 언어든 같은 토큰화 벡터로 표시 될 것 이다.

예시로 들자면 VQA 에서 Q: What happened between <img 1> and <img 2>? 라고 LLM이 들어온다면 저 img1,2는 단순 image 문자가 아닌 실제 이미지의 토큰화이다.  만약 로봇 task 라면 Task: Put the red block in the drawer. Observation: <image> State: <robot_state> Plan:

실제 입력 벡터 시퀀스는: [Task,:,...,z1img,...,zqimg,z1state,...,zmstate,Plan,:] 이렇게 들어오면 

그리고 PaLM-E는 이어서 텍스트를 생성.

“move to red block”

또는

“pick red block, move to drawer, place red block” 

이런식으로 답변을 작성해 감.

 

중요한 것은 이미지 하나를 바로 하나의 토큰으로 압축하면 정보손실이 크기 때문에 patch token으로 만듬. 이렇게 만들면 LLM의 self-attention을 통해 텍스트 토큰과의 관계성 학습이 가능.

PaLM-E는 이미지 embedding을 항상 앞이나 뒤의 고정된 위치에 넣는 것이 아님.

예를 들어:

What changed from <img1> to <img2>?

또는:

Given robot state <state> and scene <img>, what should the robot do next?

또는:

In <img1>, the robot sees an object. After action A, the scene is <img2>. What happened?

이렇게 observation token을 문맥상 필요한 위치에 동적으로 둘 수 있음.

 

결론적으로 PaLM-E 출력은 텍스트로 나옴.

별다르게 action token이 나오는건 아니고 high level skill / planning을 만드는 것이다.

Control loop에서 PaLM-E가 어떻게 동작하는가

로봇이 행동하면 환경이 바뀌고, 다시 관측해야 한다.

PaLM-E는 control loop 안에서 다음처럼 동작한다.

1. 현재 이미지와 로봇 상태를 관측한다.
2. task instruction과 함께 PaLM-E에 넣는다.
3. PaLM-E가 다음 high-level skill을 텍스트로 출력한다.
4. low-level policy가 해당 skill을 실행한다.
5. 환경이 바뀐다.
6. 새 이미지와 새 로봇 상태를 다시 PaLM-E에 넣는다.
7. 필요하면 PaLM-E가 replan한다.

PaLM-E 가 받는 센서 모달리티 정리 

입력 표현                                           의미                                               PaLM-E에 넣는 방식

State estimation vector	로봇/물체 상태 벡터	MLP로 language embedding에 projection
ViT image feature	2D 이미지 feature	ViT token을 LLM embedding 차원으로 projection
Object-centric representation	물체 단위 feature	object mask나 slot으로 물체별 token 구성
OSRT	3D-aware object scene representation	여러 view 이미지에서 object slot을 만들고 LLM에 주입

센서 observation OOO를 LLM이 읽을 수 있는 embedding 토큰으로 바꾸는 것

 

State estimation token

로봇의 상태를 추정하는 여러 값들은 이미지보다 더 구조화 되어있기 때문에 복잡하지 않아서 MLP를 사용한다.

로봇 gripper 위치 = (x,y,z)(x,y,z)(x,y,z), 물체 위치 = (x,y,z)(x,y,z)(x,y,z), drawer 상태 = open/closed

이런 숫자 정보를 MLP가 받아서 PaLM-E가 읽을 수 있는 token-like vector로 바꾼다.

 

Vision token

vision token은 일단 LLM에서 쓰는 방식과 크게 다르지 않지만 task-wise에서 생각해보면 object centric이 되어야 할 것이다.

로봇 입장에서는 예시를 생각해보면,

• 빨간 블록이 어디 있는가?
• 파란 그릇이 어디 있는가?
• 어떤 물체를 집어야 하는가?
• 어떤 물체와 상호작용해야 하는가?

그래서 PaLM-E는 object-centric representation도 실험을 진행한다.

 

Object-centric representations

Object-centric representation은 장면을 물체 단위로 나누는 방식이다.

즉, 전체 이미지를 하나의 grid feature로 보는 것이 아니라  scene={object1,object2,...,objectj} 처럼 물체별 token을 만드는 것 이다.

이미지 전체가 아니라 특정 object만 강조해서 encoding을 한다(어차피 GT를 이용하면 되니깐).

예를 들어 테이블 위에 빨간 블록, 파란 블록, 컵이 있으면:

red block tokens,blue block tokens,cup tokens

처럼 object별 token sequence를 만들 수 있다. 이 방식의 장점은 LLM이 object를 더 명확히 참조할 수 있다는 것이다.

 

OSRT: Object Scene Representation Transformer

그런데 문제점은 이러한 GT가 항상 존재한다는 보장이 없음. 실제로 없는 경우가 많음. 그래서 저자는 object mask 없이도 unsupervised 방식으로 장면을 object slot들로 분해하는 3D-aware representation를 참조함.

쉽게 말하면, 여러 view image를 보고 다음과 같은 과정을 거친다.
우선 입력된 이미지 $I_{1:v}$로부터 장면 안의 object slot들을 생성한다.
$$o_j = \bar{\phi}_{\text{OSRT}}(I_{1:v})_j$$
여기서 $o_j$는 $j$번째 object slot을 의미한다. 그 다음, 이 object slot을 MLP $\psi$를 통해 LLM embedding token들로 변환한다.
$$x^j_{1:m} = \psi(o_j)$$
이때 주의할 점은 object 하나가 단일 토큰으로만 변환되어 들어가는 것이 아니라, 여러 개의 embedding으로 확장되어 들어간다는 것이다.
$$\psi : \mathbb{R}^{\bar{k}} \rightarrow \mathbb{R}^{m \times k}$$

 

이 section에서 논문이 말하는 핵심은

PaLM-E는 단순히 이미지를 통째로 LLM에 넣는 것이 아니라, state vector, ViT image token, object-centric token, 3D-aware OSRT slot 등 다양한 scene representation을 LLM embedding space로 변환해 사용할 수 있다.