pseudolab/GR00T-N1.7-3B-OMX-PickupDolls

GR00T-N1.7-3B — OMX Pick-up-Dolls (Cosmos-Augmented)

NVIDIA GR00T N1.7-3B를 Open Manipulator-X(5-DoF + 그리퍼) "인형 집어 옮기기" 태스크에 파인튜닝한 VLA 정책 모델입니다. 원본 텔레오퍼레이션 시연 75개를 Cosmos-Transfer2.5 기반 외관 증강으로 525 에피소드로 확장해 학습했습니다.

학습 데이터

구성	내용
원본	75 에피소드 (전체 길이, ~30Hz)
증강	450 청크 (93프레임/3초, Cosmos-Transfer2.5로 배경·조명·색상 변형)
혼합비	원본:증강 = 67:33 (프레임 가중)

학습 설정

• Base: nvidia/GR00T-N1.7-3B, embodiment tag NEW_EMBODIMENT (백본 동결, DiT 액션 헤드 학습)
• 14,000 스텝, global batch 32 — holdout 검증으로 확정한 최적 학습량 (미학습 시연 5개 기준 과적합 시작점 ≈14k 관측 후 전체 데이터로 재학습)
• 액션: 관절 RELATIVE / 그리퍼 절대값, 16스텝 청크(0.53초)

평가 (open-loop, MSE)

평가 세트	MSE	MAE
원본 궤적	0.0064	0.047
변형 외관 (증강 검증)	0.0040	0.031
미학습 시연 (holdout, 520 eps 학습 모델 기준)	0.0103	0.057

베이스라인(원본 75 eps만 학습) 대비 변형 외관에서 MSE 36% 개선.

사용법

from gr00t.policy.gr00t_policy import Gr00tPolicy

policy = Gr00tPolicy(
    embodiment_tag="new_embodiment",
    model_path="pseudolab/GR00T-N1.7-3B-OMX-PickupDolls",
    device="cuda",
)
action_chunk, _ = policy.get_action(obs)

관측 형식: video.webcam (1,H,W,3) uint8, state.single_arm (1,5), state.gripper (1,1), annotation.human.task_description (학습 지시문과 동일). modality 설정은 동봉된 omx_f_config.py 참조 (Isaac-GR00T 리포 필요).

파일 구성

• model-*.safetensors + index — 모델 가중치 (3 샤드, ~12GB)
• config.json, processor_config.json, statistics.json, embodiment_id.json — 추론 설정·정규화 통계
• experiment_cfg/ — 학습 당시 설정 스냅샷 (재현용)
• omx_f_config.py — modality 설정 (데이터셋 재구축·클라이언트 구현 참조용)