본문 바로가기

전체 글

(97)
GR00T N1 ~ N1.7 요약 정리 GR00T N1Gr00T N1의 핵심은 다양한 embodiment와 데이터 종류를 하나의 policy에서 학습하는 기반을 만드는 것입니다. 기존 문제충분한 휴머노이드 데이터가 없으며, 기존 데이터도 서로 분리되어 있습니다. Robot data만을 가지고 학습을 하는 것 자체가 굉장히 많은 시간과 비용이 발생합니다.인터넷에는 이미지, 텍스트 등 데이터가 많이 존재하지만, 특정 로봇은 다양한 작업을 수행한 observation-state-action 데이터는 상대적으로 수집하기 어려움. 또한 다른 로봇의 데이터를 가져와도 각자 몸의 구조, 관절 수, 카메라, action 차원과 제어 방식이 서로 다름. 본 논문에서는 이를 data islands 문제로 설명. Gr00T N1의 목표는 위 문제를 해결하기 위해..
GR00T N1: An Open Foundation Model for Generalist Humanoid Robots Abstract 범용 로봇에는 다재다능한 신체와 지능적인 지능이 필요합니다. 최근 휴머노이드 로봇의 발전은 인간 세상에서 범용 자율성을 구축하기 위한 하드웨어 플랫폼으로서 큰 가능성을 보여주었습니다. 방대하고 다양한 데이터 소스로 학습된 로봇 파운데이션 모델은 로봇이 새로운 상황을 추론하고, 실제 세계의 가변성을 견고하게 다루며, 새로운 작업을 빠르게 학습할 수 있도록 하는 데 필수적 입니다. 이를 위해 본 연구에서는 휴머노이드 로봇을 위한 오픈 파운데이션 모델인 GR00T N1을 소개합니다. GR00T N1은 이중 시스템 아키텍처를 갖춘 Vision-Language-Action 모델입니다. Vision-language 모듈(System2)은 비전 및 언어 지시어를 통해 환경을 해석합니다. 이어지는 ..
Learning to Act Anywhere with Task-centric Latent Actions 논문 주소: https://arxiv.org/pdf/2505.06111깃허브: https://github.com/OpenDriveLab/UniVLA AbstractGeneralist robot은 다양한 환경에서 효과적으로 작업을 수행할 수 있어야 한다. 그러나 기존의 대부분의 접근법은 로보의 능력을 향상시키기 위해 action-annotated data의 규모를 확장하는 데 크게 의존하고 있다. 결과적으로 이러한 접근법은 특정한 physical specification에 국한되는 경우가 많으며, 서로 다른 embodiment와 환경 간에 전이 가능한 지식을 학습하는 데 어려움을 겪는다. 이러한 한계를 해결하기 위해 본 논문에서는 cross-embodiment vision-language-action (V..
GR00T N1: An Open Foundation Model for GeneralistHumanoid Robots 논문 주소: https://arxiv.org/pdf/2503.14734깃허브: https://github.com/Nvidia/Isaac-GR00T Abstract General-purpose robots에는 versatile body와 intelligent mind가 필요합니다. Humanoid robots의 최근 발전은 인간 세상에서 generalist autonomy를 구축하기 위한 hardware platform으로서 큰 가능성을 보여주었습니다. 방대하고 다양한 data sources로 학습된 robot foundation model은 로봇이 새로운 상황에 대해 추론하고, real-world variability를 robust하게 처리하며, 새로운 tasks를 신속하게 학습하도록 하는 데 필수적입..
Clutter-Robust Vision-Language-Action Models through Object-Centric and Geometry Grounding 논문 주소: https://arxiv.org/pdf/2512.22519깃허브: https://uark-aicv.github.io/OBEYED_VLA/ Abstract 최근 Vision–Language–Action (VLA) models는 action prediction을 위해 대규모 Vision–Language Models (VLMs)를 post-training함으로써 general-purpose robotic manipulation을 향한 인상적인 발전을 이루었습니다. 그러나 기존 VLAs는 perception과 control을 순수하게 action만을 위해 최적화된 긴밀하게 얽힌(entangled) monolithic pipeline으로 취급합니다. 이러한 end-to-end paradigm은 lan..
What to Ignore, What to React: Visually Robust RLFine-Tuning of VLA Models 논문 주소: https://arxiv.org/pdf/2605.13105 AbstractReinforcement learning (RL) fine-tuning은 robotic manipulation 분야의 Vision-Language-Action (VLA) models에서 유망한 성과를 보여주었지만, deployment-time visual shifts는 실질적인 어려움을 야기합니다. 핵심적인 난점은 standard task rewards가 task success를 supervise할 뿐, visual change가 task-irrelevant한지 아니면 manipulation에 필요한 behavior를 변화시키는지에 대해서는 제한적인 guidance만을 제공한다는 점입니다. 본 연구에서는 PPO opt..
Event-Grounded Sparse Autoencoders forVision-Language-Action Policies 논문 주소: https://arxiv.org/pdf/2605.17204깃허브: https://github.com/xc-j/Event-SAE Abstract Vision-Language-Action (VLA) policies는 언어 및 시각 입력을 로봇 actions로 변환하며, 이들의 hidden representations는 closed-loop behavior를 직접 형성합니다. 그러나 language 및 vision-language models의 mechanistic interpretability 도구들은 VLAs로 깔끔하게 전이되지 않습니다: 출력값은 인간이 읽을 수 있는 tokens가 아닌 로봇 actions이며, interventions는 비용이 많이 드는 closed-loop rollout..
JEPA-VLA: Video Predictive Embedding is Needed for VLA Models 논문 주소: https://arxiv.org/pdf/2602.11832 Abstract사전 학습된 Vision-language models를 기반으로 구축된 최근의 vision-language-action 모델들은 robotic manipulation 분야에서 상당한 발전을 이루었습니다. 그러나 현재의 VLAs는 여전히 낮은 sample efficiency와 한계가 있는 generalization 성능으로 인해 어려움을 겪고 있습니다.\ 본 논문에서는 이러한 한계점들이 그동한 간과되어 온 요소인 pretrained visual representation과 밀접하게 연관되어 있다고 주장합니다.현재의 visual representation은 environment understanding과 policy p..