전체 글 (95) 썸네일형 리스트형 Learning to Act Anywhere with Task-centric Latent Actions 논문 주소: https://arxiv.org/pdf/2505.06111깃허브: https://github.com/OpenDriveLab/UniVLA AbstractGeneralist robot은 다양한 환경에서 효과적으로 작업을 수행할 수 있어야 한다. 그러나 기존의 대부분의 접근법은 로보의 능력을 향상시키기 위해 action-annotated data의 규모를 확장하는 데 크게 의존하고 있다. 결과적으로 이러한 접근법은 특정한 physical specification에 국한되는 경우가 많으며, 서로 다른 embodiment와 환경 간에 전이 가능한 지식을 학습하는 데 어려움을 겪는다. 이러한 한계를 해결하기 위해 본 논문에서는 cross-embodiment vision-language-action (V.. GR00T N1: An Open Foundation Model for GeneralistHumanoid Robots 논문 주소: https://arxiv.org/pdf/2503.14734깃허브: https://github.com/Nvidia/Isaac-GR00T Abstract General-purpose robots에는 versatile body와 intelligent mind가 필요합니다. Humanoid robots의 최근 발전은 인간 세상에서 generalist autonomy를 구축하기 위한 hardware platform으로서 큰 가능성을 보여주었습니다. 방대하고 다양한 data sources로 학습된 robot foundation model은 로봇이 새로운 상황에 대해 추론하고, real-world variability를 robust하게 처리하며, 새로운 tasks를 신속하게 학습하도록 하는 데 필수적입.. Clutter-Robust Vision-Language-Action Models through Object-Centric and Geometry Grounding 논문 주소: https://arxiv.org/pdf/2512.22519깃허브: https://uark-aicv.github.io/OBEYED_VLA/ Abstract 최근 Vision–Language–Action (VLA) models는 action prediction을 위해 대규모 Vision–Language Models (VLMs)를 post-training함으로써 general-purpose robotic manipulation을 향한 인상적인 발전을 이루었습니다. 그러나 기존 VLAs는 perception과 control을 순수하게 action만을 위해 최적화된 긴밀하게 얽힌(entangled) monolithic pipeline으로 취급합니다. 이러한 end-to-end paradigm은 lan.. What to Ignore, What to React: Visually Robust RLFine-Tuning of VLA Models 논문 주소: https://arxiv.org/pdf/2605.13105 AbstractReinforcement learning (RL) fine-tuning은 robotic manipulation 분야의 Vision-Language-Action (VLA) models에서 유망한 성과를 보여주었지만, deployment-time visual shifts는 실질적인 어려움을 야기합니다. 핵심적인 난점은 standard task rewards가 task success를 supervise할 뿐, visual change가 task-irrelevant한지 아니면 manipulation에 필요한 behavior를 변화시키는지에 대해서는 제한적인 guidance만을 제공한다는 점입니다. 본 연구에서는 PPO opt.. Event-Grounded Sparse Autoencoders forVision-Language-Action Policies 논문 주소: https://arxiv.org/pdf/2605.17204깃허브: https://github.com/xc-j/Event-SAE Abstract Vision-Language-Action (VLA) policies는 언어 및 시각 입력을 로봇 actions로 변환하며, 이들의 hidden representations는 closed-loop behavior를 직접 형성합니다. 그러나 language 및 vision-language models의 mechanistic interpretability 도구들은 VLAs로 깔끔하게 전이되지 않습니다: 출력값은 인간이 읽을 수 있는 tokens가 아닌 로봇 actions이며, interventions는 비용이 많이 드는 closed-loop rollout.. JEPA-VLA: Video Predictive Embedding is Needed for VLA Models 논문 주소: https://arxiv.org/pdf/2602.11832 Abstract사전 학습된 Vision-language models를 기반으로 구축된 최근의 vision-language-action 모델들은 robotic manipulation 분야에서 상당한 발전을 이루었습니다. 그러나 현재의 VLAs는 여전히 낮은 sample efficiency와 한계가 있는 generalization 성능으로 인해 어려움을 겪고 있습니다.\ 본 논문에서는 이러한 한계점들이 그동한 간과되어 온 요소인 pretrained visual representation과 밀접하게 연관되어 있다고 주장합니다.현재의 visual representation은 environment understanding과 policy p.. Nüwa : MENDING THE SPATIAL INTEGRITY TORN BYVLM TOKEN PRUNING 논문 주소: https://arxiv.org/pdf/2602.02951 깃허브: https://github.com/Man-PaperRejected/Nuwa AbstractVision token pruning은 효율적인 VLM을 위한 효과적인 가석화 기술임이 입증되었습니다. 그러나 기존의 pruning방법들은 visual question answering (VQA) 에서는 우수한 성느을 보여주지만, , visual grounding (VG) 태스크에서는 상당한 성능 저하를 겪습니다. VLM의 프로세싱 파이프라인에 대한 본 연구의 분석 결과, global semantic simiarity와 attention scroes를 활용하는 전략들이 global spatial reference frame을 상실한다는.. DTP:A SIMPLE YET EFFECTIVE DISTRACTING TOKEN PRUNINGFRAMEWORK FOR VISION-LANGUAGE ACTION MODELS 논문 주소: https://arxiv.org/pdf/2601.16065v1project: https://anonymous.4open.science/r/CBD3 ABSTRACTVision Language Action model은 환경을 이해하고 액션을 직접 출력하기 위해 VLMs의 강력한 인지 능력을 활용함으로써 robotic manipulation 분야에서 눈부신 발전을 보여주었습니다. 그러나 기본적으로 VLA 몯레은 task와 무관한 영역의 이미지 token에 과도하게 주의를 기울일 수 있으며 본 연구에서는 이를 distraction tokens이라고 정의합니다. 이러한 동작은 매 단계에서 원하는 액션 토큰의 생성을 방해하며 task의 성공률의 영향을 미칠 수 있습니다. 본 논문에서는 이러한 dist.. 이전 1 2 3 4 ··· 12 다음
