전체 글 (98) 썸네일형 리스트형 AI 관련 복습 --(3) Seq2SeqSeq2Seq는 입력 sequence를 처리하여 다른 길이의 출력 Sequence를 생성하는 Encoder-Decoder 기반 모델 구조.*Sequence는 데이터의 요소들이 특정 순서에 따라 배열된 구조일반적인 RNN의 순차 처리 구조만으로는 입력과 출력의 길이가 다른 Sequence 변환을 구성하기 불편함.입력 Sequence의 정보를 바탕으로 새로운 출력 Sequence를 생성하는 구조가 필요. 일반적인 RNN의 순차 처리 구조만으로는 입력과 출력의 길이가 다른 Sequence 변환을 구성하기 불편함.입력 Sequence의 정보를 바탕으로 새로운 출력 Sequence를 생성하는 구조가 필요. 초기 Seq2Seq는 주로 RNN, LSTM, GRU를 활용하여 구현되었음.기본 구조\[ \.. GR00T N1 ~ N1.7 요약 정리 GR00T N1Gr00T N1의 핵심은 다양한 embodiment와 데이터 종류를 하나의 policy에서 학습하는 기반을 만드는 것입니다. 기존 문제충분한 휴머노이드 데이터가 없으며, 기존 데이터도 서로 분리되어 있습니다. Robot data만을 가지고 학습을 하는 것 자체가 굉장히 많은 시간과 비용이 발생합니다.인터넷에는 이미지, 텍스트 등 데이터가 많이 존재하지만, 특정 로봇은 다양한 작업을 수행한 observation-state-action 데이터는 상대적으로 수집하기 어려움. 또한 다른 로봇의 데이터를 가져와도 각자 몸의 구조, 관절 수, 카메라, action 차원과 제어 방식이 서로 다름. 본 논문에서는 이를 data islands 문제로 설명. Gr00T N1의 목표는 위 문제를 해결하기 위해.. GR00T N1: An Open Foundation Model for Generalist Humanoid Robots Abstract 범용 로봇에는 다재다능한 신체와 지능적인 지능이 필요합니다. 최근 휴머노이드 로봇의 발전은 인간 세상에서 범용 자율성을 구축하기 위한 하드웨어 플랫폼으로서 큰 가능성을 보여주었습니다. 방대하고 다양한 데이터 소스로 학습된 로봇 파운데이션 모델은 로봇이 새로운 상황을 추론하고, 실제 세계의 가변성을 견고하게 다루며, 새로운 작업을 빠르게 학습할 수 있도록 하는 데 필수적 입니다. 이를 위해 본 연구에서는 휴머노이드 로봇을 위한 오픈 파운데이션 모델인 GR00T N1을 소개합니다. GR00T N1은 이중 시스템 아키텍처를 갖춘 Vision-Language-Action 모델입니다. Vision-language 모듈(System2)은 비전 및 언어 지시어를 통해 환경을 해석합니다. 이어지는 .. Learning to Act Anywhere with Task-centric Latent Actions 논문 주소: https://arxiv.org/pdf/2505.06111깃허브: https://github.com/OpenDriveLab/UniVLA AbstractGeneralist robot은 다양한 환경에서 효과적으로 작업을 수행할 수 있어야 한다. 그러나 기존의 대부분의 접근법은 로보의 능력을 향상시키기 위해 action-annotated data의 규모를 확장하는 데 크게 의존하고 있다. 결과적으로 이러한 접근법은 특정한 physical specification에 국한되는 경우가 많으며, 서로 다른 embodiment와 환경 간에 전이 가능한 지식을 학습하는 데 어려움을 겪는다. 이러한 한계를 해결하기 위해 본 논문에서는 cross-embodiment vision-language-action (V.. GR00T N1: An Open Foundation Model for GeneralistHumanoid Robots 논문 주소: https://arxiv.org/pdf/2503.14734깃허브: https://github.com/Nvidia/Isaac-GR00T Abstract General-purpose robots에는 versatile body와 intelligent mind가 필요합니다. Humanoid robots의 최근 발전은 인간 세상에서 generalist autonomy를 구축하기 위한 hardware platform으로서 큰 가능성을 보여주었습니다. 방대하고 다양한 data sources로 학습된 robot foundation model은 로봇이 새로운 상황에 대해 추론하고, real-world variability를 robust하게 처리하며, 새로운 tasks를 신속하게 학습하도록 하는 데 필수적입.. Clutter-Robust Vision-Language-Action Models through Object-Centric and Geometry Grounding 논문 주소: https://arxiv.org/pdf/2512.22519깃허브: https://uark-aicv.github.io/OBEYED_VLA/ Abstract 최근 Vision–Language–Action (VLA) models는 action prediction을 위해 대규모 Vision–Language Models (VLMs)를 post-training함으로써 general-purpose robotic manipulation을 향한 인상적인 발전을 이루었습니다. 그러나 기존 VLAs는 perception과 control을 순수하게 action만을 위해 최적화된 긴밀하게 얽힌(entangled) monolithic pipeline으로 취급합니다. 이러한 end-to-end paradigm은 lan.. What to Ignore, What to React: Visually Robust RLFine-Tuning of VLA Models 논문 주소: https://arxiv.org/pdf/2605.13105 AbstractReinforcement learning (RL) fine-tuning은 robotic manipulation 분야의 Vision-Language-Action (VLA) models에서 유망한 성과를 보여주었지만, deployment-time visual shifts는 실질적인 어려움을 야기합니다. 핵심적인 난점은 standard task rewards가 task success를 supervise할 뿐, visual change가 task-irrelevant한지 아니면 manipulation에 필요한 behavior를 변화시키는지에 대해서는 제한적인 guidance만을 제공한다는 점입니다. 본 연구에서는 PPO opt.. Event-Grounded Sparse Autoencoders forVision-Language-Action Policies 논문 주소: https://arxiv.org/pdf/2605.17204깃허브: https://github.com/xc-j/Event-SAE Abstract Vision-Language-Action (VLA) policies는 언어 및 시각 입력을 로봇 actions로 변환하며, 이들의 hidden representations는 closed-loop behavior를 직접 형성합니다. 그러나 language 및 vision-language models의 mechanistic interpretability 도구들은 VLAs로 깔끔하게 전이되지 않습니다: 출력값은 인간이 읽을 수 있는 tokens가 아닌 로봇 actions이며, interventions는 비용이 많이 드는 closed-loop rollout.. 이전 1 2 3 4 ··· 13 다음