피지컬 AI 모델은 로봇이 실제 세계를 자율적으로 인지하고, 해석하며, 추론하고 상호작용할 수 있도록 합니다. 가속 컴퓨팅과 시뮬레이션은 차세대 로보틱스 개발의 핵심 요소입니다.
물리학은 로봇 시뮬레이션에서 중요한 역할을 하며, 로봇의 동작과 현실적인 환경에서의 상호작용을 정확하게 가상으로 재현하는 기반을 제공합니다. 이러한 시뮬레이터를 통해 연구자와 엔지니어는 로봇 제어 알고리즘과 프로토타입 설계를 안전하고 빠르며 비용 효율적인 방식으로 학습, 개발, 테스트 및 검증할 수 있습니다.
로봇 시뮬레이션은 질량과 운동량 보존, 강체 및 연체 동역학, 접촉과 마찰, 액추에이터 모델링 등 물리학의 기본 법칙에 기반합니다. 이러한 원리를 통해 다양한 시나리오와 환경에서 로봇이 어떻게 동작할지를 예측할 수 있습니다.
하지만 시뮬레이션은 종종 현실과 일치하지 않으며, 이를 “sim-to-real” 간극이라고 부릅니다. 로봇 개발자는 실제 물리현상을 모델링하고 다양한 동작(맞춤형 솔버와의 사용자 지정 상호작용 포함)을 처리하며, 미분 가능성과 같은 고급 기능을 지원할 수 있는 통합적이고 확장 가능하며 사용자 정의가 가능한 솔루션이 필요합니다.
Newton 소개
Newton은 NVIDIA, Google DeepMind, Disney Research가 공동으로 개발 중인 오픈 소스 확장형 물리 엔진으로, 로봇 학습과 개발을 발전시키기 위한 프로젝트입니다.
Newton은 복잡한 작업을 더 정밀하게 수행하도록 로봇을 학습시키는 NVIDIA Warp 기반으로 구축되었으며, MuJoCo Playground나 NVIDIA Isaac Lab과 같은 학습 프레임워크와 호환됩니다. NVIDIA Isaac Lab은 로봇 학습을 위한 오픈 소스 통합 프레임워크입니다.
Newton의 주요 특징은 다음과 같습니다.
오픈 소스
Newton은 오픈 소스로 제공되며, 로보틱스 커뮤니티 전체에 자유롭게 활용되고 배포될 수 있습니다. 이를 통해 연구자들은 최신 연구 성과를 개발에 기여할 수 있습니다.
NVIDIA 가속
Newton의 기반은 NVIDIA Warp로, NVIDIA CUDA-X 가속 라이브러리를 사용합니다. 이를 통해 개발자는 GPU 가속 커널 기반 프로그램을 손쉽게 작성할 수 있으며, AI 시뮬레이션, 로보틱스, 머신러닝을 위한 고성능 유연한 프레임워크를 제공합니다.
MuJoCo-Warp 기반
이 프로젝트의 핵심 중 하나는 MuJoCo와의 호환성입니다. MuJoCo는 Multi-Joint dynamics with Contact의 약자로, 복잡한 동역학과 접촉이 많은 환경에서 로보틱스 연구·개발에 널리 사용되는 오픈 소스 물리 엔진입니다. 개발자는 기존 모델과 코드를 활용해 물리 엔진 간 애플리케이션 적응에 소요되는 시간과 자원을 절약할 수 있습니다.
또한 Google DeepMind는 처음으로 MuJoCo-Warp를 도입했습니다. MuJoCo-Warp는 Warp로 가속된 오픈 소스 로보틱스 시뮬레이터로, 휴머노이드 시뮬레이션에서 70배 이상, 손 안 조작 작업에서는 100배 이상의 속도 향상을 제공합니다. MuJoCo-Warp는 Newton의 핵심 물리 엔진으로 제공됩니다.
미분 가능 물리
시뮬레이션을 통해 그라디언트를 전파할 수 있는 기능은 로봇 시뮬레이션과 학습에 새로운 가능성을 열어줍니다. 미분 가능 시뮬레이터는 순방향 결과를 생성하고 시스템 매개변수 최적화를 위한 역전파의 역모드 그라디언트를 계산할 수 있습니다.
확장성
현대 로보틱스의 범위가 넓어지면서 시뮬레이션해야 할 시나리오도 다양해지고 있습니다. Newton은 고유 솔버, 적분기, 수치 기법을 통해 음식, 천, 기타 변형 가능한 물체와 상호작용하는 다중 물리 시뮬레이션을 지원하도록 높은 확장성을 제공합니다.
Newton은 예를 들어 모래를 강체 동역학과 결합하는 MPM(Material Point Method) 솔버처럼 서로 다른 유형의 솔버를 결합할 수 있습니다.
OpenUSD 기반
Newton은 OpenUSD 프레임워크를 사용합니다. OpenUSD의 유연한 데이터 모델과 컴포지션 엔진은 로봇과 주변 환경을 설명하는 데 필요한 데이터를 통합하며, 사용자 지정 솔버와 런타임은 특정 로봇 기능과 환경에 특화될 수 있습니다.
Disney Research는 Newton을 가장 먼저 활용해 차세대 엔터테인먼트 로봇을 구동하는 로보틱 캐릭터 플랫폼을 발전시킬 예정입니다. 예를 들어, GTC 기조연설 무대에 등장한 Star Wars에서 영감을 받은 BDX 드로이드가 그 예입니다.
“BDX 드로이드는 시작에 불과합니다. 우리는 세상이 본 적 없는 방식으로 더 많은 캐릭터에 생명을 불어넣기 위해 최선을 다하고 있으며, Disney Research, NVIDIA, Google DeepMind와의 협업은 이 비전의 핵심입니다.”라고 Walt Disney Imagineering Research and Development의 SVP인 Kyle Laughlin은 말했습니다.
“이번 협업을 통해 더욱 표현력이 풍부하고 매력적인 새로운 세대의 로보틱 캐릭터를 창조하고, Disney만이 할 수 있는 방식으로 우리의 손님들과 소통할 수 있을 것입니다.”
또한 Newton과 더불어 Disney Research, Google DeepMind, Intrinsic, NVIDIA는 로보틱스를 위한 OpenUSD 에셋 구조 정의에도 협력하고 있습니다. 이 새로운 구조와 데이터 파이프라인은 OpenUSD의 모범 사례를 활용해 로보틱스 워크플로우를 통합하고 모든 데이터 소스에 공통 언어를 제공합니다.
자세히 알아보기
Newton은 차세대 휴머노이드 로봇 개발을 위한 길을 열어갈 것입니다. 현재 개발이 진행 중이며 올해 말 첫 번째 버전을 공개할 예정입니다.
그동안 Newton의 기반 기술에 대해 더 알아보세요.
- NVIDIA Warp는 Python에서 데이터 생성과 공간 컴퓨팅을 구축하고 가속화하기 위한 개발자 프레임워크입니다.
- NVIDIA Isaac Lab은 NVIDIA Isaac Sim 기반으로 개발된 로봇 학습을 위한 오픈 소스 통합 프레임워크로, 로봇 정책 학습을 지원합니다.
지금 시작하기
무료 OpenUSD 세션과 OpenUSD 및 로보틱스 기초 과정으로 기초 지식을 쌓아보세요.
관련 리소스
- GTC 세션: Mujoco-Warp 및 Newton 발표: Google DeepMind와 NVIDIA가 로봇 공학 개발을 가속화하는 방법
- GTC 세션: Omniverse Cloud Sensor RTX로 피지컬 AI 개발 워크플로우 가속화
- NGC 컨테이너: Isaac Sim
- SDK: PhysX
- SDK: Isaac Lab
- SDK: Isaac Sim
