AI
NVIDIA Jetson Thor와 GR00T 모델을 활용한 로봇 시뮬레이션 테스트
두줄요약
Jetson Thor에 GR00T 모델을 올려 HIL 기반 로봇 시뮬레이션 추론을 수행한 내용을 정리했습니다. 실제 로봇 없이 작업을 검증해 비용과 리스크를 줄일 수 있음을 확인했습니다.
핵심 내용
- NVIDIA Jetson Thor를 초기 설정한 뒤, NVIDIA Isaac GR00T N1-2B 기반 파인튜닝 모델로 휴머노이드 로봇 시뮬레이션 추론 테스트 진행
- Isaac Lab과 Isaac Sim, ROS2 DDS, HIL(Hardware-In-The-Loop) 구성을 통해 카메라 영상 입력과 모터 제어 출력 연결
- 실제 로봇 없이 시뮬레이션에서 작업을 검증해 리스크와 비용을 줄이는 활용 가능성 확인
구조와 흐름
- Jetson Thor에 BSP와 Ubuntu를 설치하고, UEFI firmware update 이슈를 거쳐 초기 구동 완료
- 시뮬레이션 환경의 로봇 카메라 영상을 Jetson Thor로 전달하고, GR00T 모델이 조인트 액션 값을 예측해 다시 시뮬레이터로 전달
- 도커 컨테이너 환경에서 데모를 실행하며 HIL 데모 시퀀스를 검증
적용해볼 점
- 실제 하드웨어가 비싼 휴머노이드 작업을 사전 검증하는 시뮬레이션 기반 개발 방식 참고
- 특정 작업에는 범용 모델보다 파인튜닝 데이터셋이 중요하다는 점 확인
- Jetson Thor에서 로봇 추론뿐 아니라 다른 LLM 추론도 확장 가능성 확인