스티로폼 과일로 배운 로봇은 진짜 파인애플을 못 집는다
썩지 않게 스티로폼 과일로 로봇을 가르쳤더니, 진짜 파인애플을 집지 못했다.
칭화대 쉬화저 교수의 로봇 스타트업에 따르면 모형 과일은 힘을 주고 손끝으로 긁어 들어 올릴 수 있어서 로봇이 그 방법을 배운다. 진짜 파인애플은 그렇게 안 집혀 위쪽 잎을 잡아야 한다. 같은 무대에서 앤트그룹 계열 로봇 연구소 과학자는 촉각 센서의 실제 신호와 시뮬레이션 신호가 "거의 천차만별"이라고 했다.
출처: 상하이 외탄대회 원탁 녹음(팟캐스트 스쯔루커우), 9/13
원탁 구성
9월 상하이 외탄대회 주 무대에서 중국 체화지능(로봇 AI) 회사 넷이 원탁 토론을 했다. 팟캐스트 「스쯔루커우」가 9월 13일 43분 녹음을 공개했다.
- 쉬화저 — 칭화대 교차정보연구원 조교수, 로봇 스타트업 포커 창업자
- 선위쥔 — 앤트그룹 계열 로봇 연구소 링보 수석과학자. 실제 데이터 쪽
- 한정 — 수두 공동창업자. 시뮬레이션 데이터 쪽
- 왕첸 — 쯔볜량 창업자
스티로폼 과일 데이터
쉬화저에 따르면 과일 집기 데이터는 처음에 장난감 과일이나 스티로폼 모형으로 모은다. 시장에서 산 과일은 썩기 때문이다. 그는 이 데이터가 "매우 해롭다"고 했다. 스티로폼 과일은 힘을 더 주고 손끝으로 조금씩 긁으면 들어 올라가지만, 진짜 파인애플은 "어떻게 해도 그렇게 집을 수 없다". 진짜라면 통통한 몸통이 아니라 위쪽 초록 잎을 잡아야 한다.
쉬화저는 로봇이 한 번 잡아 본 뒤 모형인지 진짜인지 판단하고 잡는 방식을 바꿔야 하는데, 대부분의 로봇 모델에는 이 능력이 없다고 했다. 그의 구상은 언어모델 같은 상위 모델이 물체를 판별하고 하위 로봇 모델이 동작을 맡는 구조다.
촉각 센서 신호
선위쥔은 로봇이 아는 세계는 몸에 달린 센서뿐이고 "완벽한 센서는 본 적이 없다"고 했다. 촉각 센서 업체들이 시뮬레이션 도구를 함께 내놓지만, 링보가 실제 센서로 측정한 신호와 시뮬레이션 신호는 주파수· 진폭·센서 간 일관성에서 "거의 천차만별"이었다고 했다.
선위쥔에 따르면 업계는 시뮬레이션 결과를 현실에 옮기는 문제(Sim-to-Real)를 주로 말하지만, 그는 현실의 센서 잡음을 시뮬레이터 안에 대규모로 옮기는 문제(Real-to-Sim)를 더 큰 과제로 봤다. 이것이 규모화되지 않으면 특정 작업 하나는 풀어도 범용 사전학습에는 쓰기 어렵다는 설명이다. 링보는 사전학습 단계에서 인터넷 데이터와 실제 물리 세계에서 모은 데이터를 더 중시한다.
시뮬레이션 쪽 주장
반대편의 한정은 실제 세계 데이터만으로는 수집 속도가 느리고 품질도 제한돼 시뮬레이션을 피해 갈 수 없다고 했다. 공개 시뮬레이터(ManiSkill, 엔비디아 Isaac)로는 대규모 사전학습에 한계가 있어 수두는 2024년부터 폐쇄형 시뮬레이터와 데이터 파이프라인을 새로 만들었고, 물체·환경 제약 없이 집기·놓기·조립 성공률이 100%에 가깝다고 했다. 한정의 스승 쑤 교수 밑에서 공부하던 학생 한 명이 졸업 전에 미국 회사의 시뮬레이터 책임자로 갔다는 이야기도 했다.
데이터 시간 경쟁
토론 끝에 5년 뒤 돌아보면 무엇이 과대평가됐을지 묻자 쉬화저는 데이터량 경쟁을 꼽았다. 업계에서 "100만 시간", "수백만 시간"을 내세우고 데이터를 사지 않으면 뒤처진다는 말이 돌지만, 그에 따르면 아주 큰 데이터로 훈련한 모델이 수만 시간짜리 모델보다 낫지 않았다.