AI가 만든 3D 모델, 부품 분리 10단계로도 부족했다
AI가 만든 3D 모델을 얼마나 잘게 나눌지 10단계로 정하게 했다. 그래도 사용자가 원하는 부품을 나누기에는 부족했다.
중국 Hyper3D의 CTO 장치쉬안에 따르면 Rodin은 분리할 부위를 직접 지정하는 기능을 추가했다. 하지만 수동 지정도 복잡해, 인터뷰 당시에는 말로 부위를 지정하는 기능을 준비하고 있었다. 같은 회사는 경쟁사가 100만·200만 면을 제공할 때도 한동안 50만 면 상한을 유지했다. 모델의 형상 표현 능력과 실제 제작에 필요한 결과를 기준으로 삼았다는 설명이다.
출처: 주기지외 팟캐스트, 9/30
부품 분리 설정
3D 생성 서비스 Hyper3D의 공동창업자이자 CTO인 장치쉬안이 9월 30일 공개된 팟캐스트 「주기지외」에서 Rodin의 부품 분리 기능을 설명했다. 주전자 모델이라면 몸통·손잡이·뚜껑을 따로 나누는 식이다.
Rodin은 분리 기능을 처음 내놓을 때부터 세분화 정도를 10단계로 제공했다. 장치쉬안은 “출시 때 10단계가 있었는데, 그것도 부족했다”고 했다. Gen 2.5에서는 사용자가 분리할 부위를 직접 지정하도록 바꿨다. 그마저 복잡해서 인터뷰 당시에는 “어느 부분을 분리할지 한 문장으로 AI에게 말하는” 기능을 출시할 계획이라고 했다.
분리 강도를 높이면 조각 수는 늘어나지만, 사용자가 편집하려는 부위와 조각의 경계가 일치한다는 보장은 없다. 예를 들어 주전자 손잡이를 따로 바꾸려는 작업에서는 전체를 더 잘게 나누는 설정만으로 손잡이의 경계를 지정할 수 없다. 분리 단계와 부위 지정은 서로 다른 입력이다.
ControlNet 기반 편집
장치쉬안에 따르면 Rodin의 ControlNet은 처음에는 물체의 형태를 제어하는 데 썼고, 이후 부품 분리와 3D 편집에도 사용했다. 생성 모델이 제멋대로 형태를 바꾸지 않고 사용자가 지정한 조건에 맞춰 결과를 만들도록 하는 구조다.
그는 이미지 생성에서 ControlNet이 도입된 뒤 사용성이 크게 늘어난 것을 보고 3D에도 적용했다고 했다. “사람이 원하는 것은 여러 가능한 결과 중 작은 일부”이며, 제어 기능은 생성 결과가 그 범위에 들어오도록 돕는다는 설명이다.
50만 면 상한
Rodin은 경쟁 서비스들이 100만·200만 면을 제공할 때도 한동안 상한을 50만 면으로 유지했다. 3D 모델의 면은 표면을 구성하는 작은 다각형이다. 면을 늘리면 더 세밀한 형상을 표현할 공간은 생기지만, 생성 모델이 그 공간에 정확한 형상을 채워야 한다.
장치쉬안은 당시 모델의 형상 표현 능력이 아직 그 수준에 못 미쳤고, 작업의 약 90%에는 50만 면이 충분하다고 판단했다고 했다. 면 수가 늘면 편집 프로그램에서 처리해야 할 데이터도 커진다. 게임에 쓸 모델을 고르는 작업에서는 겉모습과 함께 면 수를 봐야 하고, 부품을 수정하는 작업에서는 분리 위치와 구조도 봐야 한다.
작업별 학습 데이터
Gen 1의 학습 데이터는 모델을 훈련하던 연구자들이 직접 표기했다고 한다. 장치쉬안에 따르면 당시 데이터는 50만 개 미만이었고, 연구자들은 자체 도구로 표기 작업을 했다.
이후에는 만들 기능에 맞춰 데이터를 모으는 방식으로 바뀌었다. 천만 면 수준의 세밀한 조형을 만들려면 그에 맞는 고품질 데이터가 필요하고, 부품 분리 기능에는 분리 가능한 데이터가 필요하다는 설명이다. 형상을 통째로 생성하는 모델과 사용자가 지정한 부위를 나누는 모델은 학습 때 필요한 정보도 다르다.