AI가 텍스트로 3D 모델을 만든다? 생성형 3D 기술의 원리와 현재 수준, 실무 활용법

🧊 먼저, '3D 모델'이 컴퓨터 안에서 어떻게 생겼는지부터

생성형 3D를 이해하려면 일단 컴퓨터가 입체를 어떤 방식으로 저장하는지 알아야 해. 사진은 픽셀이라는 바둑판 하나로 끝나는데, 3D는 표현 방식이 여러 개거든. 그리고 이 "표현 방식"이 생성형 3D 연구의 역사를 가르는 핵심이야. 어떤 표현을 쓰느냐에 따라 AI가 배우기 쉬운지, 결과물을 블렌더에 바로 넣을 수 있는지가 완전히 달라지거든.

여기에 하나 더! 2023년 SIGGRAPH에서 발표된 3D 가우시안 스플래팅(3D Gaussian Splatting)은 공간에 수많은 반투명 타원체 "얼룩"을 뿌려서 장면을 표현하는 방식이야. NeRF보다 렌더링이 훨씬 빨라서 실시간 시점 이동이 가능해졌고, 이후 생성형 3D 연구에서도 중간 표현으로 대거 채택됐어. 다만 이것도 게임 엔진에서 일반 오브젝트로 쓰려면 메시 변환을 거치는 경우가 많아.

📜 생성형 3D, 어떻게 여기까지 왔을까? 핵심 타임라인

텍스트로 이미지를 만드는 기술(DALL·E, Midjourney, Stable Diffusion)이 2022년에 폭발했잖아. 3D 쪽은 그 바로 뒤를 따라왔어. 왜 한 발 늦었냐면, 데이터가 압도적으로 부족했기 때문이야. 인터넷엔 텍스트-이미지 쌍이 수십억 개 있지만, 품질 좋은 3D 모델은 비교도 안 되게 적었거든. 그래서 초기 연구자들은 "3D 데이터 없이, 2D 이미지 AI의 지식을 빌려서 3D를 만들자"는 기발한 우회로를 택했어.

불과 3년 남짓 사이에 "한 개 만드는 데 GPU로 한 시간 넘게"에서 "몇 초~몇 분"으로 바뀐 거야. 이 속도 변화가 어떻게 가능했는지, 이제 엔진룸을 열어보자 🔧

⚙️ 작동 원리 1: SDS — "2D 화가에게 3D 조각을 검사받기"

DreamFusion의 아이디어는 진짜 영리해. 비유로 설명해볼게.

이 방식의 엄청난 장점은 3D 학습 데이터가 전혀 필요 없다는 거야. 이미 수십억 장의 이미지로 학습된 2D 모델의 "세상에 대한 상식"을 그대로 빌려오니까 상상 속 아무거나 만들 수 있었지. 이후 Magic3D, Fantasia3D, ProlificDreamer(VSD라는 개선 기법 제안) 등 수많은 후속 연구가 이 SDS 계열로 이어졌어.

그런데 치명적인 단점도 있었어.

⚙️ 작동 원리 2: 멀티뷰 생성 + 재구성 — "사방에서 찍은 사진부터 만들자"

야누스 문제의 근본 원인은 2D 모델이 "지금 몇 도 각도에서 보고 있는지"를 모른다는 거였어. 그래서 연구자들은 2D 확산 모델을 3D 데이터로 추가 학습시켜서 카메라 각도를 이해하게 만들었지.

Zero-1-to-3는 이미지 한 장과 "30도 오른쪽으로 돌려봐" 같은 카메라 변화량을 주면 그 시점의 이미지를 그려내는 모델이었어. 이어서 MVDream, Zero123++, SyncDreamer, Wonder3D 같은 모델은 아예 앞·옆·뒤 여러 시점 이미지를 한 번에, 서로 일관되게 생성했어. 한 장씩 따로 그리면 앞모습과 옆모습의 망토 색이 달라질 수 있는데, 동시에 그리면서 서로 "눈치를 보게" 만든 거지.

여러 시점의 사진이 생기면 그다음은 쉬워져. 사진들로부터 3D를 복원하는 건 원래 컴퓨터 비전이 오래 연구해 온 분야거든. 여기에 등장한 게 LRM(대규모 재구성 모델)이야.

이 흐름을 이은 오픈소스 모델들이 2024년을 휩쓸었어. TripoSR은 엔비디아 A100 기준 0.5초 미만으로 이미지 한 장을 3D로 바꾸며 MIT 라이선스로 공개됐고, InstantMesh는 멀티뷰 생성 + 재구성 모델을 결합했고, Stable Fast 3D는 UV 전개와 재질 정보까지 포함된 메시를 빠르게 뽑아내는 데 집중했지.

⚙️ 작동 원리 3: 3D 네이티브 생성 — "처음부터 3D로 생각하는 AI"

데이터가 쌓이자, 이제는 2D를 거치지 않고 3D 공간 자체에서 확산(diffusion)을 돌리는 방식이 주류로 올라왔어. 이미지 생성 AI가 "노이즈 낀 이미지를 점점 선명하게" 만들듯, 노이즈 낀 3D 형상을 점점 또렷하게 만드는 거야.

다만 3D를 그대로 다루면 데이터가 너무 크니까, 대부분 VAE(변분 오토인코더)로 3D를 압축된 잠재 공간(latent)에 담은 뒤 그 안에서 확산을 돌려. Stable Diffusion이 이미지를 압축된 잠재 공간에서 다루는 것과 같은 전략이지.

"형상 먼저, 텍스처 나중"이라는 분리 전략은 지금 상용 서비스에서도 흔해. 덕분에 사용자가 형상만 마음에 들 때까지 여러 번 뽑고, 그다음 텍스처를 입히는 식으로 작업할 수 있게 됐지. 크레딧도 아끼고 시간도 아끼는 꿀 구조야.

⚙️ 작동 원리 4: 메시를 직접 '써 내려가는' AI

앞의 방식들은 대부분 암시적 표현이나 복셀을 만든 뒤 마칭 큐브(Marching Cubes) 같은 알고리즘으로 메시를 "추출"해. 이렇게 뽑은 메시는 형태는 그럴싸해도, 삼각형이 수십만 개에 무질서하게 깔려 있어. 아티스트가 직접 만든 메시처럼 깔끔한 흐름(edge flow)이 없지.

그래서 나온 게 자기회귀(autoregressive) 메시 생성이야. 대형 언어 모델(LLM)이 단어를 하나씩 이어 문장을 쓰듯, 삼각형(또는 면)을 토큰으로 바꿔서 하나씩 순서대로 생성하는 거지. 2023년 MeshGPT가 이 방향을 보여줬고, 2024년 MeshAnything 등은 다른 방식으로 만든 형상을 입력받아 "아티스트가 만든 듯한" 저폴리 메시로 다시 써주는 접근을 제안했어.

🧭 네 가지 접근, 한 번에 비교

실제 서비스들은 이 중 하나만 쓰기보다 여러 방식을 섞은 파이프라인을 쓰는 경우가 많아. 예를 들어 텍스트→이미지(2D 확산) → 형상(3D 네이티브) → 텍스처(멀티뷰 확산으로 칠하기) → 리메시(자동 리토폴로지)처럼 말이야.

🛠️ 지금 쓸 수 있는 주요 도구들

도구는 정말 빠르게 바뀌고, 가격·기능도 자주 업데이트돼. 그러니 아래는 "성격 파악용"으로 보고, 쓰기 전엔 꼭 공식 사이트에서 최신 조건을 확인해줘.

📐 메시 vs CAD: 생성형 3D가 '도면'을 대체할 수 있을까?

3D 모델링/도면 쪽에 있는 사람이라면 가장 궁금한 부분일 거야. 결론부터 말하면, 현재 대부분의 생성형 3D는 "조각(스컬프트)"에 가깝고 "설계"와는 거리가 있어.

예를 들어 "M5 볼트 구멍 4개가 50mm 간격으로 뚫린 브래킷"을 텍스트-투-3D에 넣으면, 브래킷처럼 생긴 덩어리는 나와도 구멍 지름과 간격이 정확할 거라고 기대하긴 어려워. 메시 생성 모델은 "그럴듯한 외형"을 학습했지 "치수 제약"을 학습한 게 아니거든.

그래서 제조·설계 분야에서는 다른 갈래의 연구가 진행 중이야. CAD를 스케치→돌출 같은 명령어의 순서(시퀀스)로 보고 이를 생성하는 연구(예: DeepCAD 등), 그리고 LLM에게 CadQuery나 OpenSCAD 같은 코드 기반 CAD 스크립트를 작성시키는 접근이 대표적이야. 코드로 만들면 치수가 숫자로 명확히 박히니까 수정도, 검증도 쉬워지지.

# LLM에게 "50x30x5mm 판에 지름 5.5mm 구멍 4개" 요청 시
# 생성될 수 있는 CadQuery 코드 예시
import cadquery as cq

plate = (
    cq.Workplane("XY")
    .box(50, 30, 5)
    .faces(">Z").workplane()
    .rect(40, 20, forConstruction=True)
    .vertices()
    .hole(5.5)
)

🎨 텍스처와 재질: "보기 좋은 것"과 "쓸 수 있는 것"의 차이

생성형 3D에서 형상만큼 중요한 게 텍스처야. 초기 모델들은 색을 정점마다 칠하거나(vertex color), 조명과 그림자까지 텍스처에 같이 구워버리는 경우가 많았어. 이게 무슨 문제냐면…

그래서 최근 도구들은 PBR(물리 기반 렌더링) 재질 출력에 공을 들여. PBR은 색상 정보를 다음처럼 역할별로 분리해:

이렇게 분리돼 있어야 어떤 조명 환경에 넣어도 자연스럽게 반응해. 서비스를 고를 때 "PBR 맵을 제대로 분리해서 내보내 주는지"는 꼭 체크할 포인트야.

🔄 실무 워크플로: AI 생성물을 '진짜 에셋'으로 만드는 법

AI가 뽑아준 모델은 완제품이 아니라 반제품이라고 생각하면 마음이 편해. 실제 현업에서 많이 쓰는 흐름을 단계별로 정리해볼게.

이 과정 중 3~5단계는 여전히 사람 손이 많이 가. 그래서 "AI로 뽑은 모델을 프로덕션 품질로 다듬어주는" 리토폴로지·텍스처링 작업이 새로운 외주 수요로 떠오르고 있어. 재능넷 같은 재능 거래 플랫폼에서 3D 모델링 전문가에게 AI 초안의 정리·최적화만 따로 의뢰하는 방식도 비용과 시간을 아끼는 현실적인 선택지가 될 수 있지.

🖨️ 3D 프린팅에 쓸 때 꼭 체크할 것

"AI로 뽑은 귀여운 피규어를 바로 출력해볼까?" 하는 사람 많지? 가능은 한데, 프린터는 게임 엔진보다 훨씬 깐깐해.

참고로 여러 색이 칠해진 AI 텍스처는 STL로 내보내면 색 정보가 사라져. 컬러 출력이 필요하면 색을 지원하는 3MF·OBJ 등의 형식과 지원 장비가 필요해.

✍️ 프롬프트, 이렇게 쓰면 결과가 달라진다

텍스트-투-3D는 이미지 생성보다 프롬프트에 훨씬 예민해. 모델은 "그림 한 장"이 아니라 "사방에서 봐도 말이 되는 물체"를 상상해야 하거든. 경험적으로 잘 먹히는 원칙들을 정리해볼게.

특히 캐릭터를 만들 거라면 팔을 몸에서 떨어뜨린 T포즈나 A포즈를 요청하는 게 좋아. 팔이 몸에 붙어 있으면 형상이 붙어서 생성되고, 나중에 리깅할 때 떼어내느라 고생하거든.

🚧 아직 남은 숙제들: 솔직한 한계 점검

여기까지 들으면 "와 다 되네?" 싶을 수 있는데, 현업 관점에서 보면 아직 넘어야 할 산이 꽤 높아.

⚖️ 저작권과 라이선스, 그냥 넘기면 큰일 나

재미로 쓰는 거면 몰라도, 클라이언트 납품이나 상품 판매에 쓸 거라면 이 부분은 진지하게 봐야 해.

🎮 어디서 실제로 쓰이고 있을까?

🧑‍🎨 그래서, 3D 모델러는 사라지는 걸까?

이 질문, 3D 하는 친구들이 제일 많이 하더라. 지금까지 흐름을 보면 "모델러가 사라진다"보다는 "모델러의 일이 바뀐다"에 가까워.

AI는 0에서 60점까지를 엄청 빨리 끌어올려. 빈 화면에서 큐브 하나로 시작하던 시간이 확 줄었지. 그런데 60점에서 95점으로 가는 구간, 즉 토폴로지 정리, 아트 디렉션에 맞춘 스타일 통일, 애니메이션을 고려한 구조, 엔진 최적화, 클라이언트의 세밀한 수정 요청 대응은 여전히 사람의 판단과 손이 필요해. 오히려 AI 초안이 많아질수록 "좋은 것과 나쁜 것을 구분하는 눈"과 "빠르게 다듬는 손"의 가치가 올라가는 면도 있어.

🔮 앞으로 주목할 흐름

🙋 자주 묻는 질문