AI로 클립스튜디오 웹툰 소재 만들기

안녕하세요, 리얼드로우 3D TEAM에서 일하고 있는 Mason입니다. 저는 리얼드로우에서 언리얼 엔진을 이용한 배경 제작 및 모델링을 하고 있습니다.

요즘 다양한 3D 생성 엔진들이 등장했는데요, 단순히 툴을 사용하는 것을 넘어 이를 어떻게 후가공해서 실제 웹툰 소재로 완성했는지 그 과정을 알려 드리려 합니다.

시작하기 전에

작가님께 클립스튜디오 웹툰 소재로 사용할 선글라스를 3D AI 엔진으로 빠르게 제작해 줄 수 있는지 요청받았을 때, 가장 먼저 든 생각은 '최적화'였습니다.

물론 개발사들도 이를 의식하여 자체적인 '스마트 토폴로지' 기능을 제공하고는 있습니다. 하지만 결과물이 원하는 대로 나오지 않는다는 단점이 있고, 토큰을 소모하며 반복 생성하더라도 원하는 형태의 토폴로지를 얻을 수 있다는 확신이 없었습니다. 그래서 AI로 생성한 후, 3D 툴을 이용해 자체적으로 문제를 해결하기로 결정했습니다.

본격적인 작업에 앞서, 시중에 나와 있는 3D 모델링 AI가 형태를 얼마나 잘 잡아내는지 궁금했습니다. 성능을 참고하기 위해 우선 3가지 엔진으로 테스트를 진행해 보았습니다.

3D AI 엔진 별 생성 테스트

단 한 장의 인풋 이미지만으로, 앞서 보신 화물 열차처럼 복잡한 물체의 형태를 어디까지 구현해 내는지 확인해 보겠습니다.

MESHY AI

많이 알려진 MESHY AI입니다. 시간은 30초 정도 걸렸고, 과한 디테일 추가 없이 원본 실루엣을 인식해서 만들어 줬지만 열차 아래의 복잡한 바퀴 구조를 표현하려다 오류가 난 것 같습니다. 주변에 기포 같은 게 생겨서 표면 정리하기 좀 번거롭겠네요.

VRCRO 3D

VARCO 3D AI입니다. 게임사로 많이 알려진 NCSOFT에서 언어 모델을 기반으로 만든 엔진인데요, 특이하게 AI가 이미지를 인식해서 프로젝트 네이밍까지 해 주네요

하지만 열차 전면부의 가드레일이나 바퀴 부분의 형태가 제대로 구현되지 못하고 녹아내린 듯 뭉개져 있습니다. MESHY AI와 마찬가지로, 열차같이 구조가 복잡한 물체를 이미지 한 장만으로 디테일하게 묘사하는 데에는 한계가 있는 것 같습니다.

Hunyan3D

텐센트에서 만든 훈위안 3D에서 생성한 오브젝트입니다. 인상 깊었던 점은 다른 모델들과 다르게 표면이 거칠지 않고, 하드 서페이스답게 깔끔한 폴리싱(Polishing)을 보여 주었다는 것입니다.

기존 엔진들은 선으로 이루어진 오브젝트를 표현할 때, 선의 두께를 정확히 측정하지 못해 형태가 무너지는 경우가 많았습니다.

지브러시 사용자라면 다이나메쉬 상태에서 스무스 기능을 사용할 때 면이 얇아지며 찢어지는 현상을 겪어 보셨을 텐데, AI 생성 과정에서도 이와 유사한 오류가 발생하곤 합니다. (Tip: 지브러시 작업 시 이런 경우, 백페이스 마스크를 켜고 작업하면 뒷면 간섭 없이 표면 정리가 가능합니다.)

하지만 이번 테스트에서는 이미지 단 한 장만으로도 얇은 선이나 두께를 가진 오브젝트가 손상 없이 구현되어 꽤 만족스러웠습니다. 다만, 바퀴 쪽의 디테일이 다소 밋밋하게 표현된 점은 아쉬움으로 남습니다.

이런 경우, '나노바나나'를 활용해 바퀴 부분만 디테일하게 재생성 한 후, 이를 다시 3D AI 프로그램으로 가져와 기존 모델과 합성하면 퀄리티를 높일 수 있을 거라 판단했습니다. 이해를 돕기 위해 예시를 보여 드립니다.

AI로 생성한 오브젝트를 바로 쓸 수 있을까?

Hunyuan 3D로 생성한 화물 열차로 예시를 들겠습니다.

형태도 완벽하지 않지만, 구조가 복잡한 화물 열차인 걸 감안해도 최적화가 안 된 메쉬이기 때문에 용량이 130MB나 됩니다.

더군다나 클립스튜디오는 포토샵같이 2D 쪽에 특화된 툴이기 때문에, 생성한 프롭이 비교적 작은 선글라스여도 웹툰 소재로 사용하기엔 무리가 있습니다.

반대로 생각해 보면, 이런 토폴로지 문제만 어느 정도 해결된다면 모델러의 업무를 많이 덜어 줄 것 같습니다. 디테일한 프롭은 작업 시작 전에 미리 비율을 잡는 블로킹 용도로 사용할 수도 있고, 레벨 작업은 AI로 생성된 에셋으로만 구성해서 그레이 스케일 단계에서 배치 후 실루엣을 보고 레벨 디자인 수정도 가능할 것 같습니다.

보통은 기술 발전이 1년~3년 걸린다고 생각했는데, AI 쪽 발전 속도가 거의 매달 새로울 정도로 빨라서 머지않아 AI를 사용한 모델링 워크플로우가 더 다양해질 것 같아 기대가 되네요.

그럼 웹툰소재로 AI를 어떻게 활용할수있을까?

하지만 요청받은 선글라스 소재는 당장 제작해야 했기에, 최적화 워크플로우를 깊이 고민했습니다. 그 결과, 구조화와 자동 리토폴로지 기능에 강점이 있는 ZBrush를 메인으로 사용하고, Maya는 토폴로지 정리 및 마무리용으로 사용하기로 결정했습니다.

앞서 보여 드린 AI 생성 화물 열차를 예시로, 이번 작업에 활용될 ZBrush의 주요 기능 두 가지를 설명해 드리겠습니다.

1. 구조화 (Grouping & Masking) AI는 모든 파츠를 단일 메쉬로 출력하는 특징이 있습니다. ZBrush의 Masking과 PolyGroups기능을 통해, 열차의 바퀴와 차체처럼 서로 다른 재질이나 파츠를 분리하여 작업하면 수정 작업이 훨씬 용이해지고, AI가 생성한 디테일을 그대로 살려 활용할 수 있습니다.

2. 자동 리토폴로지 (ZRemesher) 본격적인 수동 작업을 하기 전, 가이드 커브를 활용해 ZRemesher를 적용하면 불규칙하고 촘촘한 와이어 구조를 균일한 사각면 기반의 베이스 메쉬로 빠르게 변환할 수 있어 작업 시간을 획기적으로 단축할 수 있습니다.

작업과정

먼저 레퍼런스로 전달받은 이미지입니다. 이를 Hunyuan 3D를 통해 생성해 보겠습니다.

열차같이 복잡한 물체가 아니어서 이미지 한 장으로도 꽤 비슷하게 나왔네요. 이제 FBX로 내보낸 후 ZBrush에서 열어 보겠습니다. 파일 크기는 120MB 정도 하네요.

ZBrush 뷰포트에서 본 화면입니다. 우선 하나로 뭉쳐진 AI 모델의 영역을 (렌즈, 안경테) 앞서 설명한 ZBrush의 그룹 기능으로 두 개로 나눠 보려 합니다.

우선 좌우 대칭 구조로 이루어져 있기 때문에, 반대쪽은 추후 Mirror(미러) 기능으로 생성하면 됩니다. 효율적인 작업을 위해 반쪽을 먼저 지워 줍니다.

이번에 사용할 기능은 ZPlugin의 PolygroupIt입니다. 원하는 영역에 선을 그려 넣은 뒤 PolygroupIt From Paint를 클릭하면, 그려진 폴리페인트를 기준으로 폴리그룹이 자동으로 생성됩니다.

앞서 만든 경계선이 존재하기 때문에, Auto Groups를 사용해 주면 그 경계선을 기준으로 메쉬의 그룹이 분리됩니다.

이제 Visibility(Ctrl+Shift) 기능을 이용해 안경테만 숨긴 뒤, 화면에 남은 경계선 그룹과 렌즈 그룹을 하나로 병합합니다(Ctrl+W).

안경 렌즈 부분과 테 부분이 깔끔하게 나눠진 걸 볼 수 있습니다.

Tool > SubTool > Split > Groups Split 기능을 실행하면, 폴리그룹이 각각의 서브툴로 깔끔하게 분리된 것을 확인할 수 있습니다.

이제 ZRemesher를 적용하기 전, Tool > Deformation > Polish by Features를 사용하여 분리된 부분의 외곽 라인을 깔끔하게 다듬어 줍니다.

그 후 Brush에서 B-Z-R을 눌러 ZRemesherGuides 브러시를 선택합니다. 이를 사용해 와이어프레임의 흐름 및 모서리 부분을 ZRemesher가 판단할 수 있게 그려 줍니다. 외곽 부분에 그릴 때 Shift를 누르시면, 알아서 모서리를 인식해서 해당 부분에 자동으로 그려집니다.

Tool > Geometry > ZRemesher를 사용 후 원하는 토폴로지를 얻습니다. 여기서 더 로우하게 가져갈 수도 있지만, 형태가 무너질 확률이 크기 때문에 안 무너지는 선에서 값을 가져가야 합니다.

이제 안경테 부분도 이 작업을 해 주면 되는데요, 패널 라인이 있는 채로 ZRemesher를 실행하면 패널 라인 디테일이 뭉개집니다.

앞서 사용했던 ZPlugin > PolygroupIt 기능을 다시 활용합니다. 폴리페인트가 칠해진 패널 라인 영역만 별도의 폴리그룹으로 지정하여 줍니다.

그다음, 앞서와 동일한 방식으로 ZRemesher를 적용하여 리토폴로지 작업을 수행합니다.'Keep Groups' 옵션을 켜고 진행해야 그룹 경계가 유지됩니다

이제 완성된 부분을 Maya로 넘겨서 정리하기 위해, ZPlugin > FBX ExportImport 기능을 사용하여 내보내 줍니다.

아직 Mirror 기능을 사용 안 한 단계라 반쪽이 없는 상태인 걸 감안해도, 용량이 많이 줄어든 걸 확인하실 수 있습니다.

우선 Maya의 Cleanup 기능을 사용해서 모델 내 오류가 나는 점들을 체크해 주셔야 합니다.

• Faces with more than 4 sides (N-gons): 5각형 이상의 면을 찾아냅니다.
• Faces with holes: 면 내부에 구멍이 뚫린 면들을 찾아줍니다.

Cleanup matching polygons를 사용하면 Maya가 자동으로 고쳐 주지만, 직접 문제 있는 면들을 보고 수정하실 때는 Select matching polygons를 추천해 드립니다.

정리가 끝나면 패널 라인을 Bridge를 사용해서 메꿔 줍니다.

마지막으로 Mirror 기능을 적용하여 모델링 작업을 마무리합니다.

AI 모델의 최적화(수정) 전후 와이어프레임 비교 사진입니다. 03번이 우측 모델입니다.

만약 이 단계에서 폴리곤 수를 더 낮추고 싶다면, Maya의 Reduce 기능을 활용하여 추가적인 최적화가 가능합니다.

이제 이 파일을 Clip Studio Modeler로 불러와 셋팅한 뒤, .cs3o 파일로 변환하여 작가님께 전달해 드립니다.

Clip Studio에서 확인해 본 모습입니다.

AI로 시작해서, 완성은 사람이

비록 단순한 형태의 물체라도 곡선과 패널 라인의 디테일로 인해 통상 1일(8시간) 정도 소요되는 작업이었으나, AI 워크플로우를 도입하여 4시간 만에 완료하였으며, 확보된 시간을 레벨 디자인 등 다른 공정에 투입할 수 있었습니다.

향후 목표는 이 프로세스를 더욱 고도화하여, 에셋 제작 시간을 2시간 이내로 단축하고 생산성을 극대화하는 것입니다.

이번 실증을 통해 막연했던 AI 도입의 효과를 체감하였으며, 향후 다양한 파이프라인에서의 협업 가능성을 확인했습니다. 특히, 아티스트들이 단순 반복 작업 시간을 줄이고 비주얼 퀄리티 향상을 위한 '선택과 집중'에 몰입할 수 있다는 점이 가장 큰 성과입니다.

이러한 효율성은 모델링 초기 단계의 형태와 '비율 설정을 AI가 전담했기에 가능했습니다. 이후 Clip Studio 등 실무 툴에서의 활용성을 위해 메쉬를 분리하고 리토폴로지하는 과정은 3D팀의 전문적인 후가공이 반드시 뒷받침되어야 합니다.

리얼드로우 3D팀은 기술적 변화를 도약의 발판으로 삼아, AI의 속도와 인간의 완성도가 공존하는 하이브리드 워크플로우를 지속적으로 연구하고 구축해 나갈 계획입니다.

AI 기술이 발전할수록, 이를 다루고 완성하는 3D 아티스트의 역할은 더욱 중요해지고 있습니다. 리얼드로우는 웹툰 3D 파이프라인에 AI를 접목하여, 효율과 퀄리티라는 두 마리 토끼를 잡는 실험을 계속하고 있습니다. 단순 반복 모델링에서 벗어나, 기술을 응용하여 웹툰 비주얼의 한계를 넓히는 '3D R&D' 도전을 즐기실 분이라면 언제든 환영합니다. 저희와 함께 웹툰 3D의 새로운 기준을 세워갈 동료를 기다립니다.