Gulliver Studios R&D팀은 Digital Human, Facial Scan, AI 기반 Face Swap 기술을 중심으로 제작 파이프라인의 효율성과 퀄리티를 동시에 향상시키는 자체 솔루션을 보유하고 있습니다.

실시간성을 보정하는 Face Targeting Swap 기술

One-Shot Face Swapping 방식을 통해 원본 비디오나 이미지 내 Swap 대상에 대한 오토 트래킹(Auto Tracking)을 진행하여 자연스러운 페이스 스왑을 구현합니다.

소스 얼굴의 특징 벡터를 타겟 비디오나 이미지에 주입하여 Swap을 진행하며, 이때 발생할 수 있는 피부 질감, 조명, 피부톤의 불일치는 이미지 복원 기법을 사용하여 정밀하게 보정합니다. Color Transfer 기법을 활용해 얼굴 영역의 평균 색상과 밝기를 주변 환경과 이질감 없이 매칭합니다.

변경할 Face Target 대상을 실시간으로 교체하면서 즉각적인 Swap 처리가 가능합니다.

AI 기반 경계 인식 정밀 분할 마스크 생성 기술

본 기술은 AI를 활용한 자동 마스크 생성 알고리즘을 기반으로 하며, 머리카락이나 깃털과 같은 객체의 미세한 영역까지 정밀하게 알파 마스킹(Alpha Masking)을 수행합니다. 

특히 역동적인 움직임이 있는 상황에서도 안정적인 추출이 가능하며, 특정 객체를 선택하여 개별적으로 정교하게 분리해낼 수 있는 최첨단 솔루션을 제공합니다.

AI 기술을 사용한 얼굴 주요 포인트 계산 데이터와 표정 mesh 추출

이미지에서 얼굴의 주요 포인트값을 계산하여 획득하는 방법과 이미지에 최대한 매칭된 Mesh를 추출하는 두 가지 방법을 모두 확보하였으며, 이를 각 팀별 작업 성격과 필요 사양에 맞춰 유연하게 선택하여 사용하고 있습니다.

이미지 시퀀스 ML 표정 데이터 추출 | 표정에 따른 피부 주름과 혈류변화 자동 연결

여러 장의 이미지들을 한번에 시퀀스로 처리하여 ML 표정 데이터를 추출해 3D 표정 모션 캡처(Mo-cap)을 대체합니다.

Blood Flow 및 Wrinkle 맵 등을 캐릭터의 표정과 자연스럽게 연동시키기 위해 마스크맵(Mask map)을 사용하고 있으며, 이를 Custom rig에 적용하여 보다 사실적인 표현이 가능하도록 구현합니다.

얼굴 토폴로지 보존형 De-aging 기술

AI 기반 Face De-Aging 기술은 AI 생성 모델을 통해 현재 얼굴 이미지의 나이에 대한 잠재공간 상의 방향을 변환함으로써 사용자를 젊게 혹은 나이 들어 보이게 구현하는 방식입니다. 

특히 나이에 따라 발생하는 볼 처짐, 얼굴 및 눈 주름 등을 주요 타겟팅(Targeting) 하여 해당 변이 부분을 정밀하게 생성하는 것이 특징입니다.

Multiview – OneShot  Facial Scan System 기반 소스객체 특징 획득

다시점 카메라의 특성을 유지하면서도 하드웨어에 대한 의존도를 최소화하기 위해 Multi Geometry 기반의 AI 이미지 성분 획득 기술을 개발하였습니다. 

기존의 Light Stage 방식과 달리 싱글샷 촬영 방식을 채택하여 촬영자의 부담을 획기적으로 줄였으며, 실제 인물로부터 고퀄리티의 3D Mesh를 비롯하여 Albedo map, Specular map, Normal map을 정밀하게 추출할 수 있는 것이 특징입니다.

스캔 기반 3D 캐릭터 얼굴 생성 최적화

다양한 3D 표정 스캔 기반의 자연스러운 3D 캐릭터 에셋 솔루션을 보유하고 있으며, 4D Capture 방식을 활용하여 표정 모델 제작 기간을 단축함과 동시에 효율적인 표정 연기 Transfer 솔루션을 개발하였습니다.