INSIDE NHN

포토프레스, 혹시 들어보셨나요?

포토프레스는 ‘사진 (Photo)’과 ‘표현 (Express)’이 결합된 신조어입니다. 다양한 배경이나 자세로 사진을 찍을 수 있는 포토부스를 찾으러 다니고, 타인과 공유하는 특성을 가진 세대를 뜻하는 용어를 ‘포토프레스 세대’라고 부르고 있습니다.

포토프레스 세대는 사진을 단순 기록 뿐만이 아닌 자신의 정체성을 표현하는 방식이자 SNS에서 타인과 공유하며 소통하는 수단으로 활용하고 있습니다. 

그 예로 포토프레스 세대를 겨냥한 인생네컷, 포토이즘과 같은 무인 포토부스가 선풍적인 인기를 끌며, 이제는 어디에서든 포토부스를 쉽게 접할 수 있는데요. 신한카드가 공개한 자료에 따르면 사진관 전체 이용 건수의 80%가 MZ세대였으며, MZ세대의 사진관 이용은 2022년 기준 전년대비 287% 증가하였다고 합니다. 사진에 대한 포토프레스 세대의 애정을 엿볼 수 있는 부분이죠.

우수한 AI기술을 보유한 NHN은 포토프레스 세대들을 매료할 수 있는 서비스를 출시하고자 준비해왔는데요. 그리고 작년 5월, 코엑스에서 개최한 AI EXPO에서 ‘AI캐릭터 스튜디오 포토부스’ 서비스를 최초로 선보였습니다. 

NHN이 선보인 AI캐릭터 스튜디오 포토부스는 인산인해를 이루며 AI EXPO 23에서 가장 많은 주목을 받았습니다.

혁신적인 사진 체험, AI 캐릭터 스튜디오 포토부스

NHN의 AI 캐릭터 스튜디오 포토부스는 촬영한 사용자의 얼굴을 웹툰 캐릭터 풍으로 변환해 주는 차세대 엔터테인먼트 서비스입니다. 촬영부터 변환, 출력까지 가능한 오프라인 포토부스로서 국내 최초의 서비스이죠.

사용자가 디바이스를 통해 얼굴을 촬영하고 소프트타입, 볼드 타입 중 원하는 스타일을 선택하면 AI 기술로 변환된 캐릭터 사진을 실물로 즉석 수령할 수 있습니다. NHN은 이 서비스를 2023년 AI 엑스포에서 처음으로 공개한 후, 광주 AI CON, 국가 AI 데이터센터, 그리고 세계 청소년 동계 올림픽 기간동안 강릉 메타버스 체험관 등에서 성공적으로 운영하며 누적 9,000명 이상의 방문객에게 서비스를 제공했습니다.

강릉 메타버스 체험관 AI 캐릭터 스튜디오

AI 캐릭터 스튜디오 포토부스의 구동 원리

AI 캐릭터 스튜디오는 Stable Diffusion을 사용해서 스타일 변환을 하고 있습니다.

Stable Diffusion이란 텍스트 명령을 통해 이미지를 변환 및 생성하는 대형 인공지능 모델입니다. 예를 들어 아래 그림처럼 간단하게 그린 풍경 이미지를 입력한 뒤 “미술 작품 풍으로 만들어줘”라고 명령하면 이에 적합한 이미지를 만들어줍니다.

이미지 출처 : CompVis, “Stable Diffusion”, https://github.com/CompVis/stable-diffusion?tab=readme-ov-file#stable-diffusion

캐릭터 사진을 생성하기 위해서는 추가적인 작업이 필요합니다. Stable Diffusion에 웹툰 캐릭터 요소 데이터들을 추가적으로 학습해야 원하는 결과물을 얻을 수 있습니다. 기존 대형 모델에 새로운 데이터를 학습하는 이 작업을 ‘Fine-Tuning(파인튜닝)’이라고 합니다. 

Stable Diffusion에 웹툰 캐릭터 데이터를 파인튜닝하기 위해서는 텍스트-이미지 쌍을 이루는 데이터가 필요한데요. NHN은 각 스타일(소프트 타입, 볼드 타입)에 대해 성비 균형을 맞춘 약 30장의 이미지를 확보해 파인튜닝을 진행했습니다.

일반적으로 스타일 모델을 학습시킬 때는 1,000장 이상의 이미지를 필요합니다. 이보다 적은 데이터셋으로 스타일 모델을 학습했을 때 자주 발생하는 문제 중 하나는 모델의 일반화(generalization) 능력이 부족해진다는 건데요. 즉, 이용자가 의도하는 자연스럽고 품질 높은 사진을 확보하는 데 실패할 확률이 높다는 뜻이죠. 이는 대형 모델이 새롭게 학습한 데이터에 대해 잘 대응하지 못했음을 의미합니다. NHN은 이러한 일반화 문제를 해결하기 위해 다음과 같은 튜닝 작업을 진행했습니다.

①입력 이미지와 학습 이미지 구도 일치시키기

NHN이 학습한 이미지는 증명 사진과 동일한 구도와 1:1 비율의 크기를 갖추고 있습니다. 모델이 최적의 성능을 발휘할 수 있도록 입력 이미지와 학습 이미지의 구도를 동일하게 맞추는 작업을 진행했는데요. 얼굴 탐지 모델을 사용하여 증명사진 구도로 크기 및 비율을 편집한 이미지를 모델의 입력 이미지로 사용했습니다.

②얼굴 특징 추출기 사용

얼굴 이미지의 스타일 변환을 타겟으로 하고 있어서 얼굴 유사도를 유지하는 것이 중요했습니다. 이를 위해 NHN의 얼굴인식 솔루션을 활용하여 얼굴 특징(임베딩) 조건을 모델 학습에 추가했습니다. 이 방법으로 모델이 입력 이미지의 얼굴형, 눈, 코, 입 등 얼굴의 키포인트 위치를 더 잘 유지할 수 있었습니다.

③ 입력 이미지 색상 조건 추가

학습 데이터셋이 동양인 이미지로만 구성되어 있어, 다양한 인종의 특성을 반영하는 데 한계가 있었습니다. 이를 개선하기 위해, 입력 이미지의 색상 정보를 추가적으로 고려하는 방식으로 모델을 파인튜닝했습니다. 이에 대형 모델은 머리색, 피부색 등 입력 이미지의 색상을 더 잘 반영할 수 있게 되었습니다.

이렇듯 NHN은 섬세한 튜닝 작업과 기술력을 통해 단 30장의 이미지 데이터 학습만으로도 이용자들에게 멋진 결과물을 제공할 수 있었던 것이죠.

나날이 진화하고 있는 NHN의 AI포토부스 기술

현재 NHN의 AI 캐릭터 스튜디오 포토부스는 박물관, 행사, 페스티벌, 전시회, 팝업스토어를 중심으로 시장을 확장해 나가고 있습니다. 또한, 포토 솔루션 업체인 '해시스냅'과의 MOU 체결을 통해 광고 시장에도 적극 진출하고 있으며, 글로벌 시장 진출도 준비하고 있습니다.

NHN은 인물 사진을 웹툰 캐릭터로 변환해주는 서비스에 그치지 않고 게임 캐릭터 얼굴이나 자동차 모델의 얼굴에 행사 방문자의 얼굴을 자연스럽게 합성하는 서비스를 포토부스에 탑재했습니다. 향후 사용자의 30년 전 모습을 보여주는 서비스도 출시해 포토부스에 탑재할 계획입니다.

이미지 출처 : 임영웅 쌍용 화보, 차승원 로피시엘옴므 화보, 원빈 소나타 광고

NHN은 앞으로도 포토프레스 세대를 비롯해 모든 세대가 즐길 수 있는 재미있는 AI포토부스 서비스들을 개발해 나갈 계획이니, 많은 기대 부탁드립니다!