멀티모달이 왔다, 이미지를 이해하는 모델로 무엇을 할 수 있나

 

이번 가을에 가장 눈에 띄는 소식은 이미지를 함께 이해하는 모델이 실제로 쓸 수 있는 형태로 나오기 시작했다는 점이었습니다.

그동안 ChatGPT를 쓰면서 글자로만 대화하는 데 익숙해져 있었는데요.
사진을 한 장 올리고 "이게 뭐야?" 하고 묻는 장면이 현실이 된다는 게 꽤 낯설면서도 설레었습니다.

저는 요즘 예약 시스템 기획을 하면서 AI 공부를 같이 하고 있어서, 이런 소식이 나오면 늘 같은 질문으로 돌아옵니다.
"이게 예약 서비스에서는 어디에 쓰일 수 있을까?"
오늘은 아직 확정된 사실보다는 공부하면서 정리한 생각이 많다는 점을 먼저 말씀드리고 시작하겠습니다.

 

멀티모달은 말 그대로 여러 형태의 정보(글, 이미지, 소리 등)를 함께 다루는 것을 말합니다.
이번에 화제가 된 것은 그중에서도 이미지를 입력으로 받아서 글로 답해주는 쪽입니다.

예전에도 이미지 분류나 글자 인식(OCR) 기술은 있었습니다.
다만 그런 것들은 "이 사진은 고양이입니다" 혹은 "이 이미지의 글자는 이렇습니다" 정도로 정해진 일만 했어요.
새로운 모델은 사진을 보여주면서 "이 중에서 알레르기 유발 성분이 있을 만한 건 뭐야?" 같은 열린 질문을 던질 수 있다는 점이 다릅니다.

제가 이해한 가장 큰 차이는 이렇습니다.
이전에는 이미지를 먼저 어떤 형태로 바꾼 다음 사람이 규칙을 짜서 처리했다면, 이제는 이미지와 질문을 한꺼번에 주고 모델이 알아서 맥락을 잡아준다는 것입니다.
기획자 입장에서는 "미리 정해둔 항목만 읽는 도구"에서 "사진을 보고 대화할 수 있는 도구"로 성격이 바뀐 셈이에요.

물론 어떤 서비스에서 어떤 방식으로 열려 있는지는 계속 바뀌고 있어서, 제가 정리하는 내용은 지금 시점에서 이해한 수준이라는 점을 감안해주세요.

 

공부하면서 일상과 가까운 장면을 몇 개 적어봤습니다.
전부 제가 직접 검증한 것이 아니라 "이런 걸 해볼 수 있겠다" 하는 수준의 아이디어입니다.

첫째는 영수증 정리입니다.
영수증 사진을 올리면 날짜, 가게 이름, 금액을 뽑아서 가계부처럼 정리해주는 장면이에요.
OCR이 하던 일과 비슷해 보이지만, 영수증 양식이 제각각이어도 비교적 유연하게 읽어준다는 기대가 있습니다.

둘째는 메뉴판입니다.
해외에서 메뉴판 사진을 찍어 올리고 "맵지 않은 메뉴만 골라줘" 하고 묻는 식이죠.
번역과 추천이 한 번에 되는 셈입니다.

셋째는 사진이 포함된 문의입니다.
예를 들어 고객이 "이런 스타일로 하고 싶어요" 하면서 참고 사진을 보내는 경우를 생각해볼 수 있어요.
글만으로 설명하기 어려운 요청이 사진 한 장으로 전달되는 거죠.

넷째는 화면 캡처입니다.
오류가 난 화면을 찍어서 보여주고 "무슨 상황이야?" 하고 묻는 장면입니다.
기획자나 운영하시는 분들이 개발자에게 문의하기 전에 일차 정리를 하는 용도로 쓸 수 있을 것 같습니다.

 

제가 맡고 있는 예약 서비스 기획에 이걸 붙여본다면 어떤 장면이 있을지 생각해봤습니다.

가장 먼저 떠오른 것은 예약 문의에 사진이 붙는 경우입니다.
예를 들어 가상의 네일샵이 있다고 해보겠습니다.
손님이 "이런 디자인으로 하고 싶은데 시간이 얼마나 걸릴까요?" 하며 참고 사진을 보냅니다.
지금은 운영자가 사진을 보고 직접 소요시간을 가늠해서 답하고, 그에 맞춰 예약 슬롯을 길게 잡아줘야 합니다.

이때 모델이 사진을 보고 "복잡한 아트가 포함되어 보이니 일반 시술보다 시간이 더 걸릴 가능성이 있습니다" 정도의 초안을 만들어줄 수 있다면 운영자가 확인하는 시간이 줄어들 것 같아요.
다만 이것은 어디까지나 초안이고, 실제로 몇 분짜리 슬롯을 잡을지는 운영자가 결정해야 한다고 생각합니다.

두 번째는 운영자 쪽 입력을 줄이는 아이디어입니다.
서비스 메뉴를 처음 등록할 때 종이 가격표나 메뉴판을 사진으로 찍어 올리면, 서비스명과 가격, 소요시간 후보를 채워주는 장면이에요.
사업장이 많아질수록 초기 세팅의 번거로움이 이탈 요인이 되기 쉬운데, 그 부분을 덜어줄 수 있을지도 모릅니다.

세 번째는 방문 전 확인용 사진입니다.
예를 들어 반려동물 미용 예약에서 보호자가 올린 사진을 보고 "털 길이와 엉킴 정도를 확인해야 할 수 있음" 같은 메모를 달아주는 식입니다.
이런 건 사람이 보면 금방이지만, 예약이 몰리는 날에는 하나하나 보기 어려울 때가 있어요.

 

설레는 만큼 조심해야 할 점도 정리해두고 싶었습니다.

먼저 정확도 문제입니다.
텍스트 모델이 그럴듯하게 틀린 말을 하는 환각이 있는 것처럼, 이미지를 읽을 때도 비슷한 일이 생길 수 있다고 들었습니다.
영수증의 숫자 하나를 잘못 읽으면 금액이 달라지니, 돈이나 일정이 걸린 정보에는 사람이 한 번 확인하는 단계가 꼭 필요해 보입니다.

다음은 개인정보입니다.
사진에는 얼굴, 주소, 카드 번호처럼 예상치 못한 정보가 같이 찍히기 쉽습니다.
서비스에 붙인다면 사진을 어디에 저장하고, 모델에게는 어떤 범위까지 보내는지 미리 정해야 할 것 같아요.

또 비용과 속도도 변수입니다.
이미지를 처리하는 데는 글만 처리할 때보다 시간이나 비용이 더 들 수 있는데, 구체적인 수치는 제가 확인한 바가 없어서 단정하지 않겠습니다.
기획 단계에서는 "모든 문의에 다 쓰는 것"보다 "꼭 필요한 순간에만 쓰는 것"으로 범위를 좁히는 쪽이 현실적일 것 같습니다.

마지막으로 사용자의 기대입니다.
"사진만 올리면 다 알아서 해주겠지"라고 생각하게 만들면, 틀렸을 때의 실망이 더 커집니다.
화면에 "AI가 참고용으로 읽은 내용입니다. 확인 후 수정해주세요" 같은 문구를 넣는 것처럼, 처음부터 기대치를 맞추는 설계가 필요하다고 봅니다.

 

멀티모달은 분명 흥미로운 변화입니다.
다만 제 입장에서는 "신기한 기능을 붙인다"보다 "운영하시는 분이 반복적으로 하는 일 중에 사진을 보고 판단하는 부분이 어디인가"를 먼저 찾는 게 맞다고 생각해요.

앞으로 해보고 싶은 것은 두 가지입니다.
하나는 작은 예제로 사진 한 장과 질문을 보내서 어떻게 답하는지 직접 경험해보는 것입니다.
다른 하나는 예약 서비스에서 사진이 오가는 장면을 실제 운영 흐름에서 한번 그려보는 것입니다.

남은 질문도 적어둡니다.

사진 해석이 틀렸을 때 책임은 누가 지는지, 사진을 저장해도 되는 기간은 어느 정도가 적당한지, 그리고 운영하시는 분들이 이런 보조 기능을 실제로 반길지입니다.
이 질문들은 기술 소식을 더 읽는다고 풀리지 않을 것 같아서, 천천히 현장 이야기를 들어가며 채워보려고 합니다.