색상과 형태를 '맛보는' AI

뇌는 종종 여러 감각을 흐리게 만드는데, 이는 마케터들이 식품 포장 디자인에 자주 사용하는 사실입니다. 인공지능도 마찬가지입니다.

 

분홍색 구의 맛은 무엇일까요? 그리고 소비뇽 블랑의 소리는 무엇일까요?

 

이러한 질문은 우스꽝스럽게 들릴 수 있지만, 방대한 문헌에 따르면 인간의 뇌는 감각적 경험을 자연스럽게 통합합니다. 예를 들어, 우리는 이러한 현상을 의식하지 못하지만 다양한 색상, 모양, 소리를 서로 다른 맛과 연관시켜 지각 경험을 미묘하게 형성할 수 있습니다.

예를 들어, 잔의 색깔이나 바의 배경 음악에 따라 와인의 단맛이나 사향이 결정될 수 있습니다. 노르웨이 오슬로에 위치한 BI 노르웨이 비즈니스 스쿨의 카를로스 벨라스코는 “이러한 감각 간의 상호 작용은 거의 항상 지속적으로 일어나고 있습니다.”라고 설명합니다. 극단적인 경우에는 단어가 특정 취향을 유발하거나 음악이 색채의 폭동을 일으키는 등 일부 사람들에게는 흐릿한 감각 경험으로 나타날 수 있는데, 이를 공감각이라고 합니다.

색상이나 소리를 '맛볼 수 있다'는 생각은 터무니없어 보일 수 있지만, 벨라스코의 최신 연구에 따르면 생성형 인공 지능 시스템도 이를 수행할 수 있다고 합니다. 모든 인공지능 알고리즘이 그렇듯이, 이는 학습된 데이터의 편향성을 반영하는 것이므로 이러한 연관성이 실제로 얼마나 흔한지를 강조하는 것일 수도 있습니다. 하지만 벨라스코와 그의 동료들은 이 사실을 이용해 인간을 해킹할 수 있는 다른 많은 방법을 찾고자 합니다.

눈으로 먹기

먼저 용어에 대해 알아두세요. 과학자들은 미뢰, 고막, 눈의 망막 또는 피부의 '촉각 소체' 등 신체가 정보를 인코딩하는 데 사용하는 수단을 설명하기 위해 “감각 양식”이라는 용어를 사용합니다. 따라서 서로 다른 감각적 특성 간에 형성되는 연관성을 “교차 모달 대응”이라고 합니다.

이 현상에 대한 실험적 증거는 1970년대에 처음 등장했는데, 빨간색과 분홍색은 단맛, 노란색 또는 녹색은 신맛, 흰색은 짠맛, 갈색 또는 검은색은 쓴맛과 관련이 있다는 연구 결과가 있습니다. 이러한 일반적인 패턴은 이후 여러 실험 방법을 통해 여러 번 재현되었습니다.

참가자에게는 다음과 같은 추상적인 질문에 대한 주관적인 판단을 요구할 수 있습니다: “1에서 10까지의 척도(10이 가장 달다는 의미)에서 빨간색은 얼마나 달다고 생각하십니까?” 이를 통해 평균적으로 각 색상에는 다양한 문화권의 많은 사람들이 공유하는 고유한 맛 프로필이 있다는 것을 알 수 있습니다. 중국 칭화대학교의 샤오앙 왕이 이끄는 다국적 공동 연구에 따르면 중국, 인도, 말레이시아 참가자들에게서 유사한 교차 모드 대응이 발견되었습니다.

또는 참가자에게 여러 가지 색으로 표시된 특정 음식이나 음료를 제공하고 각각의 맛을 판단하도록 요청할 수도 있습니다. 예를 들어 일본 와세다 대학의 스기모리 에리코와 가와사키 야요이는 쓴 초콜릿이 검은색 포장보다는 분홍색 포장에 담겨 있을 때 훨씬 더 단맛이 난다는 사실을 발견했습니다.

음식의 모양도 비슷한 영향을 미칠 수 있습니다. 우리는 둥근 모양을 단맛과 연관 짓는 경향이 있고, 뾰족한 모양은 더 시거나 쓴맛으로 간주하는 경향이 있어 음식에 대한 사람들의 인식에 영향을 미칩니다. 우리는 혀뿐만 아니라 눈으로도 음식을 먹습니다.

이러한 연관성의 기원은 여전히 논쟁의 여지가 있습니다. 옥스퍼드 대학교의 교차 모드 연구소의 책임자인 찰스 스펜스는 “가장 안전한 가정은 우리가 이 모든 것을 학습한다는 것입니다.”라고 말합니다. “환경 통계의 내재화라고 생각할 수 있습니다. 자연에서 과일은 신맛이 나면 녹색에서 더 붉고 따뜻한 색으로 변하고, 단맛이 나면 붉은 색으로 변합니다. 이 통계를 내면화하여 붉은 색을 단맛과 연관시키면 우리를 지탱해줄 과일을 얻기 위해 어떤 나무에 올라가야 할지 알 수 있습니다.”

모양과 맛 사이의 연관성은 설명하기 더 어렵습니다. 스펜스는 “자극과 연관되거나 자극에 의해 유발되는 감정일 수 있습니다.”라고 말합니다. 예를 들어 단맛을 쾌락과 연관시킬 수 있으며, 날카로운 것에 비해 상처를 입힐 가능성이 적기 때문에 둥근 모양을 선호할 수 있습니다. 결과적으로 우리는 이러한 간접적인 연상을 통해 단맛을 곡선과 연관시키기 시작합니다. 반면 쓴맛은 독성이 있을 가능성이 높기 때문에 신체에 해를 끼칠 가능성이 더 높은 날카로운 모양과 연관시킬 수 있습니다.

연관 AI (Associative AI)

AI가 급부상하면서 벨라스코와 스펜스, 그리고 도쿄 대학의 동료인 모토키 코스케는 인간 데이터로 학습된 생성형 AI가 동일한 연관성을 보고하는지 조사하기 시작했습니다. 이들은 AI 기반 챗봇 ChatGPT에게 이전에 인간 참가자에게 주어졌던 것과 동일한 종류의 프롬프트에 답하도록 요청했습니다. 예를 들어

“동그란 모양을 단맛, 신맛, 짠맛, 쓴맛, 감칠맛과 어느 정도 연관시키시나요? 이 질문에 1점(전혀 그렇지 않다)에서 7점(매우 그렇다)까지 7점 척도로 답해 주세요.”

그리고...

“나열된 11가지 색상(검정, 파랑, 갈색, 초록, 회색, 주황, 분홍, 보라, 빨강, 흰색, 노랑) 중 단맛과 가장 잘 어울리는 색상은 무엇이라고 생각하십니까?”

영어, 스페인어, 일본어로 이루어진 수백 건의 채팅에 대한 결과를 평균한 결과, 연구진은 AI가 실제로 인간 참가자의 일반적인 패턴을 반영한다는 사실을 발견했습니다. 다만 사용한 AI 버전에 따라 약간의 차이가 있었습니다.

전반적으로 ChatGPT-4o는 ChatGPT-3.5보다 인간의 연관성을 더 안정적으로 반영했습니다. “이러한 차이는 ChatGPT-4o의 매개변수 수 증가와 더 크고 다양한 훈련 세트와 같은 모델 아키텍처의 변화에서 비롯된 것으로 보입니다."라고 Motoki는 말합니다.

실리콘 브레인스토밍

흥미를 느낀 저는 Google의 Gemini와 같은 다른 대규모 언어 모델(LLM)도 우리의 감각적 연상을 반영할 수 있는지 조사해보기로 했습니다. 제미니에게 가장 달콤한 색이 무엇인지 물어보자 제미니는 이렇게 대답했습니다: “솜사탕이나 풍선껌과 같은 단 음식과 연관되어 있기 때문에 많은 사람들이 분홍색을 단맛과 연관시킵니다.” 또한 신맛은 초록색, 짠맛은 흰색, 쓴맛은 검은색으로 명명했습니다.

답변 도중에 Gemini가 이러한 교차 모드 연관성에 대한 스펜스의 이전 연구 논문 중 하나를 가리키며 과학 문헌에서 직접 답을 도출했음을 시사한 것을 제외하면 거의 기이하게 보일 수 있는 일치입니다.

스펜스는 대화 중에 이러한 가능성을 언급했었습니다. “우리가 이미 알려진 것, 그리고 이미 문헌에 발표된 것을 대상으로 대규모 언어 모델을 테스트했다는 점을 고려할 때, 아마도 읽은 것을 피드백하는 것일 수도 있습니다."라고 그는 말합니다.

앞으로 그는 생성 AI가 아직 과학 문헌에 문서화되어 있지 않지만 인간을 대상으로 테스트할 수 있는 다른 교차 모드 대응에 대한 가설을 생성할 수 있는지 조사하고 싶습니다.

“대규모 언어 모델과 생성형 AI를 사용하여 관심 있는 차원에 대한 완벽한 대응을 발견할 수 있습니다."라고 그는 말합니다. 이러한 접근 방식은 우리 뇌의 기존 연상을 활용하는 제품이나 패키지를 디자인하고자 하는 마케터에게 유용할 수 있습니다.

물론 몇 가지 주의할 점이 있습니다. 인공지능은 때때로 '환각', 즉 질문에 대해 오해의 소지가 있는 답변을 만들어낼 수 있습니다. 또한 응답이 신뢰할 만하더라도 디자인에 흥미를 더할 수 있는 우리 두뇌의 뉘앙스나 특성이 부족할 수 있습니다. 때로는 감각적 특성을 완전히 모방할 필요 없이 직관적인 연관성을 활용하고 싶을 수도 있습니다.

그렇기 때문에 AI가 식별한 모달 간 상관관계를 인간의 창의력과 결합해야 한다고 벨라스코는 말합니다. “이는 명확한 해결책이라기보다는 영감입니다.”