화가의 내면 세계는 이미지(색, 명암, 선, 형태, 공간, 텍스처)로 표현된다. <인터플레이>는 화가의 내면세계에서 이미지 세계로 전이되는 미학적 메커니즘을 추적하고, 작품에서 관객에게 전이되는 감각의 메커니즘을 실시간으로 상호작용(interplay)하여, 창작과 감상, 능동과 피동, 정신과 기술, 인지와 감각의 경계를 가상의 세계로 펼쳐본다.

 

<인터플레이>는 만드는 행위와 만들게 하는 동력, 그리고 이를 맞이하는 인지 체계의 상호작용을 탐구한다. 작가 써니킴과 XR 연구원 송미혜는 신경과학자 스티븐 반스를 초대하여, 인간의 뇌파(EEG)에 반응하는 퍼스널 VR 을 개발한다. 내가 보는 VR 과 당신이 보는 VR 은 서로 다를 수 밖에 없다. 그럼에도 우리가 하나의 동일한 작품을 보고 있다는 사실은, 볼 수 있는 모든 것은 보이지 않는 세계를 동반하고 있음을 사유하게 한다. 보는 행위란 (타인이 아닌) 자신의 내면 세계를 대면하는 찰나가 아니던가.

 

써니킴은 자신의 기억 속에 만들어진 또 다른 자아상, 페르소나로서 소녀를 회화 속 다양한 배경 안에 등장시켜왔다. 작가는 각각의 소녀에게 각각의 다른 내면 세계를 반영한 배경(숲, 길, 폭포, 강, 계곡, 구름, 안개, 비, … 등)을 만들어주고는 한다. <인터플레이>는 써니킴의 소녀와 소녀를 둘러싼 풍경을 그리는 작가의 감정상태와 심리변화가 어떻게 회화 속 소녀와 풍경에게 전이되는지, 그리고 이러한 심리의 변화를 어떻게 관객으로 하여금 시각적으로 경험할 수 있는지, 더 나아가 이러한 심리 공간은 관객에게 어떠한 영향을 미칠 것인가, 그 상호작용을 실험한다.

 

전시장은 작품과 관객의 교감이 이루어지는 ‘공감의 공간’이자, 작가의 내면세계와 관객의 내면세계가 연결되는 ‘관계의 세계’이다. <인터플레이>는 실체가 없기에 볼 수 없는 ‘공감’과 ‘관계’의 세계를 가상의 세계를 통해 눈으로 보고, 소리로 듣고, 공간으로 경험하는 장을 실험한다. 교감과 전이의 과정을 과학(신경과학)과 기술(EEG)을 빌어 데이터화하고 의학적으로 분석하며, 연구자는 여기에서 추출한 데이터를 가지고 3D 인터렉티브 환경에 적용하기 위해 다양한 모델링과 애셋 크리에팅을 실험한다.

 

연구자는 VR이라는 가상의 환경에서 써니킴 회화의 요소들을 어떻게 활용할 수 있을 것인가? 다양한 감정상태를 내재하고 있는 그림 속 소녀들의 의상, 표정, 자세, 그리고 배경(소녀들이 속한 세계의 풍경)을 어떻게 기술적으로 해석하고 가상의 환경에서 구현할 수 있을 것인가? 그림에서는 들을 수 없는 사운드와 공간의 입체감을 가상의 환경에서 어떻게 구현할 수 있을 것인가? 이렇게 제작된 가상의 세계에서 관객은 어떻게 작가의 내면 세계를 만날 것인가? 작가의 내면 세계는 관객에게 어떤 영향을 미칠 것인가? 관객의 심리 변화를 실시간으로 데이터화한 뇌파(EEG)는 어떻게 VR 환경을 변화시킬 것인가?

 

<인터플레이>는 회화라는 평면의 한계로 인해 불가능한 입체적 경험을 유니티(Unity) 기술을 통해 3D 인터렉티브 경험으로 얼마나 가능하게 할 수 있을지를 실험한다. 또한, 컨트롤러에 맵핑된대로 기계적으로 반복 재생만이 가능한 기계의 한계에 인간의 일시적이고 예측불가능한 감각의 생명력 을 접속하여, 회화와 기계의 정서적 기능적 상호작용(interplay)의 가능성을 실험한다.

 

바이오피드백(biofeedback)

x 뇌파(EEG Neurofeedback)

x 상상력(creativity)

 

상상력, 즉 창작을 위한 잠재력(potential) 조차도 과학적으로 증명될 수 있을 것인가? 2D/회화에서 만들어지는 상상력의 리얼리티가 3D/가상현실속에서 어떤 리얼리티를 가질 수 있을것인가? 이 질문을 추론하기 위해서 <인터플레이>는 신경과학자와 협력하여 인간의 인지 감각이 어떻게 지각 의식과 연결되어 있는지, 예술가의 뇌파(EEG)에 연결된 데이터를 통해서 연구하고자 한다. 신체를 움직이게 하는 원초적인 힘은 정신적인 면과 신체적인 면이 상호작용하여 통합된 에너지에서 나온다. 바이오피드백 시스템은 보이지 않는 생명력이나 정신적인 것이 가지고 있는 리얼함을 데이터로 보여줄 수 있다. 존재의 실체화에 대한 고민은 과학자 뿐만 아니라 그림을 그리는 화가나 조각을 하는 조각가와 같은 예술가가 궁극적으로 추구하는 공통의 영역이기도 하다.

 

가상/혼합현실(virtual/mixed realities)

x 기억(memory)

x 시점 (perspective)

 

기억은 시간이 지나면 시간의 순서도 바뀌고 기억의 내용 조차도 바뀌는 선택된 파편들의 조합이다. 써니킴의 회화는 이러한 파편적인 기억들을 캔버스에 수집하고 조합하여, 현재가 투사된 복합적인 이미지로 만들어낸다. 이러한 과정을 가상 현실을 프로그래밍하는 유니티(Unity)에 적용해보면 어떨까? 회화에 축적된 다양한 시간들을 해체하고 파편화된 이미지들을 데이터화하여 작가의 시점(1인칭)에서 소녀의 시점(3인칭)으로 전환했을 때, 관람자(몰입자) 자신의 시선은 어디로 투영될 것인가? 그리고 그 소녀의 시점으로 경험하는 가상 세계에 우리가 실제하는 현실 공간이 투영된 혼합 현실이 가능할까? 기억이란 과거에서 시작되었지만, 그 무엇보다도 강력하게 현재가 투영된 세상이 아니던가? 이러한 기억의 우연성과 가변성을 가상 현실의 3인칭 시점과 혼합 현실의 1인칭 시점을 이용하여 실체화할 수 있을 것인가?

 

파티클 시스템(particle systems)

x 이미지의 요소(색, 명암, 선, 형태, 공간, 텍스처)

 

Unity의 파티클 시스템은 작고 간단한 이미지나 메쉬를 대량으로 표현하는데 사용하도록 만들어진 파티클 효과 시스템이다. 액체의 움직임, 안개, 연기 (스모크), 구름, 눈, 비 등 아주 다양한 효과를 만드는데 사용되며 이 시스템은 자연에서 보통 표현해 내기 어려운 역동적이며 무형의 효과 크리에이션을 가능토록 해주며 파티클의 움직임 제어 뿐만 아니라 크기, 방향, 색, 형태, 모양 등을 설정할수 있다. 이 시스템은 정교한 움직임과 섬세한 입체 패턴을 통해서 화가의 붓터치나 물감의 텍스쳐, 그리고 구름의 방향, 안개의 밀도와 같은 시각적 이미지를 감각적으로 구현할 수 있는 능력을 가지고 있다.

 

만든 사람들

 

작가 써니킴
XR 인터액티브 아티스트 연구원 송미혜
기획 배은아

 

협력
프로그래머/시스템 아키텍트 써칸 팩쎄틴
시니어 오디오 디자이너 사쉔 레디
신경과학자 스티븐 반스 (Steven J. Barnes)

 

후원

2022년 한국문화예술위원회 예술과기술융합지원사업

 

 

···