와우-로그 : 인공와우 장치 사용자를 위한 전자음악 프로젝트

인공와우 사용자들은 인공와우 장치의 기술적 한계로 인해 건청인과는 다르게 소리와 음악을 인지한다. 간단한 대화를 알아들을 수 있는 정도의 소리는 지각할 수 있는 반면, 음역대가 다양한 음악은 지각하기 어렵다. 이러한 이유로 대부분의 인공와우 사용자들은 음악을 감상하며 즐거움을 찾기 힘들다. 인공와우 사용자들에게 ‘음악의 즐거움’을 전달하기 위해서는, 서로 다른 음악과 소리에 관한 경험을 공유하고 이해할 필요가 있다.

작곡가 이원우는 2019년 4월부터 <와우-로그> 프로젝트를 통해 인공와우 사용자와 소리 및 음악 인지 방식을 연구해왔다. 이를 토대로 인공와우 사용자들의 소리 세계를 구현한 플레이풀 미디어, 즉 전자악기를 개발하고 음악을 창작하고자 하였다. 작곡가는 서로 다른 소리의 세계를 이해하고 음악적 상호작용을 통해 인간에게 있어 ‘음악의 본질적인 요소가 무엇인지’ 고찰하고자 했다. 그리고 인공와우 사용자는 음악적 즐거움을 통해 궁극적으로 '어음 분별력과 청감을 개발'할 수 있었다.

본 작품은 지난 1년여간의 소리 및 음악 인지 연구 과정을 공연의 형태로 재구성한 것으로, 인공와우 사용자는 청감개발 정도에 따라 현재 잘 들리는 것과 미래에 듣게 될 것을 탐색, 비교하는 내면화 과정을 가진다. 크게 4부로 구성되었으며, 청각장애인의 가청음역 개발, 구분 가능한 음정을 통한 선율 생성, 인지하기 쉬운 음색 설정, 그리고 선행 과정에서 도출한 음악 요소들을 토대로 인공와우 사용자가 직접 연주하는 음악을 감상할 수 있다. 

인공와우 사용자 : 홍지윤

'Quantum Beat' (2021)

작곡가 이원우에게 컴퓨터 음악은 우리를 둘러싼 세계, 그리고 인간을 이해하기 위한 매체다. 그가 인간의 뇌파, 인공와우 사용자의 소리인지 등의 미시세계를 탐구할 때, 가장 먼저 소리 합성의 기초로써 정현파를 데이터에 적용하는 과정을 거친다. 소리를 구성하는 최소 성분인 정현파를 통해서 우리가 인지하지 못하는 인간 세계를 조망하며 작곡의 영감을 얻던 그는, 문득 우리 세계를 구성하는 최소 성분인 양자 Quantum 에 대해 생각한다. 양자 물리학은 우리가 경험적으로 학습한 물리의 세계와는 다른 모습을 보이는데, 놀랍게도 소리로 치환된 원자의 세계는 그 특성이 경험적으로 익숙하다. 보스-아인슈타인의 응측수에 따르면 우주에서 가장 차가운 상태에서 원자는 정확히 인간의 청력의 범위로 극도로 느린 파동을 발생시킨다. 그리고 그 원자들의 모임은 가산합성의 특성(맥놀이의 우글거림 등)과 일치하였다.* (*Klaus Mølmer 박사로부터.) 소리의 최소 성분인 정현파와 우리 세계의 가장 작은 입자의 세계가 어쩌면 매우 닮았거나 심지어 같을 수 있다는 것은 작곡가의 호기심을 매우 끌어당겼다.

본 작, 'Quantum Beat'는 작곡가 이원우가 양자의 청각화를 통해 우리 세계를 조망하려는 첫 번째 시도다. 서울대학교 양자컴퓨터 연구원 김채원, 그리고 리서치 사이언티스트 박종화와 팀을 이루어 연구하였다. 수많은 양자물리학 이론과 가설 가운데, 우리는 리처드 파인만의 경로합 이론에서 음악적 가능성을 발견하였다. 이 이론에 기반하여 우리는 단일 슬릿을 통과하는 원자의 이동경로를 적분하여 확률로 기록하고, 이것을 가산합성하여 소리의 재료로 삼았다. 동기의 구성상의 특징으로는 입자를 측정할 때, 출발점과 도달지점을 측정한 후 과정에 대한 가설을 세울 수 있다는 점에 착안하여, 출발음과 도달음, 그리고 나중에 따라오는 경로합이라는 흐름으로 조직하였다. 곡 전체를 관통하는 흐름은 양자 컴퓨터의 FFT적 특징에 맡겼다. 우리가 일반적으로 FFT를 할 때 쓰는 일반 컴퓨터는 페이즈와 매그니튜드를 매우 정확하게 분석해내지만, 양자 컴퓨터는 FFT를 10개 남짓한 큐비트의 확률로 접근한다. 그리고 FFT의 결과는 누적값들, 히스토그램의 형태로 알게 된다. 코사인파 두 주기를 양자 컴퓨터를 통해 4096 샘플로 분석하자 뜻밖의 결과를 보여주었는데, 점차 소음으로 변해가는 정현파의 양자 FFT 소리에서 우리를 둘러싼 양자의 존재를 청각적으로 상상할 수 있었다. 

[공동 연구]
서울대학교 양자컴퓨팅 연구원 김채원
서울대학교 전기정보 연구원 박종화

'기억의 순환' (2018)

장기 기억과 관련한 두뇌 내부의 운동을 해석하고 청각화하였다. 

1. 신호 
2. 응집 
3. 활성 
4. 순환

‘기억의 순환’은 장기 기억과 관련된 인간의 두뇌 내부의 운동을 심미적으로 해석하고 청각화한 작품입니다. 서울대병원 의생명연구소가 제공하는 첨단 기술로 64채널의 노드를 레코딩하고, 기억과 관련된 노드 데이터를 선택하여 장기기억에 집중했을 때의 상태를 음악적으로 표현했습니다. 청각화된 기억은 다시 감상하는 과정에서 기억을 기억하게 되는 순환을 만들게 됩니다.  

총 4부로, 신호, 응집, 활성, 순환이라는 주제를 이야기합니다. ‘신호’에서는 장기기억을 위해 전두엽에서부터 후두엽으로 이동하며 뇌 전체 영역의 활성화되는 과정을 64채널의 정현파 가산합성으로 구현했습니다. ‘응집’은 FP1의 데이터에서 발견되는 뇌의 비동기 및 동기화 과정의 리듬을 표현합니다. ‘활성’은 장기기억에 집중하고 있을 때 활성화되는 뇌 영역의 위치 데이터를 청각화했습니다. ‘순환’에서는 음악화된 기억을 듣는 청자에게서 뇌파를 새롭게 측정합니다. 이를 기존의 기억 데이터에 실시간으로 합성하여 새로운 개념의 피드백을 발생시킵니다.  

'Micro Layers'

해금의 소리를 둘러싼 스펙트럼을 살펴보고, 그 데이터를 음악적으로 활용하였다. 

I. 평으로부터
II. 요성으로부터
III. 트레몰로로부터

연주 : 해금 박수아

WOW-STEP (2021)

WOW-STEP: 인공와우 사용자를 위한 음악 분류 프로젝트

프로젝트 소개 웹페이지
http://study.wow-step.com  

​이원우 WONWOORI, 박종화 Jong Hwa Park
Open Innovation Platform ZER01NE
Brain Music Laboratory 

ViRsona (2021)

〈비로소나(ViRsona)〉는 2021 ZER01NE CREATOR WONWOORI와 아톰앤비츠가 공동으로 연구하고 구현한 작품이다. 이들은 다양한 감각과 환경에 주목한다는 공통점이 있으며 메타버스 안의 멀티 페르소나가 존재한다는 현상에 대해 꾸준히 이야기하였다.

현존하는 나의 페르소나는 과연 몇 개나 될까? 혹은 과거와 미래를 통틀어 존재할 수 있는 나의 페르소나는 얼마나 다양하게 변주될 수 있을까? 최근 온라인 환경의 대두를 통해 더욱 페르소나에 대한 관심이 증폭되고 있다. 〈비로소나〉는 이러한 상황 속에서 멀티 페르소나로 인한 역효과와 우려점에 대해 이야기하고자 한다. 자아의 중심과 뿌리가 잘 형성되지 않은 상태에서 한없이 다양하기만 한 페르소나의 복제와 변주는 과연 현대인들의 정신건강에 긍정적 영향만을 미칠 것인가? 현실의 자아와 가상 속 자아 간의 간극은 반드시 드러날 것이고 이로 인한 혼란은 근미래에 더욱 커질 것이다. 〈비로소나〉는 VR 기술을 이용하여 바이오 메트릭 데이터를 가상 환경과 결합함으로써 가상 환경에서도 자아를 강화하는 방법을 모색해 보고자 한다. 가상 공간에 접속한 순간에도 자신의 신체를 느끼고 집중할 수 있다는 것은 매우 흥미롭다. 자신의 내면에 집중하는 명상에서 착안한 이러한 방법은 기존의 감각 경험을 넘어서는 새로운 형태와 내용의 감각 경험이 될 것이다.

Neuro Cone (2022)

‘Neuro Cone'은 생명의 근원인 뇌파를 음파로 조망한다. 작곡가 이원우 WONWOORI 는 뇌의 8개 전극, FP1, FP2, FT7, FT8, TP7, TP8, O1, O2를 측정하였는데, 이 미세 전류들은 그 활성화 정도에 따라 동기적, 비동기적 특성을 쉼 없이 달리하여 나타났다. 심신의 상태에 따라 달리 측정되는 각 전극은 신체의 통제를 벗어나 마치 카오스처럼 보이곤 한다. 뇌파 전극 하나를 측정해서 청각화했을 때 느껴지는 그 고요함과 달리, 수많은 비주기성 뇌파 전류들이 상호작용하여 만들어내는 소통은 매우 소음적이고 또 무척 아름답기도 하다.

작곡가 이원우 WONWOORI는 인간의 뇌를 하나의 커다란 구로 바라보고 이를 청각화하여 감상자를 뇌의 한가운데 머물게 한다. 우리가 미쳐 감각하지 못한 뇌의 무한한 트랜스적 활동 속에서 인간 존재의 원초적 기원을 탐색해볼 수 있기를 바란다.

사진 강민정