인간 5감각 디지털화, 대한민국이 길목에 서자

故 김광석이 부르는 성시경 노래
실재하는 것과 실재하지 않는 것
시각, 청각의 상용화·산업화 역사
거인들의 어깨 위에서 쌓은 업적
촉각과 후각은 화룡점정 역할
인류의 진보와 감각의 디지털화

[Gettyimage]

인류는 조만간 두 개의 새로운 활동 영역으로 나아갈 것이다. 첫 번째는 지난 연재의 화두였던 우주공간이다. ‘인류의 다행성 종족(multiplanetary species·여러 개의 행성에 거주하는 종족)화’ 시대를 맞아 치열하게 벌어지는 우주개척 국가 대항 레이스에서 대한민국이 어떤 방향과 전략을 설정해야 할지에 대해 논의했다. 두 번째는 이번에 다룰 가상 세계다. 가상 세계가 우리가 지금 살고 있는 (또는 그렇게 믿고 있는) 현실 세계와 어떻게 상호작용하며 연동될지, 이때 어떤 준비가 필요할지 생각해 보자.

현실 세계와 가상 세계가 연동되는 방식을 크게 세 가지로 나눠보겠다. 첫째는 ‘감각의 전달’이다. 인간의 감각을 기록·저장·재생하며, 시공간을 뛰어넘어 감각을 조합해 현실과 가상을 연결하는 방법을 다룬다. 둘째는 ‘신뢰의 구현’이다. 종이 서류에 찍는 도장과 서명이 전자서명과 블록체인 등 정보기술(IT) 기반 인증으로 바뀌며 일어날 일들을 다룬다. 셋째는 ‘모든 것의 융합’이다. 디지털·물리적·생물학적 요소 간의 경계가 모호해지며 겪는 현상이다.

이 중 ‘신뢰의 구현’ 영역은 작게는 계약·거래의 문제, 크게는 사회경제적 현상과 이슈를 다룬다. ‘모든 것의 융합’ 영역은 온·오프라인의 객체를 연동·동기화하는 ‘디지털트윈’이 공장뿐 아니라 각종 사회적 대상과 활동, 심지어 개인 단위에까지 적용되는 상황을 조명한다. 이 두 가지 영역은 추후 별도로 논하기로 하자. 이 글에서는 ‘감각의 전달’에 초점을 맞춘다. 인간의 감각을 자유자재로 기록·저장·재생할 수 있게 함으로써 시공간을 건너뛰는 경험의 축적·전달·향유를 가능케 하는 영역이다.

프레디 머큐리의 ‘Kiss from a Rose’?

팝스타 브루노 마스의 목소리를 인공지능(AI)에 학습시켜 만든 뉴진스의 ‘Hype boy’ 커버곡 유튜브 영상(왼쪽)과 걸그룹 소녀시대의 멤버 태연의 ‘너를 그리는 시간’을 가수 아이유 목소리로 만든 AI 커버곡 영상. [유튜브 영상 캡처]

요즘 유튜브에서 유행하는 콘텐츠 장르 중 하나가 일명 ‘A.I. 커버’다. 인공지능을 활용해 원곡 가수가 아닌 다른 유명 가수의 음성과 창법으로 유명곡을 재창조하는 경우다. 이 세계에 들어가면 고(故) 김광석이 성시경의 노래를 부르기도 하고, 박효신이 지금은 구사하지 않는 본인의 초기 창법으로 최근 대세 히트곡인 ‘헤어지자 말해요’를 부르기도 한다. 아직은 변환 과정에서 수작업으로 디테일을 많이 다듬어야 할 테지만, 특정 음역대에서 나타나는 성대의 미세한 긁힘이나 특유의 추임새까지 재현한다. 그뿐만 아니라 이른바 ‘박자를 가지고 노는’ 엇박까지 적절히 활용하니 마치 그 가수의 콘서트 라이브를 듣는 착각을 불러일으킬 때도 있다.

힙합 장르의 곡을 리듬과 악기의 구성까지 재즈풍으로 재구성하기도 하고, 헤비메탈곡이 컨트리곡으로 재탄생하기도 한다. 워낙 흥미롭고 인상적이어서 지인들에게 공유하니 커버곡을 대할 때의 반응이 극과 극을 오갔다. 1994년 발매된 Seal의 ‘Kiss from a Rose’를 1991년에 사망한 프레디 머큐리가 부른 커버곡으로 듣고 감동에 겨워 눈물이 났다고 하는 분도 있었고, A.I. 커버곡들은 고인의 동의를 구하지 않고 만든 것이라 망자에 대한 모독으로 느껴져 듣지 못하겠다는 분도 있었다.

인류는 현장에서 예술가의 연주나 연기를 보지 않고서도 예술을 향유할 수 있는 수단을 만들어냈고, 이후 교육과 업무 등 다른 영역으로도 활용 폭을 확장했다. 최근 올라온 교육 동영상 중에는 인공지능으로 구현된 미국 가수 테일러 스위프트의 육성으로 과학의 역사까지 곁들여 피타고라스의 정리를 설명하는 것도 있다. 이렇듯 ‘감각의 기록·저장·재생’ 단계를 지나 인공지능을 통한 해체와 재구성을 거쳐 기존 감각을 통한 경험을 새로 창조하는 단계로 넘어가고 있다.

이쯤 되면 여러 질문이 자연스럽게 떠오른다. 모방도 창조인가, 모방은 창조가 아닌가. 실재하는 것은 무엇이고, 실재하지 않는 것은 무엇인가. 또는 무엇이 진짜이고, 무엇이 진짜가 아닌가.

크리스마스 시기에 들리는 캐럴, 특히 앤디 윌리엄스류의 창법으로 부르는 ‘화이트 크리스마스’를 들으면 왠지 모르게 푸근한 느낌이 들지 않는가. 옆에 있지도 않은, 심지어 이 세상에 없는 사람의 음성으로 불리는 노래를 들으면서 추억에 빠지고 행복감을 느끼는 나 자신을 바라보자. 다양한 주파수의 서로 다른 진동이 빚어내는 음향에 의해 청각이 자극된 나의 뇌가 추억이나 감동을 느낀다면 그건 혹시 나의 감정이 조작당하고 있는 것인지 의심해볼 필요가 있진 않은가.

청각으로 인지하는 음악 외에도 다른 감각에 관련된 경험과 반응은 또 어떻게 받아들일 것인가. 현실 세계와 가상 세계의 본격적 융합을 앞두고 감각의 기술적 구현과는 별개로, 우리 뇌를 속이는 것 같기도 하고 아닌 것 같기도 한 이런 철학적·윤리적 문제를 어떻게 정리하고 해결할 것인가. 그야말로 많은 과제가 우리 앞에 놓여 있다.

19세기 중후반 거치며 등장한 발명품

인간의 다섯 가지 감각 중에서 시각과 청각은 촉각, 후각, 미각보다 더 이른 시기에 상용화·산업화됐다. 그와 관련한 기술 발전의 역사를 살펴보자. 시각 기록 기술을 보면, 발명가 조제프-니세포르 니엡스(Joseph-Nicephore Niepce)가 발명한 가장 초기 형태 카메라 중 하나는 1816년 은염지에 빛을 노출시켜 이미지를 만들어내는 방식이었다. 다만 이미지가 영구적이지는 않았다. 1839년 알퐁스 지루(Alphonse Giroux)가 만들어 소비자를 상대로 판매까지 이뤄진 다게레오타입(Daguerreotype) 카메라는 5~30분의 노출 시간이 소요됐다. 1888년 조지 이스트먼(George Eastman)이 롤 필름 카메라 ‘코닥(Kodak)’을 출시했는데, 이는 사진 100장이 담길 수 있는 필름 롤에 촬영한 후 이스트먼 회사로 보내면 사진을 인화해 주는 방식이었다.

청각 기록 기술을 보자. 1857년 프랑스 발명가 에두아르-레옹 스콧 드 마르탱빌(Edouard-Leon Scott de Martinville)이 포노토그라프(phonautograph)를 발명했다. 이는 음파를 시각적으로 표현할 수는 있었지만 기록된 소리를 재생할 수는 없었다. 소리를 기록하고 재생할 수 있는 최초의 장치는 토머스 에디슨(Thomas Edison)이 1877년에 발명한 포노그래프(phonograph)다. 이는 음파를 포착해 실린더에 새길 수 있었다. 이듬해 특허를 받은 이 포노그래프는 소리의 기록·저장·재현 및 유통을 가능케 하면서 음향 산업의 서막을 열었다.

내친 김에 시각과 청각이 복합화한 동영상 기록의 역사까지 살펴보자. 1888년 루이스 르 프린스(Louis le Prince)는 자신이 만든 단일 렌즈 카메라로 사람들이 정원에서 걷는 모습을 담은 2초 분량의 무성 필름인 ‘Roundhay Garden Scene’이라는, 현재까지 존재하는 가장 오래된 동영상을 찍었다. 1891년 토머스 에디슨의 직원인 윌리엄 케네디 로리 딕슨이 키네토그래프(kinetograph)라는 최초의 영화 카메라를 발명했는데, 이는 체인 드라이브 필름을 사용했으며 초당 약 40 프레임의 속도로 촬영할 수 있었다.

그 후 토머스 에디슨이 딕슨에게 영사기의 발명까지 의뢰해 1891년에 키네토스코프(kinetoscope)가 탄생했다. 이 장치는 필름 루프가 캐비닛 내부의 롤러를 통해 연속적으로 이동하는 세계 최초의 영사기였다. 1895년 뤼미에르 형제(Auguste and Louis Lumiere)가 최초로 상업적 성공을 거둔 장비인 시네마토그래프(cinematographe)를 공개했다. 이 장치는 카메라, 인쇄기, 프로젝터의 기능을 모두 갖췄으며 초당 16 프레임의 속도로 운영됐다. 휴대성과 다기능성 덕에 초기 영화 제작에 큰 영향을 끼쳤다.

‘퀘스트3’를 공개한 마크 저커버그 메타 CEO(위), 비전 프로를 공개하며 공간 컴퓨팅 시대를 선언한 팀 쿡 애플 CEO. [마크 저커버그·애플 인스타그램]

이렇게 우리는 감각, 특히 시청각의 기록 및 활용에서 19세기 중후반을 거치며 획기적인 발명품을 만들어낸 거인들의 어깨 위에서 차곡차곡 추가로 업적을 쌓아왔다. 청각에서는 LP 레코드, 마그네틱 카세트테이프 같은 아날로그 매체에서 디지털로 넘어가 콤팩트디스크(CD)로, 이후에 실물이 없는 MP3를 비롯한 다양한 형식의 파일 형태로 기록 및 저장 수단을 발전시켰다. 최근에는 좌우 스테레오를 넘어서서 360도 입체감을 가미한 ‘공간음향(spatial audio)’ 기술이 빠르게 보급되고 있다. 시각과 동영상에서도 비슷한 경로로 발전이 이어지고 있다.

‘메타버스’ 단말기의 경우, 2차원 마우스를 입체화한 것과 같은 3차원 포인터 기능이 활용됐다. 하지만 아직은 무게, 발열, 현기증 유발 등의 문제를 극복하지 못한, 이른바 ‘죽음의 계곡(chasm)’을 건너기 전 상태로 보인다. 페이스북에서 이름까지 바꾼 메타가 ‘오큘러스 퀘스트’ 시리즈로 앞장서고, 애플이 ‘비전프로’로 쫓아가려 하는 가상현실(VR) 헤드셋 제품이 본격 보급되기 시작하면 적어도 시청각 영역에서는 현실과 가상 간의 경계가 더욱 빠르게 모호해질 것이다.

실물이 직접 ‘순간이동’하는 텔레포트의 시대가 온다면 모를까. 그 이전에는 통신 기술을 활용해 가상 세계 내에서 다양한 사회경제적 활동이 이뤄지는 방향으로 기술과 시장이 전개될 것 같다. VR 단말기와는 별도로, 육안으로 대상을 마주할 수 있는 홀로그램 기술이 상용화되는 것만으로도 가상현실에서 느껴지는 몰입감을 대폭 높일 것이다.

차원이 다른 몰입감

인간의 5감 가운데 시각과 청각 관련 기술은 빅토리아 시대인 약 150년 전부터 꾸준히 이렇게 축적돼 왔다. 다른 세 가지 감각 중 미각은 수분 및 영양 섭취와 관련된 활동에만 주로 사용되므로 감각의 가동 빈도 및 시간에 차이가 있다고 보고 일단 논의에서 제외하자.

남은 두 가지 감각인 촉각과 후각의 기록·저장·재현 기술은 얼마나 발전해 왔을까. 정말 놀랍게도 경험해 본 것이 거의 없는 것 같다. 촉각은 장갑을 끼고 압력이나 동작을 느낄 수 있게 해주는 기술이 간혹 선보인 바 있으나 아직 상용화나 보급 단계에는 미치지 못하고 있다. 최근 보도된, 껴안는 감각을 전달하는 조끼 같은 실험적 사례도 있으나 충분히 세밀하지는 않은 것 같고, 실험실에서 센서 간 간섭 없이 세포 단위까지 촉각을 정밀하게 측정할 수 있는 트랜지스터 촉각 센서를 개발한 소식은 있지만 역시 상용화에까지 이르지는 못한 것으로 보인다.

상품화된 사례로는 자동 안마의자가 뭉친 근육을 풀어주는 정도가 있을까 싶은데 엄밀히 촉각 ‘전달’에 해당된다고 하기는 어렵겠다. 후각을 살펴봐도 향수나 디퓨저 같은 조향 관련 제품군의 발전은 있었으나 상호작용하는 수준에 이른 것은 아니다. 무엇보다도 정형화되고 일방향적 공산품 수준이라 우리의 논의 주제에 해당하지는 않는다.

그럼 촉각은 우리 생활 속에 어떤 형태로 구체화될까. 아마도 장갑이나 의복을 착용하는 형태로 단말기가 제작될 것 같다. 시각을 자극하는 디스플레이의 ‘해상도(解像度)’ 즉 ‘상(像·이미지)을 정밀하게 분해(分解)한 정도’에 따라 현실감, 몰입감이 달라지는 것처럼 촉각도 전달 메커니즘이 상용화되기 전에 그 유형과 기준을 정립하는 표준화 단계가 필요할 것이다. 따라서 섬세함을 측정하는 지표로 ‘시각해상도’와는 다른 ‘촉각해상도’가 필요할 것이다.

가상 세계 구현 기술이 더욱 발전했을 때, 원거리에 있는 사람들 간 회의에 앞서 악수를 통해 감지하는 촉각 경험이 필요하다고 가정해 보자. 악수할 때 느껴지는 접촉의 면적, 압력의 강도와 분포, 피부의 온도와 습도, 피부 표면의 질감 등 여러 변수를 측정, 기록, 전달, 재현해야 한다. 아마도 개인정보 보호 대상으로 분류되겠지만 유명 인사와의 악수나 포옹의 경험도 촉각 데이터로 가공돼 일반에 무료로 공개되거나 상업적으로 활용되는 경우도 나올 것이다.

세상을 떠난 가족과 나눈 촉각 경험을 생전에 미리 데이터로 저장해 뒀다가 사무치게 그리울 때 꺼내 쓸 수도 있을 것이다. 아무튼 시청각만으로 구현되는 가상 세계와 촉각까지 함께 구현되는 가상 세계는 그 현실감, 몰입감의 차이가 가늠할 수 없을 만큼 커질 수밖에 없다.

다음 시대 주도할 조건

후각은 어떤 형태로 구현될까. 후각은 공기 중에 떠다니는 아주 작은 화학물질을 우리 후각세포가 수용, 감지해 느끼게 된다. 냄새의 복잡성과 인간 후각의 다양성 때문에 아직 합의된 연구 결과에 이르지는 못한 상태다.

인간의 후각은 수백만 가지의 냄새를 구별할 수 있다고 알려져 있으나 우리가 매일 경험하는 다양한 냄새는 수많은 화학적 조합과 복잡한 상호작용을 통해 형성된다. 이런 이유로 측정·기록·저장·재현까지 가능케 할 데이터로 정리하기까지는 더 많은 시간이 필요할 것이다. 4DX 영화관에서 전투 장면이 나올 때 뿌려주는 화약 냄새나 밀림 배경에서 풀어놓는 풀 냄새는 그 향이 너무 조악해 오히려 향 때문에 몰입감이 깨졌던 경험이 있다. 앞으로 후각에 대한 연구와 실용화가 성공해 가상 세계 체험의 중요한 요소로 추가된다면 후각이 가상 세계의 현실감을 완성하는 화룡점정의 역할을 할 수도 있으리라 생각한다.

인간의 활동 영역은 두 가지 축으로 뻗어나가고 있다. 하나는 지구 대기권 안에서 지구 경계의 바깥인 외계, 즉 우주로 나아가는 것이고 다른 하나는 물리적 공간이 아닌 곳에 또 다른 세상이 만들어지는 가상 세계 안으로 들어가는 것이다. 새 시대가 열리는 시점에서 우리가 가상 세계 개척에 앞서가려면 어떤 준비를 해야 할까. 인류가 두 세기 동안 축적해 놓은 시청각에 관한 지식과 기술에 비해 현저히 뒤처진 촉각과 후각 관련 기술 발전에 국가와 기업의 역량을 집중하는 것이다. 시청각이 가상 세계로 가는 문을 열었다면 가상 세계의 구현을 완성시키는 감각은 촉각과 후각이 될 것이다.

현실 세계와 구분이 어려울 정도로 몰입감이 잘 구현된 가상 세계가 펼쳐질 날을 상상해 보자. 거기에서는 새로운 기회가 무궁무진하게 열릴 것이다. 시공간의 격차를 극복해 감각을 연결하고 전달하는 방향으로 나아가는 인류 진보의 경로 위에는 필연적으로 감각의 디지털화가 놓여 있을 것이다. 대항해시대의 역사를 되돌아보면 새롭게 판이 만들어질 때 그 길목을 선점한 국가와 기업과 개인이 다음 시대를 주도했다. 촉각과 후각에서 아직 뚜렷한 선두 주자가 보이지 않는 것이 다행스럽다. 서둘러 가서 길목을 잡아보자.