FRONT LINE RESEARCH신기술 동향
Home > 서울대 공대 연구소식 > 신기술 동향



김영민 교수
서울대학교 전기정보공학부



김영민 교수
서울대학교 전기정보공학부


메타버스 기술과 전망



메타버스란 무엇인가?

메타버스가 화두다. 2021년 10월 28일 페이스북이 회사 명칭을 메타로 변경하며 메타버스로의 전환을 선두하겠다는 포부를 밝혔다. 그럼 메타버스란 무엇인가? 메타버스는 현실과 가상 세계 사이의 경계가 모호해지고, 현실이 가상 세계에 반영되는 것과 가상이 현실 세계 속에 들어오는 것을 포함한다. 메타버스라는 단어 자체는 초월, 가상을 의미하는 메타(meta)와 세계를 의미하는 유니버스(universe)의 합성어이다. 이 단어는 1992년 한 소설에 처음 등장하였다고 한다. 미래의 기술과 사회를 염두에 두고 만들어진 단어이기 때문에 상상 속의 개념이었다. 1992년 그 단어가 처음 등장했던 소설에서 모습과, 1999년 영화 <메트릭스>에서 묘사된 기술, 그리고 현재 우리가 생각하는 메타버스는 미래에 실현될 메타버스의 모습과 다를 것이다. 그 실현이 어떻게 될지는 모르겠으나, 뜨거운 세간의 관심 속에서 새로운 먹거리를 찾는 첨단 기업들에게는 매력적인 미래의 로드맵일 수도 있지만 회의론 또한 존재한다. 이 글에서는 메타버스의 핵심 기술을 중심으로 메타버스에 대해 이야기해보려고 한다.

그림 1. 혼합 현실 상의 상호 작용. (마이크로소프트 홈페이지) [1]

AR/VR의 핵심 기술

메타버스는 사실 AR/VR과 거의 비슷하게 생각할 수 있다. VR은 가상현실(Virtual Reality)을 의미한다. ‘가상’과 ‘현실’이라니. 어찌 보면 서로 반대의 개념이다. 상상 속에 존재하는 가상의 세계를 현실적으로 실감나게 보여주기 위해 인류는 컴퓨터의 힘을 빌렸다. 영화에서 보이는 시각 효과나, 애니메이션, 게임 등은 모두 가상현실의 일종이다. 비슷한 개념으로 증강현실(Augmented Reality, AR)이 있다. 현실을 그대로 투영한 이미지나 비디오 위에 가상의 사물을 덧입히면서 함께 보여주는 것을 의미하며, 대표적으로 포켓몬 고와 같은 게임이 있고, 박물관이나 내비게이션 같이 정보를 전달하고자 할 때 효과적으로 쓰이곤 한다. 최근에는 여기에서 더 나아가 AR에서 상호 작용이 좀 더 강조된 개념인 혼합 현실(Mixed Reality, MR)의 개념이 등장하였고, VR, AR, MR등을 합쳐서 XR이라고 부르기도 한다.

메타버스는 이렇게 다양하게 표현되고 섞이는 디지털 세계, 혹은 가상의 세계를 우리 생활 속에서 경험하게 하는 것을 의미하고, 이를 위해서는 또 다른 세계와 인간 사이에 어떠한 교류(interaction)가 이루어져야 한다. 가장 익숙한 교류는 컴퓨터 화면을 보면서 키보드와 마우스로 디지털 세계에 접속하고 이를 향유하는 것이다. 하지만 매우 전통적인 방법이기 때문에 메타버스라는 개념과 좀 동떨어지게 느껴진다. 최근의 메타버스, 그리고 AR/VR은 좀 더 직관적인 교류를 추구한다. 어딘가를 터치하거나 손동작을 인식하고, 사용자의 위치를 정확히 파악(tracking)하여 그에 맞는 컨텐츠를 제공한다.

AR/VR 혹은 메타버스를 구현하기 위해서는 크게 하드웨어, 플랫폼, 그리고 컨텐츠가 필요하다. 디지털 세계에 접속하기 위한 하드웨어는 큰 틀에서는 컴퓨터와 개념을 같이한다. 하지만 AR/VR의 최신 기술은 특히 시각화에 집중되어 있고, 디스플레이의 발전과 밀접한 연관이 있다. AR/VR을 위한 장면을 표시하기위해 일반적인 컴퓨터의 모니터를 활용할 수도 있고, 휴대전화, HMD (Head Mounted Display), 프로젝터나 초대형 화면 등을 활용할 수도 있다. 시각만큼은 아니지만 소리도 최근에 많은 기술 발전이 이루어지고 있으며, 아직 실험적인 단계지만 촉각이나 후각, 미각 등을 자극하는 방법도 존재한다.

디스플레이를 중심으로 한 하드웨어가 일반인에게 보여지는 기술의 집약체라면, 실제 메타버스를 구현하기 위한 기술자의 입장에서는 플랫폼이 매우 중요하다. 플랫폼 산업은 4차산업혁명 이후 등장한 디지털 시대의 먹거리이며, 도시의 도로나 농경사회의 강물처럼 문화가 꽃피우게 하는 기반 산업(infrastructure)이다. 플랫폼 산업의 대표적인 성공 사례는 유튜브이다. 기존 방송국과 유튜브가 다른 점을 생각해보자. 유튜브는 회사가 동영상을 만드는 것이 아니라, 소비자가 직접 동영상을 제작하고 그 안에서 소비하고 향유할 수 있는 터전을 마련하였다. 메타버스, 혹은 AR/VR을 구현하고 그 안에서 새로운 차원의 문화가 자리잡으려면 이렇게 다방면으로 새로운 차원의 경험을 창조하고 소비할 수 있는 놀이터가 필요하다. 멀티미디어 데이터가 공유되고, 상호 작용 정보가 빠르게 전달되어야 한다. 이를 위해 5G/6G를 활용한 초저지연 통신 체계와 대용량의 데이터를 저장 및 처리할 수 있는 기술이 바탕이 된다.

또한 사용자들이 플랫폼 상에서 향유할 수 있는 컨텐츠가 필요하다. 시각적으로 높은 수준을 유지하면서도 흥미로운 이야깃거리와 새로운 정보를 담은 매력적인 컨텐츠들이 나타날 때 비로소 하드웨어나 플랫폼이 진가를 발휘하고 인류에 영향을 미칠 수 있다. 하지만 컨텐츠를 제작하는 것은 어렵다. 수 많은 예술 작품 중에서도 고품질의 작품을 만들기가 어렵다. 특히나 첨단 기술과 복합적인 매체가 결합된 메타버스 혹은 AR/VR 세계를 생각하면 고품질 컨텐츠가 유튜브 비디오처럼 범람하는 생태계를 만드는 것은 쉽지 않다. 최근 AR/VR 혹은 메타버스의 예로 많이 등장하는 디지털 휴먼이나 문화 유산 등을 생성하려면 데이터와 노동력이 뒷받침되어 있다. 많은 경우 “AI로 재현하였다”는 매력적인 문구를 붙이기도 하지만, 처음부터 끝까지 자동화하여 이러한 컨텐츠를 제작하기는 어렵다. 예를 들어 어떤 사람의 목소리를 재현한다고 할 때, 완벽한 무(無)로부터 목소리를 만드는 것이 아니다. 실제 그 사람의 육성을 매우 많이 모으고 이를 하나하나 오려 붙이는 과정을 거쳐 합성한다. 실제와 같은 사진을 만들기 위해서는 수백만장의 사진을 사용해서 심층신경망을 훈련시키다. 이와 같은 기술이 빠르게 발전하고 있긴 하지만 아직은 다양한 창의성을 뒷받침해줄 범용적인 도구로 자리잡지는 못하고 있다.

컴퓨터그래픽스와 게임엔진

그림 2. 라이트스테이지. 영화 아바타에 사람의 모습을 합성하는 데에 쓰인 장비로,
수십대의 카메라와 조명을 활용한 여러 장의 사진을 합성하여 가상 공간 속의 사람 모습을 재현한다.[2]


메타버스에서는 영상이나 비디오에서 더 나아가 3차원 컨텐츠와 빠른 상호 작용을 요구하고 있다. 현대 인류는 고품질의 가상 현실 경험을 제작할 수 있는 기술을 갖추고 있는데, 그 대표적인 산업이 게임과 영화 산업이다. 게임은 한때는 어린 학생들이 중독되는 취미 생활 정도로만 여겨졌던 산업이지만 이제 하나의 스포츠로 취급되고 있다. 최근의 게임이나 영화의 컨텐츠 수준을 보면 포켓몬 고나 개더타운의 수준과는 다르게 굉장히 사실적인 묘사가 가능하다. 이는 뛰어난 GPU를 통한 효율적인 계산 방법 및 첨단 알고리즘을 바탕으로 이루어진다. 수십년 동안 기술의 발전과 함께 컴퓨터 그래픽스를 통해 컨텐츠를 생성할 수 있는 표현 범위는 괄목할 만한 성장을 이루었다. 특히 빛과 시점에 따라 수려하게 그 형상이 변화하고 실제와 같은 부딪힘과 움직임을 구현하기 위해서는 3차원 구조와 재질, 물성, 변형 등을 섬세하게 조정해야 한다. 애니메이션이나 게임을 만드는 디자이너들의 작업 방식을 보면 컨텐츠 생성이 굉장히 노동 집약적인 산업임을 알 수 있다.
그림 3. 온라인 채용설명회나 컨퍼런스 등에 많이 쓰이는 개더타운의 사용 예. 홈페이지 캡쳐. [3]


게임 컨텐츠를 생성하기 위해 3차원 물체와 캐릭터들을 배치하여 빛과 어우러지게 표현하고, 이들의 움직임을 조정할 수 있는 도구가 있다. 바로 게임엔진이다. 게임엔진은 게임 제작을 편하게 하기 위해 만들어졌다. 예를 들어 우리가 처음부터 발표자료를 빈 종이에 만들려고 하면 어렵지만, 파워포인트와 같은 프로그램을 쓰면 간단한 도형 그리기나 사진 삽입, 글씨 크기 조정 및 애니메이션 등의 자주 쓰는 기능을 손쉽게 구현할 수 있다. 비슷하게, 게임엔진은 게임에서 자주 쓰는 컨트롤러 입력, 화면 출력, 캐릭터 조정 및 움직임 구현 같은 기능들을 편리하게 사용할 수 있도록 만들어져 있는 도구이다. 게임엔진을 쓰면 손쉽게 3차원 컨텐츠로 새로운 세계를 구현하고 상호 작용을 구현할 수 있으며, 널리 쓰이는 게임 엔진에는 유니티나 언리얼엔진이 있다. 이렇게 컴퓨터 그래픽스 기술을 활용하여 제작한 3치원 컨텐츠는 게임/영화의 울타리를 벗어나 AR/VR에 바로 적용될 수 있다.

고품질의 3차원 컨텐츠와 게임 엔진이 어우러짐으로써 새로운 차원의 경험을 제공한다. 최근 등장하는 AR/VR 그리고 메타버스 환경은 대부분 게임 엔진을 바탕으로 만들어진다. 올해 1월에는 마이크로소프트가 블리자드를 인수하여 국내에서도 언론에 크게 보도되었다. 마이크로소프트는 콘솔 게임인 x-box 뿐 아니라 홀로렌즈 등 AR/VR분야에서도 기술력을 보유하고 있다. 여기에 스타크래프트로 대표되는 블리자드나 마인크레프트와 합치면 컨텐츠에서도 강점을 가질 수 있다. 국내에는 크게 보도되지 않았지만 2021년 11월에는 게임엔진의 대표주자인 유니티가 반지의 제왕 등으로 대표되는 웨타 디지털을 인수하였다. 이 또한 컨텐츠와 게임엔진의 조합으로 메타버스를 선도하고자 하는 것으로 볼 수 있다. 이처럼 게임과 이와 관련되어 발달해온 첨단 기술은 메타버스의 핵심에 자리잡고 있고, 더 편리하게 대중들이 컨텐츠를 생성하고 공유할 수 있도록 노력하고 있다.

그림 4. 대표적인 게임 엔진 중 하나인 언리얼엔진으로 만든 장면. 홈페이지 캡쳐.


메타버스의 빛과 그림자

메타버스와 등장하는 첨단 기술을 보면 정말 현실과 가상의 경계가 당장 허물어질 것 같다. 하지만 최첨단 기술과 일반인이 누구나 향유하는 보편적 기술 사이에는 간극이 있다. 컨텐츠를 만드는 어려움과 함께 하드웨어나 플랫폼 기술도 아직은 누구나 편안하게 향유하지 못하는 경우가 많다. 메타버스로 나아간다는 시대지만, 아직까지도 대부분의 화상 강의 플랫폼에서 마이크가 잘 연결이 안되거나 echo가 발생하는 적이 종종 있다. 많이 나아졌다고는 하지만 아직도 외부 발표를 하러 가면 종종 새로 연결한 모니터나 프로젝터에 화면을 제대로 띄우기 위해 시간을 소비하곤 한다. 정말 단순한 기술도 어디에서나 누구에게나 자연스럽게 사용할 수 있도록 생활 깊숙이 자리잡기는 어렵다. 복합 매체를 다수의 사람들이 함께 향유하는 메타버스에서 누구나 고품질 컨텐츠를 생성하고 공유하기까지는 아마도 시간이 좀 걸릴 것이다.

아직은 시작 단계인 메타버스 세계로의 전환이지만 벌써부터 비판적인 시각도 존재한다. 완벽히 현실과 융합된 또다른 세계는 시기 상조이며, 무엇보다 메타버스가 현실을 대체할 수 없다. 필자 또한 손으로 쓴 편지나 사람을 마주보고 하는 대화를 대체하는 메타버스는 없다고 생각한다. 또한, 모든 새로운 미디어가 그러듯 메타버스에는 중독, 범죄 노출, 자극적 컨텐츠 추구, 가짜 뉴스 등 윤리적 문제도 존재한다. 종합적인 미디어를 포괄하는 메타버스의 특성상, TV, 게임, 인터넷, 소셜 미디어가 갖고 있는 문제점을 모두 포괄하면서도 극대화할 수 있다.

사실 메타버스의 개념이 세간의 관심에 떠오른 것은 얼마 안되지만 여기 포함되는 개념들은 새로운 것이 아니다. AR/VR만 해도 좀 더 오랜 기간 주목을 받았으며, 디지털 트렌스포메이션, 4차혁명, 그리고 많은 기술들이 모두 현실의 삶 속에 기술을 녹여내는 과정에 있었다. 또한 게임에 익숙한 사람들은 10여년 전부터 게임 속에서 또 다른 자아를 형성하고 사회적 관계를 형성해 왔다. 심지어 컴퓨터 이전의 시대에도 사람들은 소설이나 연극을 통해 현실과 비슷한 또 다른 세계를 상상 속에 구축하고 그 안에서 다양한 역할을 해냈다. 메타버스는 이러한 모든 것의 연장선 상에 있는, 어찌 보면 평범한 삶의 방식이 확장된 자연스러운 미래 모습일 것이다. 그 미래의 모습이 정확히 무엇인지는 아직 아무도 모르지만 어찌됐건 예전에 불가능했던 새로운 경험이 가능해질 것이다.


[참고문헌]


[1] https://img-prod-cms-rt-microsoft-com.akamaized.net/cms/api/am/imageFileData/RWI1B4?ver=73ea&q=60&m=6&h=600&w=1778&b=%23FFFFFFFF&l=f&o=t
[2] https://vgl.ict.usc.edu/LightStages/images/Avatar/Final/IMG_5790.JPG
[3] https://assets-global.website-files.com/60ca686c96b42034829a80d3/6180ae26479c4f50c3220f09_5-p-500.png
[4] https://cdn2.unrealengine.com/body-get-started-4-1920x1080-1920x1080-b24cee92482b.jpg