FRONT LINE RESEARCH신기술 동향
Home  >  서울대 공대 연구소식  >  신기술 동향



이수연
전기·정보공학부 교수


이수연
전기·정보공학부 교수

가상현실을 위한 디스플레이 구동 기술


정보화 사회가 발달하면서 정보를 접할 수 있는 전자기기는 다양한 모습으로 발전해왔다. 과거에는 TV가 정보를 전달하는 거의 유일한 전자기기였다면, 컴퓨터와 인터넷의 발달로 모니터 및 노트북 등의 personal device가 등장하였고, 스마트폰, 스마트 워치 등으로 확대되고 있다. 이러한 전자기기의 발달과 함께 디스플레이 또한 단순한 정보의 전달 및 처리를 넘어서 기기와 사용자 간의 상호작용을 도와주는 등 정보화 사회에서 없어서는 안될 핵심 기술로 진화해왔다. 디스플레이의 역할이 진화하면서 디스플레이에 요구되는 사양 또한 지속적으로 높아지고 있다. 특히 해상도, 재생 빈도, 색심도, 색영역, 밝기 등은 디스플레이의 화질을 대변하는 주요 척도이다. 해상도가 높을수록 정보를 좀 더 섬세하게 표현할 수 있고, 화면 재생 빈도가 높을수록 동영상 표현이 더 자연스러워지며, 색역이 넓을수록 실제 색상에 가까운 영상 표현이 가능하기 때문에 더 높은 해상도, 높은 재생 빈도, 넓은 색역 등이 디스플레이의 필연적인 발전 방향이라고 할 수 있겠다. 그러나 기기 성능의 발전이 사용자가 느끼는 제품의 기능 향상의 정도와 늘 같지는 않기 때문에 기술의 고도화가 사용자의 만족감 및 시장의 호응에 비례하지 않을 수도 있다. 예를 들어 4K 해상도가 처음 등장했을 때와 비교해서 8K 해상도에 대한 시장의 반응이 뜨겁지 않았던 점도 이와 같은 이유였을 것이다. 이러한 어려움을 해결하기 위해 rollable, foldable 디스플레이와 같이 새로운 폼팩터(form factor) 개발과 제품 출시가 이루어지고 있지만, 이와 같은 제품들은 아직 고가이므로 보편적으로 사용되기에는 어려움이 있으며 장기적으로는 이 부분에 대한 시장 호응도도 처음과 같지 않을 것으로 예상할 수 있다. 실제로 새로운 폼팩터로 주목을 받았던 과거의 CES 대비 2020년 CES에서 선보인 디스플레이 제품들은 혁신보다는 제품의 완성도 향상에 집중했다는 평가를 많이 받은 것으로 보인다.

한편, LCD 공급과잉 및 시장 포화로 인한 디스플레이 시장 위축에 관한 기사가 지속적으로 나오는 가운데 최근 게이밍 모니터에 관해서는 희소식이 들려오고 있다. 게이밍 모니터는 이번 CES에서 혁신상을 수상하였으며 시장 전망도 매우 긍정적으로 예측되고 있다. 또한 게이밍 모니터 기술은 차세대 디스플레이 기술의 기반이 될 수 있기 때문에 기술적으로도 흥미로운 분야라고 할 수 있다. 기존의 디스플레이가 실제를 기반으로 한 각종 컨텐츠의 자연스러운 영상 표현을 목적으로 발전했다면, 최근에는 실시간으로 가상세계를 체험하고자 하는 욕구가 시장에 반영되기 시작했다. 이를 바탕으로 차세대 디스플레이 기술로 AR/VR(증강/가상 현실) 디스플레이가 대두되고 있는데 게이밍 모니터 기술은 AR/VR 디스플레이를 위한 기반 기술이라고 볼 수 있다. 이러한 게이밍 모니터의 핵심 구동 기술 중에 그래픽 카드 출력 특성을 고려한 VRR(Variable Refresh Rates) 이라는 기술이 있는데, 게이밍 모니터는 이 VRR 기술을 통해 기존 모니터 대비 게임 몰입감을 향상시키고 있다. VRR 기술은 모니터 뿐만 아니라 최근 출시되는 TV에도 탑재되고 있는 추세이다. 본 글에서는 VRR 기술에 대한 소개를 위해 기존 디스플레이 발전 방향과 VRR 기술 필요성 및 구동 원리에 대해 소개하고자 한다.

앞서 소개한 것과 같이 디스플레이는 보다 자연스러운 화질 구현을 위해 해상도, 재생 빈도, 색심도, 색영역, 밝기를 기준으로 발전해왔다. 먼저 해상도는 아이폰 4의 Retina 디스플레이가 등장하면서 경쟁이 더욱 치열해졌다고 볼 수 있다. 이전에도 해상도 경쟁은 있었지만 ‘Retina’ 라는 이름으로 인해 디스플레이 해상도에 대한 중요성이 대중화 되었다고 해도 과언이 아니다. 해상도는 이미지를 표현하는데 있어서 가장 작은 단위인 픽셀의 개수를 나타내는 값인데, 픽셀은 대개의 경우 색 표현을 위해 red, green, blue 이렇게 세 가지 subpixel로 이루어진다. 높은 해상도는 두 가지 의미를 가지는데, 먼저 같은 픽셀 크기를 유지하면서 해상도가 높아지면 디스플레이 크기가 그에 비례하여 증가하고 한 화면 내에 더 많은 정보를 담을 수 있게 된다는 것을 의미한다. 예를 들어 기존에 PC 작업을 할 때 한 화면에 1개의 창을 띄워 작업을 했다면 해상도가 2배로 증가한 디스플레이에서는 2개의 창을 띄워 작업을 할 수 있게 된다. 반면에 디스플레이의 크기를 유지하면서 해상도가 높아지면 픽셀의 크기가 그에 비례하여 작아지기 때문에 보다 섬세한 이미지 표현이 가능하다. 이 경우 인치 당 픽셀의 개수를 나타내는 PPI(Pixel Per Inch)로 표기하고 있다. PPI가 높을수록 화면과 가까운 거리에서도 사용자가 픽셀을 눈으로 구분하지 못하기 때문에 실제와 가까운 형태로 이미지를 재현할 수 있는 것이다.
그림 1. 동일한 화면 size를 유지하면서 해상도가 4배가 되었을 때의 이미지 표현 능력 예시
(a) 60Hz
(b) 120Hz
해상도 다음으로 중요시되는 스펙은 색심도(color depth)이다. 색심도는 이미지의 밝기를 표현할 수 있는 단계(level) 개수를 나타내는 수치로서, 8bit의 경우 R, G, B 각각 256개 level로 밝기를 표현할 수가 있고 10bit의 경우 R, G, B 각각 1024개의 level로 밝기를 표현할 수 있다. 즉, 색심도가 높아질수록 자연스러운 음영표현이 가능해진다. 그리고 색영역은 얼마나 다양한 색상을 표현할 수 있는지를 나타내는 지표로, 최근 OLED 또는 QD 디스플레이가 주목 받는 이유 중 하나라고 할 수 있다.

마지막으로 화면 재생 빈도는 동영상 표현과 밀접한 관련이 있다. 동영상 표현에서는 움직임이 끊겨 보이거나 부자연스럽게 보이는 현상(judder), 혹은 끌려 보이는 현상(motion blur)이 문제가 된다. 일정한 속도로 이동하는 물체를 예로 들면, 동일한 거리를 이동하는 모습을 표현할 수 있는 영상의 개수가 적을수록 화면이 끊겨 보이고 표현할 수 있는 영상의 개수가 많을수록 화면이 자연스러워 보인다. 이는 낮은 재생 빈도 보다는 높은 재생 빈도가 유리하다는 것을 뜻한다. 끌림 현상의 주원인은 픽셀의 응답속도, 눈의 잔상 특성 그리고 움직이는 물체에 시선을 고정하여 시청하게 되는 특성으로 나누어 생각할 수 있다. 픽셀의 응답이 늦으면 이전 영상에서 다음 영상으로의 전환이 한 프레임 시간 내에 이루어지지 않고, 이로 인해 움직이는 물체가 끌린 것과 같은 영상을 보게 된다. 디스플레이는 전압을 입력하여 액정 혹은 발광 소자를 통해 광학적인 신호를 출력하는 원리로 동작을 하는데, 액정의 경우 전기적 신호를 광학적 신호로 변환하는 과정에서 액정의 느린 응답속도 때문에 끌림 현상이 유발될 수 있다. 반면, OLED와 같은 발광 소자는 응답속도가 매우 빠르기 때문에 이전 프레임에서 다음 프레임으로의 이미지 전환이 거의 완벽하다. 그러나 이 경우에서도 끌림 현상은 여전히 관찰 된다. 그 이유는 이전 영상 이미지가 사람 눈에 잔상으로 남아있기 때문이다. 디스플레이 상에서는 영상이 이미 사라졌더라도, 사람 눈에는 여전히 남아있는 것이다. LCD 및 OLED는 이미지를 한 프레임 동안 지속적으로 표시하기 때문에, CRT 및 PDP와 같이 이미지가 순간적으로 표시되는 impulse 타입의 디스플레이보다 눈에 잔상이 더 심하게 남게 된다. 즉, 한 화면을 보는 시간이 감소하면 이로 인한 잔상은 감소하는데, 2000년도 후반에 등장한 120Hz TV는 이를 이용하여 끌림 현상을 보상하는 위한 기술로 60Hz 방송 수신 영상을 디스플레이 내에서 120Hz로 변환하여 우리 눈에 잔상이 남는 시간을 최소화했다. 이 경우에서도 역시 낮은 재생 빈도보다는 높은 재생 빈도가 동영상 표현에 더 유리함을 알 수 있다. 하지만 재생 빈도가 높더라도 영상의 초당 프레임 수와의 호환이 적절히 이루어지지 않으면 물체의 이동이 부자연스러워 보인다. TV로 영화를 시청하는 경우를 예로 들면, 대부분의 영화 영상은 초당 24개의 프레임 이미지를 보내지만, TV의 재생 빈도가 60Hz이기 때문에 그림 3과 같이 동일한 이미지를 3장 혹은 2장씩 반복함으로써 24Hz 영상을 60Hz로 변환한다(2:3 pull-down). 그렇기 때문에 이 과정에서 움직임이 부자연스러워지고 끊기는 현상이 관찰되는 것이다. 우리가 24fps 영상 소스를 TV에 바로 입력한 경우, TV가 프레임 주파수를 감지하고 해당 영상을 24Hz로 출력한다면 부자연스러운 움직임은 해결할 수 있다. 그러나 60Hz 규격의 방송에서 송신하는 영화는 이미 60Hz로 변환된 영상이기 때문에 부자연스러운 움직임으로 변환된 영상이 그대로 TV에 수신된다. 이 경우 프레임 주파수 감지를 통한 보상은 불가능하고 프레임이 반복되는 주기를 감지해서 영화인지 아닌지를 판단한 후 영상을 출력해야만 자연스러운 동영상 감상이 가능하다. 이러한 보상은 일부 TV에 이미 탑재되어 있다. 자연스러운 동영상 표현을 위해서는 디스플레이 재생 빈도를 높이되, 입력되는 영상의 프레임 주파수와의 호환을 고려해야 한다는 것을 알 수 있다.
그림 3. 24 프레임 주파수(frame per second)인 입력 영상을 60Hz 용 영상으로 변환
VRR은 이렇게 입력되는 영상과의 호환성을 위해 등장한 기술로, 재생 빈도를 빠르게도 하고 동시에 입력되는 영상에 맞추어 영상 업데이트를 지연시키기도 하는 기술이다. 이러한 VRR이 게이밍 모니터에 필요한 이유를 이해하기 위해서는 게임 환경과 일반적인 컨텐츠 감상 환경과의 차이를 파악해야 하며, 이를 위해 그래픽 카드의 출력 특성 및 디스플레이의 이미지 업데이트 방법에 대해서도 살펴볼 필요가 있다. 그래픽 카드는 복잡한 3D 이미지를 렌더링하여 디스플레이 기기에 보내주게 되는데, 영상이 출력되는 주기가 일정하지가 않다. 복잡한 이미지는 시간이 더 많이 소요되고 간단한 이미지는 빠르게 출력이 가능하다. 앞서 이야기 한 영화에서와 마찬가지로 불규칙적인 입력 영상 주기와 주기적으로 업데이트 되는 디스플레이 기기 간에는 화질 문제가 나타날 수밖에 없다. 기존의 게임 출력시스템에서는 기본적으로 한 장의 프레임 이미지를 담을 수 있는 메모리가 존재한다. 그래픽 카드는 새로운 프레임 이미지의 렌더링이 완료 되는대로 메모리에 이미지를 업데이트 하고 디스플레이는 프레임 메모리에 저장된 데이터를 순차적으로 읽으면서 업데이트 한다. 이런 구조에서는 디스플레이가 새로운 영상을 업데이트 할 때 메모리에 새로운 영상이 저장되어 있지 않으면 이전 영상이 그대로 화면에 출력이 된다. 반면에 영상을 화면에 재생하고 있는 중간에 메모리에 새로운 영상이 업데이트 되면 화면의 위 블록은 이전 영상, 아래 블록은 현재 영상이 출력되면서 한 화면에 이전 프레임과 새로운 프레임이 공존하게 되는데 이 때 화면 tearing 문제가 발생한다.
(a) 입력 영상의 프레임 주파수와 디스플레이 재생 빈도가 같을 때
(b) 입력 영상의 입력 주기와 디스플레이 재생 빈도가 같지 않을 때
그림 4. 입력 영상의 프레임 주파수에 따른 디스플레이 표시 영상 예시
V이를 해결하기 위해 수직동기화(V-SYNC: vertical synchronization) 방식이 적용되었다. 이는 디스플레이가 이전 영상을 반복하고 있는 동안에는 그래픽 카드로부터 새롭게 출력된 영상이 디스플레이에 업데이트되지 않도록 하는 기술이다. 이 방식은 그림 5와 같이 새로운 프레임을 바로 디스플레이에 전달하지 않고 디스플레이가 이전 프레임을 화면에 모두 업데이트할 때까지 기다려 주기 때문에 이전 프레임과 현재 프레임이 한 화면에 공존하면서 tearing을 야기했던 문제는 해결할 수 있다. 하지만 동시에, 새로운 화면이 바로 업데이트 되지 않고 기다리는 과정에서 영상에 부자연스러운 움직임(stutter)이 관찰되거나, 사용자 혹은 게임상에서 벌어지는 일이 바로 화면에 적용되지 않는 입력지연(input lag) 현상이 발생하게 된다. 기존 영화를 시청하던 환경과 게임 환경의 큰 차이점 중 하나는, 게임은 실시간으로 빠르게 반응하는 것이 매우 중요하기 때문에 그래픽 카드와 디스플레이 사이의 미세한 지연이 게임의 몰입감 뿐만 아니라 게이머의 반응속도를 저해하는 치명적인 문제를 발생시킨다.
그림 5. 수직 동기화 (VSYNC) 구동 모식도
VRR는 앞서 설명한 모든 문제를 해결하기 위해 등장한 구동 방식이다. 이 방식은 디스플레이의 화면을 그래픽카드와 동일하게 불규칙적으로 재생하여 프레임 주파수와 디스플레이 재생 빈도 간 불일치 문제를 극복하면서도 다음 영상이 그래픽카드로부터 준비되자 마자 디스플레이에 업데이트를 시작하는 방식을 취하기 때문에 tearing은 물론 stuttering 및 작은 입력지연까지 제공할 수 있다. 이 때 디스플레이의 재생 주파수는 일반적으로 144Hz에서 48Hz까지 가변이 가능하다. 한 가지 주목할 점은 재생 주파수가 변하더라도 한 프레임을 업데이트 하는 시간은 동일하다는 것이다. 일반적으로 디스플레이 구동에서는 재생 빈도가 60Hz로 정해지면 1초에 60번 영상을 업데이트 해야 하기 때문에 1/(60 Hz) = 16.67 ms 동안 한 프레임의 업데이트를 마쳐야 한다. 또한 디스플레이 내의 모든 픽셀에 새로운 데이터가 동시에 업데이트되는 것이 아니라 한 줄씩 순차적으로 업데이트가 되며, 업데이트를 마친 후에는 다음 프레임 데이터를 준비하기 위한 구동부의 준비 시간 (Vertical Blank)이 요구 된다. 즉, 가로 × 세로 해상도가 m × n인 디스플레이를 업데이트하기 위해서는 1 / [60 Hz × (n +vertical blank line)] = 1H 에 해당하는 시간 동안 한 줄씩 새로운 데이터를 업데이트해 나가야 한다. 1H 값은 디스플레이 해상도나 재생 빈도가 높아질수록 짧아지는 것을 알 수 있다. 일반적인 144Hz 재생 빈도의 1H 시간은, 1 / [144 Hz × (n +vertical blank line)] 이고 48Hz 재생 빈도의 1H 시간은 1 / [48 Hz × (n +vertical blank line)]로 48 Hz 구동에서의 1H가 3배로 늘어난다. 그러나 VRR 구동에서는 48 Hz 구동에서도 1H 시간은 144 Hz의 1H로 유지가 되고 프레임 주기를 유기하기 위한 나머지 시간은 vertical blank 시간이 채우게 된다. 즉, 화면 업데이트는 144 Hz와 동일한 시간 내에 완료하고, 다음 영상이 그래픽카드로부터 입력이 될 때까지 기다리는 것이다. 디스플레이 입장에서는 그래픽카드에서 렌더링을 완료하는 데까지 걸리는 시간을 알 수 없기 때문에 최대한 빨리 새로운 화면을 업데이트하고 다음 프레임 업데이트를 준비하는 것이다. VRR은 해당 기술을 주도하는 그래픽카드 제조사별로 다른 이름으로 불리우는데 NVIDIA에서는 G-SYNC, AMD에서는 FreeSync로 불리운다. 구동 시스템과 세부 기술의 차이는 존재하지만 구동 원리는 동일하다.
그림 6. 게이밍용 모니터 구동 모식도
그림 6. Tearing과 stuttering 현상 예시 (참조: https://www.lge.co.kr)
게이밍 모니터 시장은 기존 TV 모바일 기기와 같은 디스플레이 시장보다 규모는 작게 시작했지만 디스플레이 시장이 포화되는 상황에서도 더 우수한 몰입감을 위한 끊임없는 욕구로 인해 지속적으로 성장하고 있다. 기존 디스플레이 기술이 실제를 기반으로 한 영상의 몰입감을 높이는 것에 집중되어 왔지만 게이밍 모니터가 주목을 받는 것을 보면 이제는 가상 세계에 대한 몰입감을 높이고 싶은 욕구가 더욱 커지고 있다고 보여진다. 또한 모니터 뿐만 아니라 TV 및 모바일 제품으로도 게이밍 모드가 확장 적용되고 있는 것을 보면 게이머 뿐만이 아니라 일반 사용자에게까지 이러한 트렌드가 확장되고 있다고 볼 수 있다. 최근 디스플레이 시장 전망에 대한 부정적인 시선이 많지만, 이는 기존에 우리 일상에서 주를 이루었던 TV 및 업무용 모니터로 평가되어 왔다. 게이밍 모니터에 대한 관심은 가상 세계를 중심으로 한 디스플레이 시장에 희망을 가져볼 수 있는 현상이라고 생각된다. 최근 몇 년간 AR/VR이 대두되고 있고 있으며, 이에 대한 시장의 욕구를 충족시키기 위해서는 디스플레이가 기기와 사용자 간 상호작용을 높이기 위해 지금의 기술적 한계를 뛰어넘는 새로운 기술의 개발과 지속적인 혁신을 이루어 나가야 할 것이다. 그런 의미에서 디스플레이 분야의 선두주자인 대한민국의 엔지니어들이 차별화된 기술력과 제품을 세계 시장에 선보일 기회는 앞으로도 많이 남아 있을 것으로 기대된다.