MPEG-4 Visual (2)

1. 임의 형상 영역 부호화의 기본 개념

 

임의 형상 부호화 기법은 직사각형 형태의 일반적 비디오 프레임과는 달리 비디오 객체의 형태가 일정하지 않다.

그러나 부호화 방법은 기본적으로 매크로 블록 단위의 부호화를 하므로, 임의 형상의 객체를 적절히 표현하는 방법이 필요하다. 본 절에서는 임의 형상 영역 비디오 객체에 대한 기본적인 개념과 임의 형상 영역 부호화를 포함하는 프로파일에 대하여 살펴본다.

 

□ MPEG-4 Visual에서는 일반적인 비디오 화면에 해당되는 직사각형 프레임의 부호화뿐만 아니라 임의 형상을 갖는 비디오 객체를 부호화할 수 있는 도구를 제공한다.

 

□ 임의 형상 비디오 신호의 생성 방법

     ▷ 임의 형상 비디오 신호를 어떻게 생성할 것인가에 대해서 MPEG-4에서 규정하고 있는 사항은 없다. 사용자는 스스로 필요한 객체의 생성 방법을 결정할 수 있으며, 다음은 몇 가지 생성 방법의 예이다.

            ① 크로마 키 분리 방법 : 배경을 특정한 균일 색(보통 청색이나 녹색)으로 하여 대상을 촬영한 다음, 후처리 과정에서 배경색 영역을 분리해낸다. 촬영 대상이 배경색과 같은 색을 포함하지 않아야 한다.

            ② 인공적으로 생성된 객체 : 컴퓨터그래픽과 같이 인위적으로 만든 객체의 경우에는 생성 과정에서 객체 영역을 구분해 낼 수 있다.

            ③ 자연 영상의 분할 : 카메라로 촬영한 장면 내에서 대상 객체를 분리한다. 윤곽 검출을 위한 영상처리 기술을 이용한다.

 

□ 임의 형상 비디오 객체를 부호화하기 위해서는 블록 기반 VLBV core 코덱에 여러 가지 확장된 도구가 더해져야 한다. [그림1]은 임의 형상 영역 부호화와 관련된 프로파일들에 포함되는 도구들을 보여주고 있다.

      ▷ Core 프로파일은 형상 정보를 이진 값으로 표현(Binary Shape)하는 기본적인 임의 형상 비디오 객체 부호화 도구를 제공한다.

      ▷ Main 및 Advanced Coding Efficiency 프로파일에서는 반투명 정보를 포함하는 형상 정보 표현(Gray Shape) 기능을 포함한다.

□ 각각의 VOP는 움직임 보상 예측이 이루어지고, 오차 신호에 대해 DCT 기반 부호화가 이루어 지는데, VOP가 더 이상 직사각형이 아니므로 객체의 형상과 블록의 경계에 객체가 걸침에 따라 발생하는 문제에 대해 다음과 같은 고려가 이루어져야 한다.

      ① 형상 부호화(Shape Coding)

      ▷ 임의 형상 부호화를 위한 비디오 객체는 픽셀 값에 대한 정보(휘도 및 색도 신호)와 함께 형상을 나타내는 정보, 그리고 투명도를 나타내는 정보로 표현된다. Core 프로파일에서는 픽셀 값 정보와 이진 형상 정보를 포함하며, Main 프로파일에서는 이에 더하여 투명도 정보가 포함된다.

      ▷ 비디오 화면 영역에서 객체의 형상을 나타내기 위해 알파 블록(alpha block)이라는 16×16 블록들로 화면 영역을 구분한다.

      ▷ 각각의 알파 블록은 VO의 완전한 바깥에 해당될 수도 있고, VO의 안에 완전히 포함될 수도 있으며, 때로는 VO의 경계에 걸쳐 있을 수도 있다.

            ¤ 완전한 바깥인 경우 : 해당 매크로 블록은 부호화를 할 필요가 없다.

            ¤ 완전히 안에 포함되는 경우 : Simple 프로파일과 마찬가지로 부호화 된다.

            ¤ 경계에 걸쳐 있는 경우 : 형상 정보를 활용한 부호화가 필요하다.

      ▷ 형상 정보는 투명도(transparency)를 나타내는 개념을 이용한다. 투명한 픽셀은 VOP에 포함되지 않는 영역이고, 불투명한 픽셀은 VOP에 포함되는 영역으로 배경 영역을 무시한다. 반투명 픽셀은 VOP의 일부분이나, 투명도에 따라 배경에 해당되는 다른 VOP와 픽셀 값이 혼합된다.

      ▷ 형상 정보의 표현

            ¤ Core 프로파일의 경우 투명도가 투명/불투명으로만 구분되는 이진 형상 정보(투명은 0, 불투명은 1)를 포함하며, Main 프로파일에서는 이에 더하여 그레이스케일의 투명도 정보(투명은 0, 불투명은 255, 반투명의 경우 1~254범위의 값)가 포함된다.

            ¤ 경계 매크로 블록에서 이진 형상 정보는 산술부호화를 사용하여 이진 알파 블록(binary alpha block, BAB)으로 부호화 되며, 그레이스케일 형상 정보는 움직임 보상과 DCT 기반 부호화를 한다.

 

      ② 움직임 보상

      ▷ 각 VOP는 P-VOP 또는 B-VOP로 부호화 되는 경우 움직임 보상이 포함된다.

      ▷ 이때 경계 매크로 블록과 같이 부투명한 픽셀과 투명 픽셀이 혼합되어 있는 경우 투명 픽셀과의 경계에 해당되는 불투명 픽셀들로 패팅(채워 넣음)한 후 움직임을 추정한다.

 

      ③ 텍스처 부호화(Texture coding)

      ▷ 형상 내부에 해당되는 블록의 움직임 보상 오차 블록은 8×8 DCT, 양자화, 그리고 가변길이 부호화를 통해 부호화된다.

      ▷ 경계 블록에서는 불투명 픽셀들을 투명 픽셀들에 패딩한 다음 DCT를 수행한다.

 

□ 임의 형상 부호화 영역

      ▷ VOP는 객체를 둘러싸는 경계 상자의 위치 및 크기로 영역을 표현한다.

      ▷ 객체를 빈 틈 없이 둘러싸는 경계상자를 포함하는 경계상자를 설정한다. 경계상자는 휘도신호에 비해 공간 해상도가 1/2인 색도신호가 왜곡되지 않도록 하기 위해, 좌 상단 모서리 좌표 (h_ref, v_ref)가 짝수 좌표가 되도록 적절한 위치를 결정하며, 크기는 16×16 매크로 블록 크기의 정수배가 되도록 한다.

      ▷ VOP의 디스플레이는 경계상자의 좌 상단부터 width×height 크기의 내부 영역만을 표시하도록 한다.

---

2. Core 프로파일

 

Core 프로파일은 임의 형상 부호화를 하는 기본적인 프로파일이다. 여기에서는 Core 프로파일 코덱에서 어떻게 형상 정보를 표현하고, 이에 따른 영상 정보를 어떻게 부호화할 수 있는가에 대하여 논의한다.

 

□ Core 프로파일 코덱은 Simple 비디오 객체와 함께 Core 비디오 객체를 부호화 및 복호화 할수 있어야 한다. Core VO가 Simple 프로파일의 도구에 더하여 사용할 수 있는 도구는 다음과 같다.

① B-VOP : 양방향 예측을 통하여 움직임 보상 효율을 향상시킨다.

② 제2의 양자화기(alternate quantizer) : Intra DC 이외의 계수들을 역 양자화하는 다른 방법을 제공한다.

③ 임의 형상 객체기반 부호화 : 2진 형상 정보를 통해 지정된 임의 형상 비디오 객체를 부호화 및 복호화 하는 도구

④ P-VOP temporal scalability : 낮은 프레임율을 갖는 Base 레이어와 P-VOP만을 포함하는 Temporal enhancement 레이어를 이용하여 시간적 스케일러빌리티를 제공한다.

 

□ 이 중 Core에서 가장 핵심적인 기능은 임의 형상 VO의 부호화이며, 여기에서는 이에 대하여 논의한다.

 

2.1 이진 형상 부호화

□ Core 프로파일의 경우 형상 정보 표현을 위해서는 각각의 매크로 블록에 대해 VO의 투명도를 나타내는 이진 알파 블록(binary alpha block, BVB)을 사용한다. - [그림3]

□ 각 매크로 블록에 대해 bab_type 이라는 코드가 전송되는데, 이에는 다음의 세 유형이 있다.

      ① 투명 블록 : 현재 VOP의 일부분이 아니며, 따라서 부호화 할 필요가 없다.

      ② 불투명 블록 : 현재 VOP 내부에 완전히 포함된 블록이므로, 움직임과 텍스처가 부호화된다.

      ③ 경계 블록 : 일부분은 투명하고 나머지는 불투명하다.

□ 경계 매크로 블록 BAB의 부호화

      ▷ 경계 매크로 블록은 투명 및 불투명 픽셀들이 섞여 있으므로, BAB를 부호화해야 한다.

      ▷ BAB는 컨텍스트 기반 이진 산술 부호화(CAE, Context-based binary Arithmetic Encoding)를 한다.

            ¤ 임의의 픽셀에 대해 컨텍스트(미리 정해 놓은 위치에 있는 n개의 주변 픽셀들의 이진 알파값)를 구한다.

            ¤ 컨텍스트에 따라 그 픽셀이 투명할 확률 P(0)를 정의해 놓은 표를 사용하여 산술 부호화를 한다. 해당 픽셀의 알파가 0인 경우의 확률구간은 [0, P(0))이고, 1인 경우의 확률 구간은 [P(0), 1.0)이 된다.

      ▷ 컨텍스를 구하기 위한 주변 픽셀의 위치는 화면 내(인트라) 부호화를 하는가, 화면 간(인터) 부호화를 하는가에 따라 다르다.

 

(1) 인트라 BAB의 부호화

□ 현재 마스크 픽셀 X에 대한 컨텍스트 템플릿은 [그림5]와 같다.

      ▷ c0~c9은 픽셀 X에 공간적으로 인접한 10개의 픽셀 위치에 대한 이진 알파 비트의 값이다.

이를 순서대로 나열한 10비트의 값 c9c8c7c6c5c4c3c2c1c0가 픽셀 X에 대한 컨텍스트이다.

      ▷ 그러므로 컨텍스트 값의 범위는 0 ~ 2 -1 = 0 ~ 1,023 이다.

      ▷ MPEG-4 Visual 표준안에는 이 1,024개의 컨텍스트에 대해 대상 픽셀의 이진 알파 비트가 0일 확률과 연관된 값이 표로 제공되어 있다. 이 값은 65,535보다 작은 양의 정수이며, 실제 확률 P(0)는 이를 65535로 나눈 값이다.

      ▷ 현재 마스크 픽셀 X의 값이 0인 경우의 확률 구간은 [0, P(0))이며, 1인 경우의 확률 구산은 [P(0), 1)이다.

□ 컨텍스트 템플릿에 따른 확률 구간 결정 과정의 예

      ▷ A 지점 : 컨텍스트가 ‘0000000000’이며, A의 이진 알파 값이 0(투명)이므로, 이에 대한 확률 구간은 [0, 65267/65535)이다.

      ▷ B 지점 : 컨텍스트가 ‘0000000001’이며, B의 이진 알파 값이 1(불투명)이므로, 이에 대한 확률 구간은 [16468/65535, 1)이다.

      ▷ C 지점 : 컨텍스트가 ‘1111111111’이며, C의 이진 알파 값이 1(불투명)이므로, 이에 대한 확률 구간은 [235/65535, 1)이다.

□ 이와 같이 구한 확률 구간을 이용하여 BAB의 내용을 산술 부호화를 한다. 이를 컨텍스트 기반 이진 산술 부호화(CAE, Context-based binary Arithmetic Encoding)라고 부르고 있다.

 

(2) 인터 BAB의 부호화

□ 현재 마스크 픽셀 X에 대한 컨텍스트 템플릿은 [그림7]와 같다.

      ▷ c0~c3은 현재 VOP의 픽셀 X에 공간적으로 인접한 4개의 픽셀 위치에 대한 이진 알파 비트의 값이고, c4~c8은 움직임 보상의 기준이 된 참조 VOP에서 움직임 보상된 X의 위치가 c6에 대응된 위치의 이진 알파 비트이다. 이를 순서대로 나열한 9비트의 값 c8c7c6c5c4c3c2c1c0가 픽셀 X에 대한 컨텍스트이다.

      ▷ 그러므로 컨텍스트 값의 범위는 0 ~ 29-1 = 0 ~ 511 이다.

      ▷ MPEG-4 Visual 표준안에는 이 512개의 컨텍스트에 대해 대상 픽셀의 이진 알파 비트가 0일 확률과 연관된 값이 표로 제공되어 있다.

2.2 임의 형상 VOP의 움직임 보상 부호화

□ P-VOP 또는 B-VOP는 움직임 보상을 통해 참조 I-VOP 또는 P-VOP로부터 예측된다. 이때 불투명 영역의 바깥쪽으로 확장된 참조 영역을 가리킬 수 있다. - [그림8]

      ▷ MB1 : 불투명 매크로 블록이지만, 참조 VOP 내의 참조 영역은 경계 영역을 포함한다.

      ▷ MB2 : 경계 매크로 블록으로, 참조 VOP 내의 참조 영역은 투명 픽셀을 포함하는 경계 매크로 블록들의 영역에 걸쳐 있다.

      ▷ MB3 : 참조 VOP 내의 참조 영역은 투명 매크로 블록의 영역에 걸쳐 있다.

            → 값이 정의되지 않은 투명 영역의 픽셀들은 주변의 불투명 픽셀들의 값을 채워 넣는다.

 

(1) 경계 매크로 블록의 투명 픽셀 채우기(padding)

□ 참조 VOP 내의 각각의 경계 매크로 블록들은 투명 픽셀들을 수평 및 수직 방향으로 주변 불투명 픽셀들의 값으로 채운다.

      ① 수평 방향 채우기

      ▷ 투명 픽셀은 그 경계 매크로 블록 내에 있는 인접한 불투명 픽셀을 행 방향으로 복사한다.

      ▷ 경계 매크로 블록 내에서 연속한 수평 투명 픽셀 영역의 좌/우에 모두 불투명 픽셀이 있다면 이들의 평균으로 채운다.

      ② 수직 방향 채우기

      ▷ 수평 방향 채우기를 마치면 투명 픽셀만으로 구성된 행만 남는다.

      ▷ 남은 투명 픽셀은 상/하의 인접 불투명 픽셀들의 값으로 채운다.

      ▷ 경계 매크로 블록 내에서 연속한 수직 투명 픽셀 영역의 상/하에 모두 불투명 픽셀이 있다면 이들의 평균으로 채운다.

 

(2) 투명한 매크로 블록 채우기

□ 완전히 투명한 매크로 블록도 일부분이 움직임 보상된 참조 영역이 될 수 있으므로, 이 영역의 픽셀 값을 인접 불투명 또는 경계 매크로 블록으로부터 값을 복사하여 채우게 된다.

      ▷ [그림10] : 투명 매크로 블록의 우측에 접해 있는 매크로 블록의 픽셀을 해당 행에 복사한다.

□ 불투명 매크로 블록 및 패딩된 경계 매크로 블록은 움직임 보상 예측 부호화(P-VOP 및 B-VOP), 8×8 DCT, 양자화, last-run-level 부호화 및 엔트로피 부호기를 통해 부호화 된다.

---

3. Main 프로파일

 

Main 프로파일의 주요 특징은 그레이 형상의 객체 기반 부호화와 스프라이트 부호화를 포함한다는 것이다. 여기에서는 그레이 형상을 표현하기 위한 정보가 어떻게 표현될 수 있는가에 대하여 살펴본다. 또한 스프라이트 부호화를 통하여 얻을 수 있는 효과는 무엇이고, 이를 통해 영상을 구성하는 방법에 대하여 논한다.

 

3.1 Main 프로파일에 포함되는 도구

□ Main 프로파일은 Simple 객체, Core 객체, Scalable 텍스처 객체 및 Main 객체를 지원해야 한다. Main 객체에는 Core 객체를 위한 도구 집합에 다음과 같은 도구가 추가된다.

      ▷ 비월주사(interlace)

      ▷ 그레이(‘알파 평면, alpha plane’) 형상의 객체 기반 부호화

            ¤ Core 프로파일에서는 객체의 형상 영역을 ‘투명’과 ‘불투명’의 두 종류로 구분하였으나, main 프로파일에서는 객체의 형상 영역을 나타내는 이진 정보와 함께 형상 영역 내에서 투명도를 표현할 수 있는 정보가 포함된다.

      ▷ 스프라이트 부호화

            ¤ 배경 객체의 효율적인 부호화를 위한 도구

            ¤ 영상 배경의 변화는 주로 카메라의 움직임(패닝, 주밍 등)에 의해 발생한다는 점에 착안하여, 배경 영역의 비디오 데이터 전송량을 줄일 수 있는 방법을 제공한다.

 

3.2 그레이 형상 부호화

□ 이진 형상 정보는 객체의 형상 영역을 완벽하게 표현하지 못할 경우 합성 영상이 매끄러운 경계를 보이지 못하는 문제가 발생한다. 특히 객체 영역의 분리를 자동 또는 반자동으로 수행하는 경우 이러한 문제가 발생하기 쉽다.

 

□ 그레이 형상 부호화는 객체의 투명도를 보다 유연성 있게 조절할 수 있게 함으로써, 합성 영상의 시각적 품질을 개선한다.

 

□ 그레이 스케일 알파 평면(gray-scale alpha plane)은 각 픽셀 위치에 대해 0부터 255 사이의 알파 값을 나타내는데, 0은 완전 투명, 255는 완전 불투명이며, 이 사이의 값은 크기에 따라 투명한 정도를 나타내게 된다.

 

□ [그림11] : 이진 알파 블록을 사용하는 경우와 그레이 알파 블록을 사용하는 경우의 경계 매크로 블록의 모습을 보여주고 있다. 그레이 알파 블록을 사용하는 경우 객체의 가장자리가 배경과 섞여 자연스러운 경계를 형성하는 것을 볼 수 있다.

 

□ [그림12] : 임의 형상 객체를 이진 알파 블록과 그레이 알파 블록을 사용하여 배경 화면에 합성한 결과

      ▷ 이진 알파 객체의 경우 경계 부근에서 불연속적인 왜곡 현상이 발견된다.

      ▷ 그레이 알파 객체는 배경과 자연스러운 경계를 형성하며 혼합되는 것을 볼 수 있다.

□ 그레이 형상 부호화에서의 형상 정보 표현 : 이진 지원 마스크와 그레이 스케일 알파 평면

      ① 이진 지원 마스크(binary support mask)

      ▷ 어떤 픽셀이 완전 투명 픽셀이고, 어떤 픽셀이 완전히 투명하지 않은 픽셀(반투명 또는 불투명)인가를 나타낸다. (투명이면 0, 그렇지 않으면 1)

      ▷ BAB와 동일한 방법으로 부호화된다.

            ¤ 무손실 부호화이므로 복호기 측에서 원래의 이진 지원 마스크를 복원할 수 있다.

      ② 그레이 스케일 알파 평면

     ▷ 8×8 블록 단위로 부호화 된다.

      ▷ 부호화 방법은 객체 텍스처와 동일한 방법으로 부호화된다.

            ¤ 8×8 DCT, 양자화 및 순서 재배치, run-level 부호화, 엔트로피 부호화

            ¤ 손실 부호화이므로 복호기에서 복원한 그레이 스케일 알파 평면은 원본과 동일하지 않을 수 있다.

 

3.3 정적인 스프라이트 부호화

□ 스프라이트(sprite)란 화면 디스플레이에서 배경과 같이 반복 이용되는 그림을 등록하고, 그 그림에 다른 그림을 겹쳐서 합성시키는 기능을 의미한다.

 

□ 특히 화면의 변화 중에서 배경은 거의 변화하지 않고, 배경의 변화는 경우는 주로 카메라의 팬/틸트, 회전, 줌 등의 동작이 일어나는 점에 착안한다. 따라서 한 번 배경 화면을 부호화하여 전송하고 나면, 이후 화면에서는 배경에 대해서는 간단한 기하변환에 대한 정보만 전달하여 변화된 화면을 복호기 측에서 만들어낼 수 있게 함으로써 부호의 양을 크게 줄일 수 있다.

 

□ 이러한 기능은 특히 게임이나 인터넷 응용에서 대화형 그래픽 디스플레이를 실현하는데 유용하게 활용될 수 있다.

□ [그림13] : 비디오 영상 중 3개의 프레임에서 카메라가 고정되어 있어 배경은 변화하지 않는다. 이 경우 배경은 정적인 스프라이트로 부호화될 수 있다.

 

□ 일반적으로 스프라이트는 화면의 가시 영역보다 훨씬 크며, 그 안에서 화면의 시점과 가시 영역을 설정한다. 이를 나타내기 위해 카메라의 상하/좌우 이동 및 회전, 줌 등의 변화를 보상하기 위한 기하변환 정보를 부호화 한다.

□ 정적 스프라이트 부호화의 사용 - [그림15]

      ▷ VOL(Video Object Layer) 헤더에서 sprite_enable 신호를 ‘static’으로 설정한다.

      ▷ 정적 스프라이트 VOL의 첫 번째 VOP는 I-VOP가 전송되어 스프라이트 버퍼에 스프라이트를 형성한다.

      ▷ 이후 동영상의 각 프레임에 해당되는 VOP 비트스트림에는 S-VOP(Static Sprite VOP)가 나온다. 여기에는 기하변환 벡터가 포함되어, 스프라이트의 지정 영역을 기하변환을 통해 디스플레이 할 VOP를 만든다. 적은 양의 데이터로 화면을 만들 수 있으므로 부호화 효율이 매우 높다.

      ▷ 저 지연 스프라이트 방식의 경우는 S-VOP에 스프라이트의 일부분을 추가하는 데이터를 함할 수 있다. (그림의 점선 부분)

 

□ 스프라이트를 전송하고 조작하는 방식에는 기본 스프라이트와 저 지연 스프라이트가 있다.

 

(1) 기본 스프라이트 (Basic sprite)

□ 첫 번째 VOP(I-VOP)는 전체 스프라이트를 포함한다. 영상에 따른 카메라의 움직임을 수용할 수 있도록 하기 위해 스프라이트는 가시화면 크기보다 클 수 있다.

 

□ 이후에는 S-VOP가 전송된다. S-VOP에는 최대 4개의 변환 파라미터를 포함하며, 이에 따라 스프라이트 버퍼 내의 영역으로부터 기하변환을 통해 S-VOP 화면을 재구성한다.

 

□ VOL 시작 시점에서 전체 스프라이트를 전송하므로 큰 전송 지연이 발생할 수 있다.

 

□ [그림16] : 기본 스프라이트 방식에 의한 부호화 개념

 

(2) 저 지연 스프라이트

□ 기본 스프라이트 방식에서 초기 지연시간이 길다는 문제점을 보완하는 방식이다.

 

□ 처음에는 최소 사이즈 그리고/또는 저 화질의 스프라이트를 먼저 보낸다.

 

□ 이어지는 S-VOP에는 기본 스프라이트에서와 같은 변환 파라미터와 더불어 하나 또는 그 이상의 스프라이트 조각을 포함할 수 있다. 스프라이트 조각은

      ① 이전에 전송하지 않은 스프라이트의 일부분이거나,

      ② 이전에 전송된 스프라이트의 일부분의 화질을 개선하는 데 사용되는 매크로 블록 데이터를 포함한다.

---

정리하기

 

1. 요약정리

□ 임의 형상 부호화의 기본 개념

▷ Core 프로파일은 형상 정보를 이진 값으로 표현하는 기본적인 임의 형상 비디오 객체 부호화 도구를 제공한다.

▷ Main 및 Advanced Coding Efficiency 프로파일에서는 반투명 정보를 포함하는 형상 정보 표현 기능을 포함한다.

▷ 임의 형상 부호화를 위한 비디오 객체는 픽셀 값에 대한 정보(휘도 및 색도 신호)와 함께 형상을 나타내는 정보, 그리고 투명도를 나타내는 정보로 표현된다.

▷ 형상 영역의 완전히 바깥에 있는 매크로 블록은 부호화를 할 필요가 없고, 완전한 내부 영역이나 경계 영역을 부호화 한다.

▷ 임의 형상 부호화 영역은 객체를 둘러싸는 경계상자의 위치 및 크기로 표현한다.

 

□ Core 프로파일

▷ Simple 프로파일의 도구와 더불어 B-VOP, 제2의 양자화기, 이진 형상정보를 통해 지정된 임의 형상 객체기반 부호화, P-VOP temporal scalability 도구를 제공한다.

▷ 이진 형상정보 표현을 위해 각각의 매크로 블록에 대해 이진 알파 블록(BAB)을 사용한다.

▷ 각 매크로 블록은 투명 블록, 불투명 블록, 경계 블록으로 구분하며, 투명 블록은 VOP의 일부분이 아니므로 부호화하지 않는다.

▷ 경계 블록은 컨텍스트 기반 이진 산술 부호화(CAE)에 의해 BAB를 무손실 부호화한다.

▷ 움직임 부호화를 할 경우 참조 VOP 내의 경계 매크로 블록 및 참조영역이 겹치게 되는 투명 매크로 블록은 주변 픽셀들로부터 패딩된다.

▷ 불투명 매크로 블록 및 패딩된 경계 매크로 블록은 일반적인 DPCM/DCT 기반 부호화 기법에 따라 부호화된다.

 

□ Main 프로파일

▷ Main 프로파일의 Main 객체는 Core 객체를 위한 도구 집합에 비월주사, 그레이 형상의 객체기반 부호화, 스프라이트 부호화를 위한 도구가 추가된다.

▷ 이진 지원 마스크와 그레이 알파 평면을 이용하여 형상의 영역과 투명도를 표현한다.

▷ 이진 지원 마스크는 BAB와 동일한 CAE를 이용하여 부호화 하고, 그레이 스케일 알파 평면은 객체 텍스처와 동일한 방법으로 부호화 한다.

▷스프라이트(sprite)란 화면 디스플레이에서 배경과 같이 반복 이용되는 그림을 등록하고, 그 그림에 다른 그림을 겹쳐서 합성시키는 기능을 의미한다.

▷ 한 번 배경 화면을 부호화하여 전송하고 나면, 이후 화면에서는 배경에 대해서는 간단한 기하변환에 대한 정보만 전달하여 변화된 화면을 복호기 측에서 만들어낼 수 있게 함으로써 부호의 양을 크게 줄일 수 있다.

▷ 기본 스프라이트 방식은 VOL의 첫 번째 VOP에 전체 스프라이트를 보내고, 이후에는 변환 파라미터를 포함하는 S-VOP를 전송한다. 초기 지연시간이 많이 발생할 수 있다.

▷ 저 지연 스프라이트 방식에서는 최소 크기 그리고/또는 저 화질의 스프라이트를 먼저 보내고, 이어지는 S-VOP에서 점차적으로 스프라이트의 영역을 확장하거나 화질을 개선시키기 위한 정보를 함께 보내도록 함으로써, 초기 지연시간을 줄인다.

 

2. 참고자료

□ 고성제, 김종옥 공역, 다양한 영상․음성을 자유자재로 부호화하는 MPEG-4 의 세계, 대영사, 1999.

□ ISO/IEC JTC1/SC29/WF11 N4030, Overview of the MPEG-4 Standard, 2001.