1. MPEG-4 Visual 개요
MPEG-4 Visual은 기존의 직사각형 형태의 프레임들의 열로 구성된 비디오를 부호화하는 것을 확장하여 다양한 객체 기반의 부호화 기법을 활용하도록 함으로써, 부호화의 효율을 높이고 상호작용 기능을 제공하도록 하고 있다. 본 절에서는 MPEG-4 Visual의 전반적인 부호화 개념을 폭 넓게 살펴본다.
1.1 특징
□ MPEG-4 Visual의 핵심 모델은 하이브리드 DPCM/DCT 부호화 모델에 기반을 두고 있는 영상 부호화로서, 향상된 압축 효율 및 신뢰성 있는 전송 기능과 더불어, 화면 내의 객체 기반 부호화 및 메시(mesh) 기반 압축, 얼굴 또는 몸통 모델의 애니메이션을 지원하도록 확장된다.
□ MPEG-4 Visual이 이전의 비디오 부호화 표준안들과 차별화 되는 주요 특징은 다음과 같은 것들이 있다.
(1) ‘자연’ 비디오 영상의 효율적인 압축
▷ 순차주사 및 비월주사 직사각형 비디오 프레임 영상
▷ 핵심적인 압축 도구는 H.263에 기반을 두고 있으며, MPEG-1과 MPEG-2 비디오 압축보다 뛰어난 성능을 보인다.
(2) 비디오 객체 부호화
▷ 비디오 객체 : 비디오 장면의 불규칙한 형태의 영역
▷ 비디오 장면 내의 배경에 해당되는 객체와 그 이외의 객체를 독립적으로 부호화할 수 있다.
(3) 일반적인 네트워크를 통한 효율적인 전송의 지원
▷ 오류 복원(error-resilience, 오류 내성) 도구 : 오류가 발생하기 쉬운 전송 환경에서 복호기가 발생된 오류를 복원하는데 도움을 주는 도구를 지원한다.
▷ 스케일러블(scalable) 부호화 도구 : 전송을 위한 네트워크의 서비스 품질이 보증되지 않는 상황에서 네트워크 속도에 맞는 적절한 비트율로 양질의 동영상 신호를 전달할 수 있게 한다.
(4) 정지 ‘텍스처’(이미지 데이터)의 부호화
▷ 정지된 이미지를 부호화하여 전송할 수 있는 기능
▷ 텍스처 부호화 도구는 애니메이션 기반의 표현과 함께 사용하면 유용하다.
(5) 메시 부호화
▷ 2D 및 3D 다각형 그물(mesh) 모양으로 창조된 시각적 객체, 창조된 얼굴과 사람의 몸통 등을 부호화한다.
(6) 고화질 부호화
▷ 응용에 따라서는 압축 효율보다는 비디오의 화질이 더욱 중요할 수 있다. MPEG-4 Visual에서는 스튜디오 화질 비디오와 같은 특수 응용 목적을 위한 부호화 도구를 제공한다.
1.2 도구, 객체, 프로파일, 그리고 레벨
| 도구 | ▷ 특정 기능(예 : 기본적인 비디오 부호화, 비월주사 비디오, 객체의 형상 부호화 등)을 지원하기 위한 코딩 기능의 모음 |
| 객체 | ▷ 일련의 의미 있는 처리 단위로 모은 도구의 조합을 사용하여 코딩되는 비디오 요소 (예 : 직사각형 프레임의 영상, 임의 영역의 영상, 정지 이미지 등) |
| 프로파일 | ▷ 코덱에서 처리할 수 있기를 바라는 객체의 종류를 모아 놓은 것 |
| 레벨 | ▷ 각 프로파일에서 요구되는 도구의 성능 기준, 구속 조건을 규정한다. |
□ 프로파일(Profile)
▷ MPEG-4는 많은 수의 도구들로 구성되어 있는데, 이 모든 것들이 개발자가 원하는 응용 제품에 모두 유용한 것은 아니다.
▷ 이에 따라 각각의 응용에서 필요한 툴들의 부분집합을 선택할 수 있도록 하기 위해서, MPEG-4에는 툴들의 집합인 프로파일을 여러 가지 용도에 맞게 정의하여 놓고 있다.
▷ 자연 비디오 압축을 위한 MPEG-4 Visual 프로파일
| MPEG-4 Visual 프로파일 | 주요 특징 |
| Simple | ▷ 낮은 복잡도를 갖는 직사각형 비디오 프레임의 코딩 ▷ 모바일 네트워크 상의 응용에 적합 |
| Advanced Simple | ▷ 향상된 효율에 의한 직사각형 프레임의 코딩과 비월주사 비디오의 지원 |
| Advanced Real-Time Simple | ▷ 실시간 스트리밍을 위한 직사각형 프레임의 코딩 ▷ 화상전화, 화상회의와 같은 실시간 응용에 적합 |
| Core | ▷ 임의 형상의 비디오 객체의 기본적인 코딩 ▷ 비교적 단순한 상호작용성을 제공하는 인터넷 멀티미디어 응용 등에 적합 |
| Main | ▷ Core 프로파일에 비월주사 및 반투명 객체 등의 지원 기능 추가 ▷ 대화형 방송 및 DVD 응용에 유용함 |
| Advanced Coding Efficiency | ▷ 높은 효율의 비디오 객체(직사각형 및 임의 형태)의 코딩 ▷ 모바일 방송 수신, 캠코더와 같은 영상 시퀀스 취득 등의 응용에 적합 |
| N-Bit | ▷ 8비트 이외의 샘플 해상도를 갖는 비디오 객체의 코딩 ▷ 감시 응용에 적합 |
| Simple Scalable | ▷ 직사각형 비디오 프레임의 Scalable 코딩 ▷ 인터넷용과 같이 비트율이나 디코더 자원으로 인해 여러 레벨의 질을 제공해야 하는 응용에 유용 |
| Fine Granular Scalability | ▷ 직사각형 비디오 프레임의 Advanced scalable 코딩 |
| Core Scalable | ▷ 비디오 객체의 Scalable 코딩 |
| Scalable Texture | ▷ 정지 영상(텍스처)의 Scalable 코딩 ▷ 게임 내의 객체에 텍스처를 사상하거나, 고해상도 디지털 카메라와 같은 응용에 적합 |
| Advanced Scalable Texture | ▷ 향상된 효율에 의한 Scalable 정지 텍스처와 임의 형상 텍스처 코딩 |
| Advanced Core | ▷ Simple, Core, Advanced Scalable Texture 프로파일의 특징을 합쳐 놓은 프로파일 ▷ 인터넷 상에서의 대화식 멀티미디어 스트리밍과 같이 풍부한 콘텐츠를 담고 있는 멀티미디어 응용에 적합 |
| Simple Studio | ▷ I 프레임만 사용하는 고화질 비디오 영상의 객체 기반 코딩 ▷ 스튜디오 편집 응용에 활용 |
| Core Studio | ▷ 향상된 압축 효율에 의한 고화질 비디오 객체 기반 코딩 ▷ Simple Studio 프로파일에 P 프레임을 추가 |
□ 레벨
▷ 각각의 프로파일에서 사용하는 영상의 크기 및 비트율 등을 정의한다.
▷ 각 레벨은 MPEG-4로 압축된 영상을 디코딩하는데 요구되는 최대 성능을 제한한다.
▷ 레벨은 버퍼 메모리의 양, 디코딩 되는 프레임의 크기, 그리고 연산능력(초당 매크로블럭 수)과 비디오 객체의 개수(개수가 하나이면 하나의 직사각형 프레임)에 대해서도 제한을 둔다.
▷ 자연 비디오 압축을 위한 MPEG-4 Visual 프로파일과 레벨
| 프로파일 | 레벨 | 해상도 | 최대 비트율 | 최대 객체 수 |
| Simple | L0 | QCIF | 64 Kbps | 1 |
| L1 | QCIF | 64 Kbps | 4 | |
| L2 | CIF | 128 Kbps | 4 | |
| L3 | CIF | 384 Kbps | 4 | |
| Advanced Simple (AS) |
L0 | QCIF | 128 Kbps | 1 |
| L1 | QCIF | 128 Kbps | 4 | |
| L2 | CIF | 384 Kbps | 4 | |
| L3 | CIF | 768 Kbps | 4 | |
| L4 | 352×576 | 3 Mbps | 4 | |
| L5 | 720×576 | 8 Mbps | 4 | |
| Advanced Real-Time Simple (ARTS) |
L1 | QCIF | 64 Kbps | 4 |
| L2 | CIF | 128 Kbps | 4 | |
| L3 | CIF | 384 Kbps | 4 | |
| L4 | CIF | 2 Mbps | 16 | |
| Core | L1 | QCIF | 384 Kbps | 4 |
| L2 | CIF | 2 Mbps | 8 | |
| Main | L2 | CIF | 2 Mbps | 8 |
| L3 | BT.601 | 15 Mbps | 16 | |
| L4 | 1920×1088 | 38.4 Mbps | 16 |
▷ 프로파일과 레벨은 서로 다른 생산 회사들의 코덱 간에 호환성을 보장하기 위한 중요한 장치이다. 어떠한 프로파일@레벨(예: Simple profile@Level 0)의 파라미터를 만족시킬 수 있는 단말기는 동일한 프로파일@레벨과 호환되는 어떠한 비트스트림도 성공적으로 디코딩할 수 있다는 것이 보장된다.
1.3 비디오 객체
□ MPEG-4 표준은 저작자 및 서비스 제공자, 최종 사용자들의 요구를 만족시키기 위한 기술들의 집합을 제공한다.
▷ 저작자를 위한 기술 : 디지털 텔레비전, 그래픽 애니메이션, 웹 과 같은 개별 기술들로 더욱 높은 재활용성과 유연성을 갖는 콘텐츠를 생산할 수 있게 한다. 또한 콘텐츠 소유자의 권리를 관리하고 보호하는 것이 가능하다.
▷ 네트워크 서비스 제공자를 위한 기술 : MPEG-4는 투명한 정보를 제공하며, 이는 해석되어 각 네트워크의 적절한 고유의 신호 표시 메시지로 번역될 수 있다.
▷ 최종 사용자를 위한 기술 : MPEG-4는 저작자가 제시한 범위 내에서 콘텐츠와 상호작용할 수 있게 한다. 또한 상대적으로 낮은 비트율과 모바일 네트워크를 포함한 새로운 네트워크에 멀티미디어를 도입한다.
□ MPEG-4는 이를 위해 다음과 같은 표준화된 방식을 제공한다.
① “미디어 객체”라고 부르는 청각, 시각, 또는 시청각 콘텐츠 유닛들을 표현한다. 이 미디어 객체들은 카메라나 마이크를 통해 취득한 자연적인 것일 수도 있고, 컴퓨터를 통해 생성한 합성 객체일 수도 있다.
② 이러한 객체들의 혼합을 묘사하여, 시청각 장면을 형성하는 합성 미디어 객체를 생성한다.
③ 미디어 객체들과 관련된 데이터를 멀티플렉스 및 동기화함으로써, 지정된 미디어 객체들의 특성에 맞는 QoS를 제공하는 네트워크 채널을 통해 전송할 수 있다.
④ 수신자 단말에서 시청각 장면과 상호작용할 수 있다.
□ MPEG-4 Visual은 비디오 영상을 하나 또는 그 이상의 비디오 객체가 합쳐진 것으로 간주한다.
▷ MPEG-4 Visual에서는 자연 영상을 비디오 객체(Video Object, VO)라고 부르고 있다.
¤ 직사각형 비디오 객체 : 기존 영상 부호화의 개념에 해당되는 직사각형의 프레임들의 연속적인 모임으로 구성되는 객체이다.
¤ 임의 형상 비디오 객체 : 비디오 장면의 일부 영역에 해당되는 임의 형상의 영역에 해당되는 객체
▷ 비디오 객체는 일정 시간동안 존재할 수 있으며, 특정 시간에서의 비디오 객체를 비디오 객체 평면(Video Object Plane, VOP)라고 한다.
□ 예 : 2개의 전경 객체(VO1, VO2)와 1개의 배경 객체(VO3)로 구성된 비디오 영상
▷ 각각의 객체들은 최종 영상에 자신들의 중요성을 반영하기 위해 서로 다른 화질과 시간적인해상도로 부호화 될 수 있다.
▷ 여러 개의 소스로부터 얻은 객체들은 하나의 영상 내에서 결합될 수 있다.
2. 직사각형 프레임 부호화
객체 기반 부호화는 높은 유연성을 갖게 하지만, 그럼에도 불고하고 가장 많이 사용되는 MPEG-4 Visual 응용 분야는 비디오 전체 프레임을 부호화하고 복호화하는 것이다. 여기에서는 직사각형의 VOP에 대한 부호화에 대해 살펴본다.
2.1 직사각형 프레임을 부호화하기 위한 도구와 객체들
□ 직사각형 VOP(일반적으로 완전한 비디오 프레임)을 다루는데 필요한 도구들은 Simple, Advanced Simple, Advanced Real-Time Simple 프로파일에 포함되어 있다.
□ 기본적인 도구들은 DCT 기반 매크로블록 부호화와 움직임 보상 예측이다.
▷ Simple 프로파일
¤ 하이브리드 DPCM/DCT 모델에 기반을 두고 있다.
¤ 압축 및 전송 효율을 향상시키기 위한 추가 도구를 포함한다.
▷ Advanced Simple 프로파일
¤ 압축 효율을 더욱 향상시키고, 비월주사 비디오를 지원하도록 강화된 프로파일
▷ Advanced Real-Time Simple 프로파일
¤ 실시간 비디오 스트리밍 응용에서 유용하게 사용될 수 있는 도구들이 추가된다.
□ 입출력 비디오 형식
▷ 4:2:0, 4:2:2, 또는 4:4:4 형식의 순차주사 또는 비월주사 형식
2.2 Simple 프로파일
□ Simple 프로파일과 호환되는 코덱은 다음의 도구를 사용하여 Simple 비디오 객체를 인코딩하고 디코딩할 수 있어야 한다.
▷ I-VOP : 화면 내 부호화(Intra frame coding)된 직사각형 순차주사 VOP
▷ P-VOP : 화면 간 부호화(Inter frame coding)된 직사각형 순차주사 VOP
▷ Short header : H.263 코덱과 호환되는 모드
▷ 압축 효율 도구 : 매크로블록 당 4개의 움직임 벡터, unrestricted 움직임 벡터, 인트라 예측
▷ 전송 효율 도구 : 비디오 패킷, 데이터 분할, Reversible VLC
□ VLBV(Very Low Bit-rate Video) Core
▷ ITU-T H.261, MPEG-1, MPEG-2와 마찬가지로 DCT 변환과 움직임 보상 및 예측을 조합한 방식을 채택하고 있다.
▷ VLBV Core의 도구들은 H.263 표준안에 기초하여 제시되었다.
(1) 기본적인 부호화 도구
① I-VOP
▷ DCT 및 IDCT : 휘도 및 색차 신호에 대해 8×8 DCT를 사용한다.
▷ 양자화
¤ 1부터 31사이의 값을 가질 수 있는 양자화 스케일 파라미터 QP에 의해 제어된다.
¤ 제 2 양자화 방법
▪ 화면 내 부호화 블록 DC 계수의 역 양자화
| DC = DCQ ․ dc_scaler ※ 여기에서 DC : 역 양자화된 계수 DCQ는 : 양자화된 계수 dc_scaler는 표준안에 정의된 파라미터 ※ Short header 모드에서 dc_scaler는 8이고, 그 외의 경우는 QP 값에 따라 다음과 같이 계산된다.  |
▪ 다른 모든 변환 계수들의 역 양자화
▷ 양자화 계수 순서 재배치
¤ 지그재그 스캔으로 양자화된 DCT 계수들을 재배치한다.
▷ RLE
¤ Last-Run-Level 부호화
¤ 재배치된 양자화 계수는 (Last, Run, Level)의 형태로 부호화 한다.
▪ Last : 이 계수가 0이 아닌 계수의 마지막인지를 나타내는 플래그
▪ Run : 이 계수의 앞에 있는 연속적인 0 계수의 수
▪ Level : 현재 계수의 값
▷ VLC
¤ 엔트로피 부호화
¤ 헤더 정보와 (Last, Run, Level)을 가변길이 부호화된다.
¤ 허프만 부호와 유사한 부호 형태를 사용하며, 미리 계산된 계수의 확률에 근거하여 표준에 정의되어 있다.
② P-VOP
▷ 이전에 부호화된 I-VOP 또는 P-VOP로부터 움직임 보상 화면 간 예측 부호화를 한다.
▷ 움직임 추정 및 보상
¤ 16×16 매크로블록에 대한 블록 기반 보상을 한다.
¤ 1/2 픽셀 위치 움직임 추정을 한다.
▷ 움직임 보상 후의 오차 블록은 DCT, 양자화, 재배치, run-level 부호화 및 엔트로피 부호화의 단계를 거친다.
▷ P-VOP 내의 매크로블록들은 인터 모드(화면 간 부호화 모드) 또는 인트라 모드(화면 내 부호화 모드)로 부호화 할 수 있다. 인터 모드가 효율적이나, 화면에 새롭게 나타난 영역과 같은 경우 이전 VOP에서 일치하는 영역을 찾을 수 없으며, 이 경우 인트라 모드가 유용하다.
③ Short header
▷ Short header 모드는 H.263과의 호환성을 제공한다.
▷ Short header 모드로 부호화된 I-VOP 및 P-VOP는 H.263의 Baseline 모드로 부호화된 I-VOP 및 P-VOP와 동일한 신택스를 갖는다.
(2) 부호화 효율 도구
□ Simple 프로파일에는 압축 효율을 향상시킬 수 있는 도구들이 포함된다. 이 도구들은 Short header 모드가 사용되지 않을 때에만 사용할 수 있다.
① 매크로블록 당 4개의 움직임 벡터
▷ 움직임 보상은 블록 크기가 작을수록 효과적이다.
▷ 기본적으로 매크로블록 단위의 움직임 추정/보상을 한다. 그러므로 휘도 성분에 대해서는 16×16, 색차 성분에 대해서는 8×8 크기의 블록으로 움직임 보상을 한다.
▷ 복잡한 움직임이 있는 영역 또는 움직이는 객체의 경계 부근 영역에서는 더 작은 블록을 선택할 수 있다.
¤ 휘도 성분 8×8, 색차 성분 4×4
¤ 이 경우 하나의 매크로블록에 대해 4개의 움직임 벡터 정보를 전송해야 한다.
② Unrestricted Motion Vector
▷ 일반적으로 움직임 추정 대상 블록에 해당되는 기준 화면의 영역을 찾을 때 기준 화면의 유효 영역을 대상으로 한다.
▷ 그러나 어떤 경우에는 기준 영상의 경계 바깥으로 확장된 영역이 현재의 매크로블록과 가장 잘 일치하는 영역이 될 수도 있다. Unrestricted Motion Vector(UMV) 도구는 이러한 경우 움직임 벡터가 기준 VOP의 경계 외부를 가리킬 수 있도록 허용한다.
▷ 예 : [그림8]
¤ 현재 VOP에서 움직임 벡터를 찾고자 하는 매크로블록 영역은 기준 VOP의 경계 우측에 가려진 손 영역이 움직여 들어온 부분에 해당된다. 따라서 기준 VOP의 경계 바깥 부분에 가장 정합이 잘 되는 영역이 존재할 수 있다.
¤ 그러나 경계 바깥 부분의 픽셀 값들은 정의되지 않은 값이다. UMV에서는 기준 VOP의 가장 좌측 경계 부분의 픽셀 열과 가장 아래 경계 부분의 픽셀 행을 복사하여 경계 영역을 확장한 다음 정합을 시도한다.
▷ UMV 모드는 특히 객체가 프레임의 안쪽 또는 바깥쪽으로 이동할 때 움직임 보상 효율을 향상시킨다.
③ 화면 내 예측
▷ MPEG-1에서는 화면 내 부호화 블록의 DC 계수에 대해서만 화면 내 예측 부호화를 하지만, MPEG-4에서는 양자화된 DC 성분과 AC성분을 모두 적응적 예측 부호화함으로써 부호화 효율을 개선한다.
▷ 이 모드에서는 화면 내 부호화된 8×8 블록 내의 DC 계수와 첫 번째 행 및 열의 AC 계수가 인접 블록으로부터 예측된다.
▷ DC 계수의 경우는 일반적으로 유사성이 존재하기 때문에 대부분의 경우 예측 부호화가 효과적이지만, AC 계수의 경우는 이러한 유사성이 분명하지 않다.
▷ DC 계수의 예측 : 블록 X의 DC 계수는 다음과 같이 예측한다.
| IF |DCA - DCB| < |DCB - DCC| 블록 C로부터 예측 ELSE 블록 A로부터 예측 |
▷ AC 계수의 예측
¤ DC 계수를 매크로블록 A로부터 예측하였을 경우 매크로블록 A의 첫 번째 열의 AC 계수들로부터 현재 매크로 블록 X의 첫 번째 열의 AC 계수들을 예측하고, DC 계수를 매크로블록 C로부터 예측하였을 경우 매크로블록 C의 첫 번째 행의 AC 계수들로부터 현재 매크로블록 X의 첫 번째 행의 AC 계수들을 예측한다.
¤ 만일 이와 같이 예측한 계수들의 절대값의 합이 원래 계수들의 것보다 작다면 예측 결과를 사용하고, 그렇지 않다면 예측을 적용하지 않고 원래의 계수 값들을 사용한다.
한
(3) 전송 효율 도구
□ 부호화된 비디오 비트 열은 가변길이 부호로 구성되기 때문에, 비트 열을 전송하는 과정에서 오류가 발생할 경우 그 이후의 비트 열을 올바로 복호할 수 없게 된다.
□ MPEG-4에서는 이러한 오류가 전파되는 것을 막아서 오류 발생을 국소화 하기 위한 구조를 가지고 있다.
① 비디오 패킷
▷ 가변길이 부호화된 MPEG-4 비디오 비트 열의 오류 전파를 막기 위해서는 비트 열 내에 일반적인 데이터 비트열에 사용되지 않는 고유한 비트 패턴으로 구성되는 고정길이의 부호를 삽입하는 것이 유용하다. 오류가 발생하면 이 부호를 찾아 재 동기화를 할 수 있기 때문이다. 이러한 고정길이 비트 패턴을 재동기화 마커(Resync Marker)라고 부른다.
▷ 하나의 VOP는 한 개 이상의 비디오 패킷으로 구성된다. 비디오 패킷은 다음과 같이 구성된다.
▷ 비디오 패킷은 재동기화 마커로 시작하도록 하여, 전송 오류가 발생하였을 때 다음 비디오 패킷의 시작점에서부터 재동기화를 할 수 있게 한다. 재동기화 마커 다음에는 매크로블록 번호가 나오도록 하여 패킷 내의 첫 번째 매크로블록을 올바른 위치에 배치할 수 있도록 한다.
▷ 비디오 패킷 도구를 활용하여 오류 복구를 지원하는 방법은 다음과 같다.
1. 오류가 검출되면 재동기화 마커를 이용하여 다음 패킷 시작점부터 재동기화 할 수 있어 오류가 전파되는 것을 막는다.
2. HEC(Header Extension Code)가 1인 경우 헤더의 복사본이 저장되어, 헤더가 손실된 경우 복구할 수 있도록 한다.
3. 예측 부호화가 비디오 패킷 경계를 벗어나지 않도록 함으로써, 움직임 벡터의 오류가 다른 비디오 패킷으로 전달되는 것을 방지한다.
② 데이터 분할
▷ 부호기가 비디오 패킷 내의 매크로블록 데이터를 재구성하여 전송 오류의 영향을 감소시킨다.
▷ 비디오 패킷 헤더의 뒤에 매크로블록의 주요 정보인 각 블록의 DC 계수 또는 움직임 벡터 (화면간 부호화 매크로블록인 경우)를 배치하고, 나머지 계수들은 뒤에 배치한다.
③ Reversible VLC
▷ Reversible VLC(Variable Length Codes)는 순방향과 역방향의 양쪽 방향으로 모두 복호가 가능한 부호이다.
▷ DCT 계수 비트열을 순방향으로 복호하는 중 오류가 검출되면 다음 재 동기 마커로 이동한 다음, 역방향으로 복호하여 오류가 발생한 매크로블록의 다음 블록까지 복호한다. 그 결과 오류가 발생한 매크로블록만 손실되고 나머지 매크로블록들은 복구할 수 있다.
2.3 Advanced Simple 프로파일 및 Advanced Real Time Simple 프로파일 개요
(1) Advanced Simple 프로파일
□ Advanced Simple 프로파일은 향상된 압축 효율과 비월주사 비디오 부호화를 지원하는 도구들을 포함한다.
□ Advanced Simple 프로파일에는 Simple 프로파일에 다음의 도구들이 추가되었다.
① B-VOP : 양방향 예측을 사용하여 움직임 보상 효율을 향상시킨다.
② 1/4 픽셀 움직임 보상
③ 전역 움직임 보상 : 동일한 비디오 객체 내의 매크로블록들은 유사한 움직임을 나타내는 경향이 있음을 활용하여, 각 VOP당 최대 4개의 전역적 움직임 벡터(Globa Motion Vector, GMV)를 전송하고, 픽셀 위치에 대한 개별적 움직임 벡터는 GMV 사이의 보간을 통해 계산 한다.
④ 제2의 양자화기(alternate quantizer) : Intra DC 이외의 계수들을 역 양자화하는 다른 방법을 제공한다.
⑤ 비월주사 비디오 부호화 도구
(2) Advanced Real Time Simple
□ Advanced Real Time Simple 프로파일에는 Simple 프로파일에 화상전화나 화상회의 시스템과 같은 실시간 부호화 응용에 적합한 도구들이 추가된다.
□ 추가된 도구들은 다음과 같다.
① NEWPRED(new prediction) : VOP의 복호과정에서 오류가 발생하면 복호기는 부호기에 이를 알리고, 부호기는 오류가 발생된 VOP 이전의 VOP를 이용하여 다음 VOP를 예측한다. 그 결과 오류의 시간적 전파를 막는 효과가 있다.
② Dynamic Resolution Conversion : 영상 내의 세밀한 부분이 증가하거나 빠른 움직임이 발생하여 압축된 부호 비트열의 비트율이 갑자기 증가할 때 VOP의 공간 해상도를 감소시켜 부호화 할 수 있게 한다. 이는 한정된 비트율을 갖는 채널에 데이터를 전송할 경우 발생할 수 있는 문제를 완화한다.
정리하기
1. 요약정리
□ MPEG-4 Visual 개요
▷ MPEG-4는 직사각형 형태의 프레임으로 구성된 자연 비디오뿐 아니라 불규칙한 형태의 영역, 정지된 텍스처, 합성 비디오 등을 포함한다.
▷ 프로파일은 여러 가지 유형의 응용들을 가정하고, MPEG-4에서 제공하는 여러 가지 도구들 중에서 각각의 응용에 필요한 도구의 집합들을 정의해 놓은 것이다.
▷ 각각의 프로파일에 대해 영상의 크기 및 비트율 등의 성능 제한 요소들에 따라 여러 가지 레벨을 정의하고 있다.
▷ MPEG-4 Visual은 비디오 영상을 하나 또는 그 이상의 비디오 객체가 합쳐진 것으로 간주한다. 자연 영상의 비디오 객체는 직사각형 형태의 프레임들로 구성될 수도 있고, 임의 형상의 영역에 시퀀스가 될 수도 있다.
□ 직사각형 프레임 부호화
▷ 직사각형 VOP를 다루는데 필요한 도구들은 Simple, Advanced Simple, Advanced Real Time Simple 프로파일에 포함되어 있다.
▷ DCT 기반 매크로블록 부호화와 움직임 보상 예측을 기본으로 한다.
▷ Simple 프로파일에는 압축 및 전송 효율을 향상시키기 위한 도구들이 추가된다.
¤ I-VOP 및 P-VOP 부호화
¤ Short header
¤ 매크로블록 당 4개의 움직임 벡터
¤ Unrestricted Motion Vector
¤ 화면 내 예측
¤ 비디오 패킷
¤ 전송 오류의 영향을 감소시키기 위한 데이터 분할
¤ Reversible VLC
▷ Advanced Simple 프로파일에는 Simple 프로파일에 압축 효율을 더욱 향상시키기 위한 도구와 비월주사 부호화 도구가 추가된다.
▷ Advanced Real Time Simple 프로파일에는 Simple 프로파일에 실시간 부호화 응용에 적합한 도구들이 추가된다.
2. 참고자료
□ 고성제, 김종옥 공역, 다양한 영상․음성을 자유자재로 부호화하는 MPEG-4 의 세계, 대영사, 1999.
□ ISO/IEC JTC1/SC29/WF11 N4030, Overview of the MPEG-4 Standard, 2001.
'정보과학 > 영상통신시스템' 카테고리의 다른 글
| H.264/MPEG-4 Part 10 (1) (1) | 2023.10.06 |
|---|---|
| MPEG-4 Visual (2) (1) | 2023.10.05 |
| MPEG 개요 (0) | 2023.09.25 |
| 영상 부호화를 위한 표준 (0) | 2023.09.20 |
| 영상 압축 (3) (0) | 2023.09.19 |
