(토론)영상 부호화와 멀티미디어 서비스

1.서론

 

우선 영상부호화와 멀티미디어 서비스를 큰 장으로 나누어 정리하였다. 2장에서는 영상부호화중 DCT 변환과 더불어 많이 사용되고 있는 퓨리에 변환과 KLT에 대해서 기술하며 3장에서는 여러 멀티미디어 서비스 중 MPEG21, 멀티미디어Soc, SIP전송 프로토콜과 Eureka-147, 3DAV 등에 대해서 토론한 내용을 기술한다. 2,3장의 토론에 대한 정리를 4장에서 기술하며, 최종 마무리를 5장에서 하였다.


2.영상 부호화

 

2-1.퓨리에 변환(Fourier Transform)
프랑스의 수학자 퓨리에(Jean Baptiste Joseph Fourier)가 1807년에 발표한 열확산에 관한 논문에서 주기성을 가진 함수는 가중치를 가진 사인(sines)과 코사인(cosines)의 합을 나타내는 곡선으로 표현할 수 있다는 것을 주장하였는데, 이 개념이 수학, 과학, 공학 분야에 커다란 공헌을 하였다. 주기성을 가진 함수는 가중치를 가진 사인과 코사인의 합을 나타내는 곡선으로 표현할 우 있다는 퓨리에의 생각은 처음에 쉽게 받아들여지지 않았지만, 퓨리에 급수라는 개념이 형성되고, 사인과 코사인 곡선의 조합에 의해 진동수와 진폭이 다른 다양한 정형파가 만들어진다는 것이 일반화되었다. 그리고 이제는 주기적이지 않는 함수조차도 가중 함수에 의해 곱해지는 사인과 코사인의 적분으로 표현될 수 있다는 퓨리에 변환의 개념이 실생활에까지 널리 이용하기에 이르렀다. 시간 영역을 주파수 영역으로 변환시키는 퓨리에 변환은 그 역변환이 성립한다는 점을 여러 응용 분야에 폭넓게 이용할 수 있다.
특히 신호 처리의 경우, 대부분 주파수 영역이라는 수학 공간에서 이루어지므로 더욱더 의미가 있다고 알 수 있다. 영상 처리에 퓨리에 변환을 이용하기 위해서는 우선 2차원 퓨리에 변환을 표현해야 한다. 정수값을 갖는 픽셀의 좌표를 기본으로 하는 2차원 공간에 표현되는 영상의 경우, 이산적인 샘플을 추려서 적용해야 한다.
퓨리에 변환에는 이산 퓨리에 변환과 고속 퓨리에 변환이 있으며, 이산 퓨리에 변환식을 적용시키면 좌표 공간 영역을 주파수 영역으로 변환시킬 수 있으며, 고속 퓨리에 변환은 이산 퓨리에가 실용성이 없어 개선한 방식이 고속 퓨리에 변환 방법(FFT)이다.

2-2.KLT(Karhunen-Loeve Transform)
시간축의 화상 신호를 주파수축으로 변환하여 부호화하는 변환 부호화 방식 중에서 입력 신호의 성질에 따라서 최적화한 변환 방식이다. 블록화된 화상 신호의 고유 행렬을 구하고, 이 행렬을 사용하여 직교 변환을 하기 때문에 변환된 신호 사이에는 상관이 없다. 한편, 이 변환은 각 블록마다 고유 행렬을 구해야 하므로 실용성이 부족하다. 그래서 영상 신호의 부호화에서는 카루넨 루베 변환에 가까우면서 높은 부호화 능률을 얻을 수 있는 이산 코사인 변환(DCT) 부호화 방식이 급속도로 보급되고 있다.

 

3.멀티미디어 서비스

 

3-1.MPEG21
MPEG은 CDROM, DVD(Digital Video Disk), 디지털TV, PVR(Personal Video Recorder), 인터넷, 모바일 등 거의 모든 전송매체에서 멀티미디어 제품과 서비스의 핵심기술로 사용되고 있는 동영상 부호 표준 MPEG1과 MPEG2, 리치미디어 부호표준 MPEG4, 그리고 멀티미디어 메타데이터 부호표준인 MPEG7 국제표준을 제정하고 있다. 디지털콘텐츠는 MPEG 1/2/4/7 등의 표준기술 발당에 힘입어 급속히 증가되고 있으나, 화질이나 음질의 손실 없이 손쉽게 복제되고 유포되어 저작권 보호의 커다란 문제가 발생하게 되었다. 이에 따라 저작권의 보호 및 관리는 멀티미디어의 디지털화를 위한 매우 중요한 선결과제로 등장하게 되었고, 이를 해결하기 위해서 MPEG에서는 멀티미디어의 생성, 유통 및 소비의 전 과정에서 저작권을 보호하고 관리하기 위하여 MPEG21 표준화를 추진하게 되었다.
현재 MPEG에서 적극적으로 활동하고 있는 주체는 정부출연연구소, 대기업, 방송사, 멀티미디어 전문 중소기업, 통신사업자, 대학 등 20여개 기관으로, 매년 약 50여 명의 전문가들이 MPEG회의에 참가, 각 분야에서 적극적으로 활동하고 있다. 최근의 MPEG21 활동 현황을 간략하게 간추려 보면, MPEG21 응용기술 연구로서 한국전자통신연구원은 MPEG21 기반 멀티미디어 프레임워크기술을 개발하고 있으며, 개발된 기술을 바탕으로 MPEG21의 DI, DIA, DIP, IPMP, PAT, ER 등의 분야에서 활동하고 있다. MPEG21은 표준의 비전, 전략 등을 기술한 파트1을 시작으로 2004년 3월 현재 16개의 세부파트로 나누어 표준화가 진행되고 있으나 계속 새로운 표준 항목을 발굴하여 표준화가 진행될 예정이다.

 

현재 방송환경에서 MPEG21에 대한 표준에 대한 논의가 이루어지고 있으며, 이는 MPEG21이 오디오, 텍스트, 동영상, 컴퓨터그래픽스 등 전반적인 디지털콘텐츠와 방송, 통신 등 다양한 전송망과 단말기를 목표로 하고 있고, 콘텐츠 전자상거래, T상거래(T-Commerce), 유비쿼터스 컴퓨팅 등 다양한 응용 분야의 제품과 서비스 표준으로 채택되어 활용될 것으로 전망되기 때문이다. 우리나라는 최근 74회 MPEG회의(2005년 10월, 프랑스 니스), 75회 MPEG회의(2006년 1월, 방콕), 그리고 76회 MPEG회의 (2006년 4월, 스위스 Montreux) 등의 관련 국제표준화회의 참가를 통하여 MPEG21에서 국제표준화 활동에 적극 나서고 있다.

3-2.멀티미디어Soc
멀티미디어 SoC는 크게 디지털가전용(디지털TV, H디지털TV, U디지털TV, PVR)과 모바일 터미널용(휴대폰, PDA, 노트북)으로 나뉘며, 각각은 인코더 전용, 디코더 전용, 인코딩과 디코딩이 모두 가능한 코덱으로 구분된다. 디지털가전용은 MPEG2 MP@(720X576픽셀) 및 MPEG2 MP@HL(1920X1152픽셀)를 기반으로 대용량 동영상을 실시간 인코딩 할 수 있는 방송장비용 SoC 인코더, TV 영상 또는 감시카메라 영상을 디지털로 녹화하는 PVR/DVCR(  Digital VCR)용 SoC 코덱, DVD, 디지털TV 또는 H디지털TV에 사용되는 SoC 코덱의 개발이 주류를 이루고 있다. 모바일 터미널에서는 MPEG4 SP@L1 또는 SP@L2 기반으로 QCIF(176X144픽셀) 또는 VGA급(640X480픽셀)으로 동영상 휴대전화 등을 위한 SoC 코덱, DMB 등을 위한 SoC 디코더의 개발이 주류를 이루고 있다. 모바일 터미널용의 경우, 멀티미디어 처리에 소요되는 전력은 전체 소비전력의 절반가량을 점유할 것으로 예상되므로 멀티미디어 처리의 저 전력화에 많은 관심이 집중되고 있으며, 또한 이동통신과 영상처리가 통합되는 추세에 있으며, 인텔의 Wireless-Internet-on-a-Chip이나 Cellular-on-a-Chip처럼 DSP, 플래시메모리, SRAM, GSM 코어, 멀티미디어 코어의 통합이 주류를 이룰 것으로 전망된다. 1990년대와 2000년대에 걸쳐서 LG전자, 삼성전자 대우전자, GCT리서치 등에서 디지털 TV 및 H디지털TV급 MPEG2 코덱을 개발한 바 있다. 모바일 터미널용 멀티미디어 SoC는 코아로직를 비롯한 몇몇 회사에서 카메라폰용 JPEG, Motion-JPEG칩을 개발하였고 칩스앤미디어를 비롯한 몇몇 회사에서 모바일 터미널용 저전력 ,MPEG4칩을 개발하였다. 이와 같이 우리나라는 국가 주도로 1990년대 H디지털TV용 MPEG칩, 2000년대 모바일 터미널용 MPEG칩 설계에 관련된 많은 연구 프로젝트가 진행되어 어느 정도 기술이 축적되었으나 저전력 멀티미디어 SoC, 멀티미디어와 이동통신이 결합된 통합 Soc의 경우에는 기술력이 충분하지 않은 상황이다. 저전력 멀티미디어 처리기술의 경우, 몇몇 대학을 중심으로 다수의 관련 핵심기술을 가지고 있으나 대부분 알고리즘이나 소프트웨어적인 분야에 집중되어 있다.

3-3.SIP 전송 프로토콜
SIP는 인터넷상에서 통신하고자 하는 지능형 단말들이 서로를 식별하여 그 위치를 찾고, 그들 상호간에 멀티미디어 통신 세션을 생성하거나 삭제, 변경하기 위한 절차를 명시한 응용 수준의 시그널링 프로토콜이다.
- SIP는 HTTP, SMTP 등 기존 인터넷 프로토콜들로부터 아이디어가 도입이 되었다.
- E-mail 주소와 유사한 형식의 식별자를 사용한다. 예) sip:ypart@my.packetway.com
- 다른 인터넷 프로토콜과의 연동 및 기능 추가, 확장이 용이하다.
- 다양한 형태의 이동성을 지원한다.
  (Terminal Mobility, personal Mobility, Session Mobility
- 일대일 혹은 다자간 멀티미디어 통신을 위한 호(call) 제어 기능을 제공한다.

3-4.Eureka-147
특정한 멀티미디어 방송 프로그램에 대하여 인가된 수신기에서만 정상적으로 시청할 수 있게 하기 위한 기술이다. Eureka-147 DAB 제한수신 표준은 2006년 1월에 제정되었는데 국내에서도 Eureka-147 DAB 제한수신 표준을 기본 내용으로 작성한 지상파 DMB 제한수신 정합표준이 2006년 10월 제정되었다. 제정된 제한수신 표준은 지상파 DMB에서 해당 프로그램의 계층과 특성에 따라서 서브채널 모드, 데이터그룹 모드, 멀티미디어 객체전송(MOT) 모드인 세 가지 스크램블링 모드 중에서 하나의 방식을 선택하여 제한수신을 적용하도록 하고 있다.

3-5.3DAV
- 다시점 비디오 : 사용자는 3차원 데이터를 가지고 상호적으로 시점과 시점 방향을 바꿀 수 있다. 가능한 응용분야로는 오락, 교육, 의학적 수술, 탐험여행, 관광, 감시, 의학적 수술이나 감시 등에서 다시점 비디오를 이용
- 스테레오 상호 비디오 : 시드니 올림픽과 나가노 올림픽에서 이미 실험 방송이 있었다. ETRI는 2002년 한국-일본 월드컵에서 실험적으로 방송을 했다.
- 3차원 비디오 방송 : 3차원 비디오 방송은 TV 역사에 있어서 차세대의 주요한 혁명이 될 것이다. 10년이 지나면 3차원 TV 응용을 완벽하게 재현할 수 있는 기술이 개발될 것이다. 이러한 기술은 콘텐츠 생성, 부호화, 전송 및 디스플레이 기술을 포함할 것이다. ATTEST는 필립스를 포함한 8개의 유럽 회사들로 이루어져 있는데 유연하면서도 2차원 TV와 호환성 있고 상업적으로 가능한 3차원 TV 시스템을 구축하기 위해 연구 중이다.
- 3차원 오디오 방송

 

3-6.기타
JPEG2000, EXIM, RTP 등


4.결론 및 의견

 

우선 생소한 용어의 서비스나 표준, 프로토콜 등에 상당히 긴장한 토론이었다. 처음 접하는 기술에 대해서는 이런 것도 있구나 하고 일반적인 개요 파악에 주력했던 시간이었다. 비슷한 개념으로 파악되지만 나름대로의 특징을 가지고 있어 응용 분야 역시 그 특징에 알맞도록 표준화 되고 있는 동향을 파악할 수 있었다.
영상 부호화 부분에서는 비교적 멀티미디어 서비스에 대한 토론 내용이 방대하다 보니 토론 소주제의 도출이 많지 않았다. 언급 되었던 퓨리에 변환에서는 시간 도메인의 데이터를 사인과 코사인으로 표현 할 수 있는 주파수 도메인으로 변환하여 부호화가 이루어진다는 점에서 우리가 배운 DCT 변환과 같은 카다고리로 분류해도 될듯하다. DCT와 더불어 많은 영상처리와 압축을 위한 변환 기법으로 사용되고 있다.
멀티미디어 서비스 부분에서는 많은 최신의 기법과 표준들이 소개 되었다. 그 중 MPEG에서멀티미디어의 생성, 유통 및 소비의 전 과정에서 저작권을 보호하고 관리하기 위하여 표준화가 추진 중인 MPEG21, 최근 유비쿼터스의 칩 부분과 멀티미디어가 결합한 멀티미디어SoC, 인터넷상에서 통신하고자 하는 지능형 단말들이 서로를 식별하여 그 위치를 찾고, 그들 상호간에 멀티미디어 통신 세션을 생성하거나 삭제, 변경하기 위한 절차를 명시한 응용 수준의 시그널링 프로토콜인 SIP 멀티미디어 프로토콜, 특정한 멀티미디어 방송 프로그램에 대하여 인가된 수신기에서만 정상적으로 시청할 수 있는 Eureka-147, 3차원의 비디오, 오디오 데이터에 대한 표준 3DAV 등 많은 기술들에 대해서 논의 하였다.

토론을 통해 관련 분야의 연구가 우리가 생각하는 것 보다 훨씬 많이 활기 있고 그 속도 역시 엄청나게 빠르게 진행된다는 것을 느꼈다. 서론에서도 언급하였지만 생소한 기술과 표준들을 하나, 둘 살펴보면서 시대적 요구가 맞물려 그 특징적인 발전이 이루어진 부분도 있고, 관련 기술의 필요에 의해서 발전되는 모습도 볼 수 있었다. 우리나라의 멀티미디어 기술역시 활발한 연구가 진행되고는 있으나, 소프트웨어와 알고리즘에 치우치는 경향이 있어 연구 영역의 확대가 필요하다 하겠다.