Motion Estimation, Compensation, Spatial Redundancy

 

Motion Estimation

 

reference frame 내 16x16 sample region 의 macro block을 찾는 과정

'best match'를 찾는 (motion vector를 산출하는) 과정임

 

B picture: 이전의 I, P 혹은 미래의 P frame을 가지고 예측

영상이 급변하여 현재의 MB 내 객체가 과거 frame에 존재하지 않을 수 있기에 양방향 예측을 수행할 필요가 있음

 

 

Motion Compensation

motion estimation을 통해 찾은 motion vector들을 가지고 reference block내 motion vector가 가리키는 block

현재 frame에서 움직임 보상된 이전 frame을 빼서 차분 영상을 산출

즉, 움직임 보상이란 현재 frame 내 MB의 위치가 달라졌으니 이 달라진 위치 정보를 보상(원복) 하는 것임.

이로서 이 보상된 MB와 reference frame 내 MB간의 차이를 구하여 잔차 MB를 얻음

 

reference frame 내 'best' matching region에 대해 현재 macroblock간의 차이를 구함

이로서 residual macroblock이 생성됨 (luminamce와chrominance 각각에 대해서 생성)

이 잔차 MB가 encoding 되고 (DCT -> Q -> ZigZag -> Huffman 등 - MPEG2 기준) best matching을 기록하는 motion vector와 함께 전송됨

 

encoder 내에서 이 잔차 MB는 encoding 되고 다시 decoding 되어 reconstructed MB를 생성함

이를 가지고 motion-compensated prediction에 reference로 사용함

 

P picture

I picture 혹은 P picture 기준으로 움직임 보상 오차신호를 부호화한 frame

 - motion estimation 하여 현재 영상 내 MB들의 적절 reference frame을 기준으로 잔차 MB 및 MV를 생성

 - 움직임 보상 오차신호

    

 

Spatial Redundancy

영상 내 화소 차이가 많이 발생하는 경우보다 적게 발생하는 경우가 대부분임.

즉, 영상 내 화소간의 값의 중복(유사한 값을 표현)하다는 의미이며 이런 영상 신호를 주파수 축의 주파수 basis frequency의 coefficient 값을 통해 확인하면 DC 혹은 DC에 가까운 AC 성분들이 더 큰 coefficient 값을 가진 다는 것임.

사람의 눈은 "고주파에 둔감" 하기에 이런 작은 AC 성분의 값들을 양자화 level을 낮게 하여 제거하고 zero 값을 만들게 됨으로서 영상 표현에 필요한 계수들의 수가 줄어들게 되며 이렇게 줄어든 계수의 수 만큼 압축이 되는 것임 (손실 압축)

 

 

DC Prediction

현재 block의 DC 계수는 이전에 코딩된 상위 혹은 좌측의 8x8 block의 DC 계수에서 예측됨.

reference하는 좌/상의 block의 역양자화된 DC 계수 앖에 따라 DC 예측의 방법이 결정됨.

 

DC의 변화가 가장 작은 방향이 현재 블럭에 대한 예측의 방향으로 선택됨.

예측 DC는 인접 block의 DC 계수 값을 양자화 계수로 나눠 구함

 

잔차 DC = 실제 양자화된 DC 계수 - 예측 DC 계수

이 잔차 DC를 '코딩'하여 전송함