An energy-efficient hardware design for the 3D-HEVC motion estimation adopting reuse strategies for data and operations

Abstract

Atualmente existe uma grande demanda por streaming de vídeos digitais através da internet, além de um crescente número de dispositivos móveis capazes de gravar e reproduzir estes vídeos. Além disso, vídeos em 3 Dimensões (3D) permitem ainda uma experiência maior do usuário se comparado com os videos tradicionais, visto que nos videos 3D a cena é capturada de pontos de vista diferentes. Contudo, devido a grande quantidade de dados necessários para representar os vídeos digitais, técnicas de compressão se tornam obrigatórias, as quais são uma série de ferramentas responsáveis por reduzir as redundâncias presentes nos dados dos vídeos. No padrão 3D-High Efficiency Video Coding (3D-HEVC), a etapa mais complexa é a Estimação de Movimento (ME), a qual é também a etapa responsável por grande parte da eficiência de compressão deste padrão. A ME é divida em Estimação de Movimento Inteira (IME), a qual realiza a comparação de um bloco do quadro que está sendo codificado com diversos blocos candidatos de quadros já codificados em busca do bloco candidato mais similar ao bloco sendo codificado, e a Estimação de Movimento Fracionária (FME), a qual realiza um refinamento sobre o candidato resultante da IME. Por padrão, o 3D-HEVC utiliza o algoritmo Test Zone Search (TZS) para escolher os candidatos a serem avaliados pela IME, visto que o TZS realiza a avaliação de um número reduzido de candidatos sem resultar em grandes perdas na qualidade da imagem quando comparado com o algoritmo de busca completa, que avalia todos os blocos possíveis. Além disso, no 3D-HEVC a ME pode ser aplicada sobre blocos de até 24 diferentes tamanhos. Isso implica na ocorrência de diversas operações redundantes, onde uma parte de um dos blocos candidatos pode ser comparada com uma parte do bloco sendo codificado inúmeras vezes, além de uma enorme comunicação com a memória para realizar o processamento dos diferentes tamanhos de bloco de cada bloco candidato. Visando a redução das operações redundantes, é possível reutilizar as operações realizadas em blocos pequenos para compor o resultado dos blocos maiores. Esta estratégia também permite o reuso de dados, visto que será reduzindo o número de acessos a memória necessários para obter as amostras de todos os tamanhos de bloco. Existem apenas poucos trabalhos na literatura propondo arquiteturas de hardware para a IME do padrão 3D-HEVC. Dos trabalhos de IME para outros padrões de codificação, apenas poucos apresentam soluções considerando estratégias de reuso de dados e operações e um algoritmo rápido como o TZS. Portanto, este trabalho apresenta uma arquitetura de IME adotando o algoritmo TZS, com suporte a todos os tamanhos de bloco suportados pelo 3D-HEVC e utilizando estratégias de reuso de operações para obter vantagem das operações já processados. O algoritmo de IME do 3D-HEVC foi alterado visando uma implementação de hardware eficiente, e experimentos mostraram que essas modificações apresentam um aumento de 9,016% na métrica BD-rate. A arquitetura de IME desenvolvida foi sintetizada para ASIC utilizando a biblioteca de células padrão de 40nm da TSMC, e os resultados mostraram que a arquitetura requer 269 K gates, enquanto dissipa 108,48 mW quando processa 3 vistas de diferentes câmeras, sendo cada vista é composta pelo video dos 2 canais (textura e mapas de profundidade) com resolução de FHD 1920x1080p com 30 quadros por segundo. Os resultados de síntese também mostraram que a arquitetura de IME é capaz de processar até 3 vistas com resolução UHD 3840x2160p e com uma taxa de mostragem de 60 quadros por segundo. Além disso, uma arquitetura de FME também é apresentada, capaz de avaliar todos os 48 possiveis blocos fracionarios ao redor do resultado da IME.