| 引 言
H．264是ITU T的VCEG和ISO／IEC的MPEG聯(lián)合成立的聯(lián)合視頻組JVT(Joint Video Tearn)共同制定的新視頻編碼標(biāo)準(zhǔn)，定位于覆蓋整個(gè)視頻應(yīng)用領(lǐng)域。H．264標(biāo)準(zhǔn)采用了基于可變大小宏塊的運(yùn)動(dòng)補(bǔ)償、多幀參考、整數(shù)變換、基于1／4像素精度的運(yùn)動(dòng)估計(jì)、去塊效應(yīng)濾波器等新技術(shù)，因而獲得更好的壓縮性能，同時(shí)也導(dǎo)致了運(yùn)算量的大幅度增加。
Blackfin處理器采用了ADI公司和英特爾公司共同開發(fā)的微信號(hào)結(jié)構(gòu)，在結(jié)構(gòu)中加人專門的視頻處理指令，工作頻率高達(dá)756 MHz，能完成12OOM次／s乘加操作。與采用超標(biāo)量結(jié)構(gòu)或超長(zhǎng)指令集的DSP(如TI的C6000系列)相比，Blackfin處理器在功耗、成本方面具有很大的優(yōu)勢(shì)，非常適合嵌入式的視頻應(yīng)用。
1 H．264視頻編碼標(biāo)準(zhǔn)
H．264視頻編解碼器的基本結(jié)構(gòu)與早期的編碼標(biāo)準(zhǔn)(H．263、MPEG4等)相似，都是由運(yùn)動(dòng)補(bǔ)償、變換、量化、熵編碼、環(huán)路去塊效應(yīng)濾波器等功能單元組成的。H．264標(biāo)準(zhǔn)的改進(jìn)主要體現(xiàn)在各功能模塊內(nèi)部。H_264的重大改進(jìn)表現(xiàn)在以下幾個(gè)方面：
�、俑呔鹊幕�1／4像素精度的運(yùn)動(dòng)預(yù)測(cè)。
�、诙喾N宏塊劃分模式。每個(gè)宏塊(16×16像素)的亮度分量有7種分區(qū)方法：16×16、16×8、8×16、8×8、8×4、4×8、4×4。
③多幀預(yù)測(cè)。在幀間編碼時(shí)，可選5個(gè)不同的參考幀。
�、苷麛�(shù)變換。采用基于4×4像素塊的整數(shù)變換代替DCT變換。
�、軭_264／AVC支持兩種熵編碼方法，即CAVLC(基于上下文的自適應(yīng)可變長(zhǎng)編碼)和CABAC(基于上下文的自適應(yīng)算術(shù)編碼)。CAVLC的抗差錯(cuò)能力比較高，而編碼效率比CABAC低；CABAC編碼效率高，但需要的計(jì)算量和存儲(chǔ)容量更大。
�、迬瑑�(nèi)預(yù)測(cè)編碼。H．264采用了多種設(shè)計(jì)合理的幀內(nèi)預(yù)測(cè)模式，大大降低了I幀的編碼率。
⑦網(wǎng)絡(luò)適配層NAL(Network Abstraction Layer)為視頻編碼層提供一個(gè)與網(wǎng)絡(luò)無關(guān)的統(tǒng)一接口，使視頻編碼數(shù)據(jù)能適應(yīng)不同的網(wǎng)絡(luò)應(yīng)用環(huán)境。
H．264分為7種不同的框架(profile)——Baselineprofile、Main profiIe、Extended profile、High profik、High10 profik、High4：2：2 profile和High 4；4：4，分別代表不同的技術(shù)限制和算法集合。其中baseline prome的使用是不收版權(quán)費(fèi)的。
2 基于ADSP—BF533的軟硬件實(shí)現(xiàn)平臺(tái)
硬件平臺(tái)采用ADI公司的ADSP—BF533 EZ—kit Lite評(píng)估板。此評(píng)估板包括l塊ADSP—BF533處理器，32MB SDRAM，2 MB Flash，ADVl836音頻編解碼器外接4輸入／6輸出音頻接口，ADV7183視頻解碼器和ADV7171視頻編碼器外接3輸入／3輸出視頻接口，1個(gè)UART接口，1個(gè)USB調(diào)試接口，1個(gè)JTAG調(diào)試接口。評(píng)估板系統(tǒng)結(jié)構(gòu)框圖如圖1所示。
評(píng)估板上采用的ADSP—BF533處理器，工作頻率高達(dá)756 MHz。該處理器有以下特點(diǎn)：雙16位乘法累加器；雙40位算術(shù)邏輯單元(ALU)；4個(gè)8位視頻ALU；1個(gè)40
位移位器；專用的視頻信號(hào)處理指令；148 KB的片內(nèi)存儲(chǔ)器(16 KB可作為指令Cache，32 KB可作為數(shù)據(jù)Cache)；動(dòng)態(tài)電源管理功能等。Blackfin處理器還包括豐富的外設(shè)和接口：EBIU接口(4個(gè)128 MB SDRAM接口，4個(gè)l MB異步存儲(chǔ)器接口)，3個(gè)定時(shí)／計(jì)數(shù)器，1個(gè)UART，1個(gè)SPI接口，2個(gè)同步串行接口，1路并行外設(shè)接口(支持ITU一656數(shù)據(jù)格式)等等。Blackfin處理器在結(jié)構(gòu)上充分體現(xiàn)了對(duì)媒體應(yīng)用(特別是視頻應(yīng)用)算法的支持。
軟件驗(yàn)證采用如下方式：首先，通過DSP仿真器將H．264編碼文件拷貝到評(píng)估板的存儲(chǔ)器里。然后，軟件從存儲(chǔ)器中讀取編碼文件的數(shù)據(jù)，進(jìn)行解碼操作。最后，將解碼的數(shù)據(jù)通過PPI接口輸出到ADV7171芯片，ADV7171芯片將輸入的視頻數(shù)據(jù)編碼為PAL格式輸出到顯示器上二進(jìn)行顯示。
Blackfin處理器的軟件開發(fā)平臺(tái)是VisualDSP++4．0。
3 H 264實(shí)時(shí)解碼器軟件設(shè)計(jì)3.1軟件總體設(shè)計(jì)
為了實(shí)現(xiàn)實(shí)時(shí)解碼的要求，需要優(yōu)化程序的設(shè)計(jì)。優(yōu)化流程如下：
�、僭赑C機(jī)上進(jìn)行算法的驗(yàn)證和評(píng)估、優(yōu)化程序的流程設(shè)計(jì)和數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)。
�、趯⒊绦虼a移植到Blackfin處理器。在Visual—DSP++集成開發(fā)環(huán)境里進(jìn)行編譯，刪除PC平臺(tái)相關(guān)的代碼，添加DSP平臺(tái)相關(guān)的代碼。
�、圻M(jìn)行基于DSP平臺(tái)的優(yōu)化操作。設(shè)置速度優(yōu)化的編譯參數(shù)，進(jìn)行C語言級(jí)的優(yōu)化，用匯編指令改寫最耗時(shí)的函數(shù)，通過使用專用的向量指令和并行指令減少函數(shù)的執(zhí)行時(shí)間。
3.2 在PC機(jī)上實(shí)現(xiàn)并優(yōu)化解碼器程序
解碼器程序參考了JM9．6，并在以下方面作了優(yōu)化：
�、儆捎谥恢С諦aseline profile，刪除有關(guān)B幀、SI片、SP片和數(shù)據(jù)分割等不支持特性的冗余程序代碼；
�、谛拚齁M9．6，每次處理一個(gè)Slice時(shí)都要分配內(nèi)存，讀取其中信息，再釋放內(nèi)存，合理安排內(nèi)存空間的分配和釋放；
�、蹖幀、P幀分別獨(dú)立解碼，宏塊解碼也按預(yù)測(cè)模式和預(yù)測(cè)方向分成不同的解碼模塊，以省去中間的重復(fù)判斷，提高解碼速度；
�、軆�(yōu)化CAVLC碼表的查詢方法。
3.3 程序移植
VisualDSP++是一款支持Blackfin處理器的集成開發(fā)、調(diào)試環(huán)境，包括VisuaIDSP++內(nèi)核(VDK)、C／C++編譯器、高級(jí)圖形繪制工具、調(diào)試工具、器件模擬器等多種功能；能夠很好地支持在Blackfin處理器上用C／C++語言進(jìn)行開發(fā)工作。
移植的第一步是除去所有的編譯環(huán)境不支持的函數(shù)(例如某些時(shí)間相關(guān)的函數(shù))，將文件操作修改為讀取文件數(shù)據(jù)緩存的操作，刪除SNR信息收集和信息打印輸出等DSP平臺(tái)實(shí)現(xiàn)不需要的代碼。第二步是添加與硬件相關(guān)的代碼。這些代碼包括系統(tǒng)初始化代碼、輸出模塊代碼、中斷服務(wù)程序和解碼速率控制程序等程序代碼。
移植完畢后，就實(shí)現(xiàn)了基于ADSP-BF533處理器的H_264解碼器；但速度達(dá)不到實(shí)時(shí)解碼的要求，還需要進(jìn)行優(yōu)化。
3.4 基于DSP平臺(tái)的優(yōu)化
基于DSP平臺(tái)的優(yōu)化分為系統(tǒng)級(jí)優(yōu)化、C程序級(jí)優(yōu)化和匯編級(jí)優(yōu)化。
(1)系統(tǒng)級(jí)優(yōu)化
打開編譯器中的優(yōu)化開關(guān)，設(shè)置為速度最優(yōu)化；打開自動(dòng)內(nèi)聯(lián)開關(guān)；打開“Interprocedural optimization”(過程間優(yōu)化)開關(guān)；使用VisualDSP++編譯器的PGO(Profile—Guided Optimization)優(yōu)化編譯技術(shù)。
(2)C程序級(jí)優(yōu)化
C程序級(jí)的優(yōu)化主要是針對(duì)BIackfin處理器的具體特點(diǎn)進(jìn)行優(yōu)化：
�、倬帉戞溄用枋鑫募�，將經(jīng)常用的數(shù)據(jù)存儲(chǔ)在片內(nèi)存儲(chǔ)器，例如CAVLC熵解碼的碼表；啟用指令Cache和數(shù)據(jù)Cache，設(shè)置好啟用Cache機(jī)制的指令地址和數(shù)據(jù)地址。
�、趯⒊ú僮鬓D(zhuǎn)換為乘法操作或者采用查表法計(jì)算。
③減少對(duì)片外存儲(chǔ)器的訪問次數(shù)。對(duì)于經(jīng)常訪問的片外存儲(chǔ)器區(qū)域，設(shè)置Cache使能，并可設(shè)置Cache鎖定，防止被緩存的數(shù)據(jù)被替換，減少Cache未命中的幾率。
�、軐�(duì)于能夠用較短的數(shù)據(jù)類型表達(dá)的數(shù)據(jù)改用較短的數(shù)據(jù)類型表達(dá)，例如原定義為int類型的4×4逆整數(shù)變換的輸人數(shù)據(jù)，實(shí)際上可以定義為short類型。
(3)匯編級(jí)優(yōu)化
匯編級(jí)優(yōu)化通常遵循以下原則：
�、佟 � 使用寄存器代替局部變量。如果局部變量用來保存計(jì)算的中間結(jié)果，那么用寄存器
代替局部變量可以省掉很多訪問內(nèi)存的時(shí)問。
�、凇 � 使用硬件循環(huán)代替軟件循環(huán)。．Blackfin處理器有專用的硬件支持兩級(jí)嵌套的零開銷
硬件循環(huán)。用硬件循環(huán)代替軟件循環(huán)可避免堵塞流水線，提高速度。
�、凼褂貌⑿兄噶詈拖蛄恐噶�。使用并行指令和向量指令，可以充分利用Blackfin處理器的SIMD系統(tǒng)結(jié)構(gòu)的優(yōu)點(diǎn)和內(nèi)部硬件資源的并行處理優(yōu)點(diǎn)，減少指令執(zhí)行次數(shù)和提高指令執(zhí)行效率。使用1條并行指令同時(shí)執(zhí)行2條或3條非并行指令。向量指令可以同時(shí)對(duì)多個(gè)數(shù)據(jù)流進(jìn)行相同的加工操作。
�、苁褂靡曨l處理指令。視頻處理應(yīng)用可以使用Blackfin處理器專用的視頻處理指令，提高執(zhí)行效率。
將最耗時(shí)的一些函數(shù)用匯編語言改寫，充分利用Blackfin處理器的S1MD結(jié)構(gòu)的優(yōu)點(diǎn)和硬件上的并行性，在一個(gè)指令周期內(nèi)執(zhí)行多個(gè)操作，減少函數(shù)執(zhí)行需要的指令周期。最耗時(shí)的函數(shù)有宏塊解碼函數(shù)decode_one_macroblock、逆整數(shù)變換函數(shù)itrans、去塊效應(yīng)濾波函數(shù)EdgeLoop、濾波門限計(jì)算函數(shù)Get_Strength等函數(shù)。
下面以4×4矩陣逆整數(shù)變換函數(shù)itrans和1／4像素插值濾波get_block()，說明用匯編指令優(yōu)化帶來的性能提高。4×4矩陣的逆整數(shù)變換函數(shù)itrans采用的是2級(jí)蝶形運(yùn)算，先對(duì)4×4矩陣的每一行分別做行逆變換，再對(duì)每一列做列逆變換。一維變換采用如圖2所示的蝶形算法。
Blackfin處理器的SIMD結(jié)構(gòu)支持向量操作，最多可以在1個(gè)周期內(nèi)完成4個(gè)16位的加法操作。它的并行指令能同時(shí)進(jìn)行算術(shù)運(yùn)算和兩個(gè)數(shù)據(jù)的裝載／存儲(chǔ)操作。例如上述的蝶形運(yùn)算可以用如下指令實(shí)現(xiàn)(設(shè)寄存器IO中保存了輸人數(shù)據(jù)y[4][4]的地址，I2中保存了系數(shù)數(shù)組cof[2]={0x7fff，0x4000}的地址，Il中保存了臨時(shí)變量tmp[4][4]的地址，R2和R1保存的是中問結(jié)果)：
R7=[IO++]；
Al=R6．I*R7．1，AO=R6．1*R7．1(IS)┃│I R5=
[10++]┃┃[││++]=R2；
R4．h =(A1一一R5．1*R6．1)，R4．1=(AO+=R5．1*R6．1)(IS)││W[I1++]=R1．h；
R7．1=R6．1*R5．h(IS)1 W[11++]=R1．1；
R5=R7>>>1(v)；
A1=R6．1*R5．h，AO—R6．1*R5．1(IS)；
R3．h一(A1+一R6．1*R7．1)， R3．1一(AO =R6．1*R7．h)(IS)；
R2=R4+l+R3,R1=R4一│ 一R3：
完成一次一維逆變換只需8條指令，算上函數(shù)調(diào)用的開銷和其他一些輔助指令，完成一個(gè)4×4矩陣的逆整數(shù)變換時(shí)總共需要82條指令周期。表1是優(yōu)化前、后的比較。
get_block函數(shù)對(duì)像素矩陣進(jìn)行1／4像素插值操作。先用六階濾波器進(jìn)行1／2像素插值，然后用線性內(nèi)插法進(jìn)行l(wèi)／4像素插值。
l／2像素b計(jì)算方法為：b=round((E一5F+20G+20H一5I+j)／32)。示意圖如圖3所示。E、F、G、H、I、J是整數(shù)像素，b是G和H之問的1／2像素。
像素的亮度值為unsigned char類型，先利用并行指令可以在1個(gè)指令周期內(nèi)將8個(gè)像素的亮度值讀到寄存器，然后利用視頻專用指令將4個(gè)字節(jié)解包到1個(gè)寄存器對(duì)(R1：O或R3：2)中去，利用向量指令在1個(gè)周期內(nèi)進(jìn)行2次乘加操作。通過視頻專用指令、向量指令和并行指令的使用，減少了函數(shù)指令的指令周期數(shù)。
4 實(shí)驗(yàn)結(jié)果
在EZKit533開發(fā)板上測(cè)試了解碼器算法，對(duì)CIF格式(352×288)的foreman測(cè)試序列，可以達(dá)到45～50幀／s的解碼速度；對(duì)CIF格式的mobile測(cè)試序列，能夠達(dá)到40幀～44幀的解碼速度。如果增加解碼速率控制模塊，可以穩(wěn)定地實(shí)現(xiàn)以30幀／s的速率播放CIF測(cè)試序列。實(shí)驗(yàn)結(jié)果證明，在Blackiln處理器上實(shí)現(xiàn)H．264實(shí)時(shí)解碼器是可行的。ADI公司甚至聲稱可以在600 Mtz的BF533處理器上實(shí)現(xiàn)D1(720×576)格式的視頻實(shí)時(shí)解碼器。
BIackfin處理器有低功耗、低成本和高性能的特點(diǎn)。在Blackfin處理器上實(shí)現(xiàn)的H．264視頻解碼器很適合用于IP機(jī)頂盒、可視電話、PMP(便攜式媒體播放器)等嵌人式視頻應(yīng)用中。
|
