多聲道可擴(kuò)展MPEG4AAC解碼器VLSI設(shè)計(jì)0719班黃俊俏

《多聲道可擴(kuò)展MPEG4AAC解碼器VLSI設(shè)計(jì)0719班黃俊俏》由會員分享，可在線閱讀，更多相關(guān)《多聲道可擴(kuò)展MPEG4AAC解碼器VLSI設(shè)計(jì)0719班黃俊俏（6頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、多聲道可擴(kuò)展MPEG-4 AAC解碼器VLSI設(shè)計(jì)* 黃俊俏 高明倫 （合肥工業(yè)大學(xué) 電氣與自動(dòng)化工程學(xué)院，安徽 合肥 230009） 摘要：本文實(shí)現(xiàn)了多聲道可擴(kuò)展的MPEG-4 AAC(Advanced Audio Coding )解碼器的LC層次的原型芯片，局部優(yōu)化了解碼器系統(tǒng)架構(gòu)及主要功能模塊。采用整體串行、局部流水結(jié)構(gòu)，在無噪解碼模塊和反量化模塊之間，以及時(shí)域噪音修整(Temporal Noise Shaping,TNS)與濾波器組之間實(shí)現(xiàn)流水操作；而對于系統(tǒng)的其他模塊，實(shí)行串行解碼。模塊優(yōu)化方面所作的工作主要體現(xiàn)在對濾波器組模塊的算法優(yōu)化和硬件實(shí)現(xiàn)上。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)M

2、PEG-4 AAC解碼器在工作頻率可達(dá)50MHz。在不需要TNS處理的情況下，解單聲道的數(shù)據(jù)只需14891個(gè)時(shí)鐘周期；需要TNS處理的情況下需要37264個(gè)時(shí)鐘周期。在解立體聲聲道的數(shù)據(jù)時(shí)，因?yàn)樘囟ǖ木植苛魉顗那闆r下只需要59146個(gè)時(shí)鐘周期，可支持至少32個(gè)聲道的音頻信號的實(shí)時(shí)解碼。 關(guān)鍵字：MPEG4_AAC; VLSI; 多聲道; 可擴(kuò)展 VLSI Design of a scalable multi-channel MPEG-4 AAC Decoder Huang Junqiao， Gao Minglun (School of Electric Engineering

3、and Automation, Hefei University of Technology, Hefei 230009, Anhui Province, China) ABSTRACTS: This paper presented a VLSI design of a scalable multi-channel MPEG-4 Advanced Audio coding (AAC) decoder with low complexity(LC). The system architecture is optimized using Global-serial Local-pipeline

4、technology, in which pipelined circuit was optimized between the noiseless decoder and inverse quantifier, as well as between temporal noise shaping(TNS) and Filterbank modules. Further more, the filter-bank algorithm was also optimized and then the hardware structure is redesigned. Experimental res

5、ults showed that the proposed design only used 14,891 clock cycles for the solution of one mono data without TNS, and used 37,264 clock cycles for the case with TNS, while in the solution of stereo data, in the worst case only used 59,146 clock cycles because of specific local oipeline structure. An

6、d the proposed design of MPEG-4 AAC decoder could support at least 32-channel audio signals be decoded in real-time, in the case of operating frequency is 50MHz. KEYWORDS: MPEG4_AAC; VLSI; multi-channels; expandable 1 引 言作者簡介：黃俊俏（1985-），女，安徽明光人，合肥工業(yè)大學(xué)碩士生 高明倫（1945-），男，合肥工業(yè)大學(xué)教授，博士生導(dǎo)師

7、 MPEG-4 AAC音頻編碼標(biāo)準(zhǔn)在MPEG-1、MPEG-2和AC-3等的基礎(chǔ)上加入高分辨率濾波器組、預(yù)測等技術(shù)，在保證音質(zhì)的同時(shí)提高了音頻壓縮率，是新一代的高質(zhì)量壓縮編碼算法，在數(shù)字廣播系統(tǒng)、消費(fèi)電子類產(chǎn)品中有著廣闊的發(fā)展和應(yīng)用前景。 當(dāng)今的MPEG-4 AAC解碼器的設(shè)計(jì)大多是基于DSP或者微處理器比如ARM處理器[5][6]?；贒SP和微處理器的MPEG-4 AAC解碼器的設(shè)計(jì)的局限性，使得設(shè)計(jì)很難在很低的頻率下實(shí)現(xiàn)實(shí)時(shí)解碼，這就無法降低解碼器的功耗[7]，在軟件算法的優(yōu)化上也要投入巨大的精力，并且很難實(shí)現(xiàn)多聲道數(shù)據(jù)的實(shí)時(shí)解碼，所以本文選擇了VLSI設(shè)計(jì)。 在基本的MPEG-4

8、 AAC VLSI設(shè)計(jì)中，一般采用類似于文獻(xiàn)[5]所提出的完全串行架構(gòu)，在這種架構(gòu)中每個(gè)模塊對一幀數(shù)據(jù)解碼完成后存入存儲器中然后啟動(dòng)下一個(gè)模塊進(jìn)行解碼，也就是說，在一幀數(shù)據(jù)的解碼過程中每個(gè)時(shí)段都只有一個(gè)處理模塊在工作，并且每個(gè)模塊都要進(jìn)行一次存儲器的存取過程，這樣在解碼效率上就會有很大的限制。本文所提出的整體串行局部流水的架構(gòu)改進(jìn)了完全串行結(jié)構(gòu)對解碼效率的限制。使解碼效率有很大的提高。在此之外，本文還對解碼器中各模塊，尤其是Filterbank模塊的算法及硬件實(shí)現(xiàn)做了優(yōu)化，進(jìn)一步提高了解碼速度。 本文首先介紹了所設(shè)計(jì)的MPEG-4 AAC解碼器的整體結(jié)構(gòu)，然后對結(jié)構(gòu)中局部流水部分進(jìn)行詳細(xì)的說

9、明，在這之后將對Filterbank的優(yōu)化算法的硬件實(shí)現(xiàn)進(jìn)行描述，最后給出實(shí)現(xiàn)結(jié)果和結(jié)論。 2 解碼器架構(gòu) 本文所設(shè)計(jì)的AAC結(jié)構(gòu)如圖1所示，主要包括無噪解碼模塊（Noiseless Decording）、反量化逆比例模塊（Inverse Quantizer）（后文均簡稱反量化模塊）、立體聲處理模塊(M/S/Intensity decording)、時(shí)域噪聲整形模塊(TNS)、濾波器組模塊(Filterbank)。 本設(shè)計(jì)使用了兩個(gè)大小為1024的32位的頻譜數(shù)據(jù)存儲器（后文均簡稱左右存儲器），以便在立體聲處理的時(shí)候可以同時(shí)準(zhǔn)備好兩個(gè)聲道的數(shù)據(jù)。 圖1 MPEG-4 AAC 結(jié)構(gòu)圖

10、 在本文的設(shè)計(jì)中，因?yàn)楸壤蜃咏獯a模塊的設(shè)計(jì)與無噪解碼模塊用了相同的設(shè)計(jì)原理，所以將其和無噪解碼模塊合為一個(gè)模塊。圖1中的Noiseless Decoding模塊中是包含了比例因子解碼的。 考慮到控制的難度以及音頻數(shù)據(jù)處理的特殊性—雖然可分為32個(gè)子帶分別處理，但是多數(shù)處理模塊的運(yùn)算是基于一個(gè)聲道的所有數(shù)據(jù)，立體聲處理模塊甚至要左右兩個(gè)聲道的數(shù)據(jù)，所以針對整個(gè)系統(tǒng)的流水結(jié)構(gòu)在這里就會需要耗費(fèi)大量的存儲資源，為了在降低Memory的使用量的基礎(chǔ)上提高解碼速度，本文選擇了在完全串行結(jié)構(gòu)的基礎(chǔ)上增加局部流水的架構(gòu)方案。 解碼器的整體控制電路如圖2所示。 圖2 MPEG-4 解碼器的控制邏輯電

11、路圖 圖2中所表示的邏輯如圖3所示，當(dāng)A為1,B為0時(shí)將o置1并在B被置1之前都保持，當(dāng)B為1時(shí)將o清0。 圖3 控制邏輯電路部分子邏輯 如圖2 所示，整個(gè)解碼器的控制是按照以下過程進(jìn)行的： 在本文的設(shè)計(jì)中，格式器是通過移位寄存器從碼流FIFO中取出數(shù)據(jù)的，所以在解碼啟動(dòng)之前要保證碼流FIFO非空，并在移位寄存器中時(shí)刻檢測碼流fifo的狀態(tài)。解碼啟動(dòng)后，先由格式器按照語法單元的順序，解出各控制信息，并控制無噪解碼模塊按順序解出比例因子和頻譜值，無噪解碼模塊將比例因子值存入比例因子存儲器中，以供下一模塊使用（反量化模塊），并且將解出的頻譜值輸入到反量化模塊進(jìn)行反量化逆比例處理，反量化

12、模塊將得到的處理結(jié)果存入到左右存儲器中，并反饋IQ_done信號給格式器。格式器在接收到IQ_done信號之后，判斷當(dāng)前處理的是否為立體聲數(shù)據(jù)，是則將ms_en信號拉高，啟動(dòng)立體聲處理，而TNS模塊就由ms_done信號啟動(dòng)，非則將skip_ms信號拉高，跳過立體聲處理模塊直接啟動(dòng)TNS模塊。而TNS模塊處理完后，在當(dāng)前數(shù)據(jù)為單聲道時(shí)啟動(dòng)濾波器組模塊，并等待下一次ms的啟動(dòng)信號，而在當(dāng)前數(shù)據(jù)為立體聲數(shù)據(jù)時(shí)，啟動(dòng)Filterbank后自行進(jìn)行下一個(gè)聲道數(shù)據(jù)的解碼，并將處理數(shù)據(jù)存入另一個(gè)存儲器中。Filterbank在解完每一個(gè)聲道數(shù)據(jù)時(shí)將解出的時(shí)域數(shù)據(jù)依次存入PCM FIFO中，在一幀數(shù)據(jù)所有聲

13、道全部取不解完后啟動(dòng)Codec模塊發(fā)聲。 由以上控制過程可知，本文所設(shè)計(jì)的解碼器在串行架構(gòu)的基礎(chǔ)上實(shí)現(xiàn)了局部流水。 本文在兩個(gè)地方實(shí)現(xiàn)了局部流水（圖1中虛線框出的部分），一個(gè)是Noiseless Decoder和Inverse Quartizer之間，在他們之間的流水是完全流水，就是從Noiseless Decorder解出來的數(shù)直接寄存一級輸入到Inverse Quartizer進(jìn)行反量化處理，Noiseless Decorder繼續(xù)解下一個(gè)數(shù)，這樣就節(jié)省了中間的存取步驟，而且使Noiseless Decoder和Inverse Quartizer的解碼時(shí)間合并起來，大大減少了解碼時(shí)間。

14、第二處實(shí)現(xiàn)局部流水的地方是TNS和濾波器組之間，因?yàn)閿?shù)據(jù)處理的特殊性，這里實(shí)現(xiàn)的只是聲道間的流水，而且實(shí)現(xiàn)的流水只在立體聲數(shù)據(jù)的情況下才起作用。在處理立體聲數(shù)據(jù)局部流水具體時(shí)序情況如圖4所示。 圖4 立體聲數(shù)據(jù)局部流水處理步驟 如圖4所示，圖中N-D表示Noiseless Decoder,模塊表示后面的數(shù)字1、2表示所解的聲道的序號，一般1為左聲道，2為右聲道。由圖2可以看出，當(dāng)N-D解完之后IQ基本上就跟著解完了，而當(dāng)TNS處理完第一個(gè)聲道的數(shù)據(jù)后，將數(shù)據(jù)存入左RAM中，就接著處理第二個(gè)聲道的數(shù)據(jù)，同時(shí)Filterbank開始處理第一個(gè)聲道的數(shù)據(jù)，這樣就實(shí)現(xiàn)了聲道間的局部流水。從以上分析

15、可以看出，局部流水的結(jié)構(gòu)將節(jié)省大量的解碼時(shí)間。 本文所采用的局部流水結(jié)構(gòu)比經(jīng)典的完全串行結(jié)構(gòu)解碼所需周期數(shù)減少了18452，詳見第4部分中表1。 3 Filterbank模塊的優(yōu)化 模塊的優(yōu)化策略直接影響著整個(gè)系統(tǒng)的性能和面積，對AAC來說，對系統(tǒng)性能和面積影響最大的一個(gè)模塊是濾波器組模塊。所以在這里，重點(diǎn)介紹下Filterbank的優(yōu)化設(shè)計(jì)方法以及硬件實(shí)現(xiàn)。 Filterbank的處理需要經(jīng)過以下三個(gè)過程： IMDCT ->windowing（加窗）->overlap-add（去混疊）[1][2] 在Filterbank總體結(jié)構(gòu)的設(shè)計(jì)中，我們將IMDCT運(yùn)算得出的數(shù)據(jù)加窗，然后直

16、接疊加上一幀的后半部分?jǐn)?shù)據(jù)進(jìn)行存儲，省去了中間存取時(shí)間。 對IMDCT 的設(shè)計(jì)，我們采用采用常用的經(jīng)典優(yōu)化方法，使用IFFT進(jìn)行優(yōu)化[3]。 IMDCT結(jié)構(gòu)如圖5所示。 圖5 IMDCT結(jié)構(gòu)示意圖 其中，Pre-IFFT將輸入到Filterbank的數(shù)據(jù)分為偶部和奇部，并與旋轉(zhuǎn)因子相乘，然后分別存入實(shí)部和虛部的ram中，長塊數(shù)據(jù)存入512ram中，短塊數(shù)據(jù)存入64ram中,公式如式（1）、（2）所示。 , (1) (2) Pre-IFFT的數(shù)據(jù)流圖如圖6所示： 圖6 pre-IFFT 數(shù)據(jù)流圖 其中，控制單元控制數(shù)據(jù)的讀寫以及讀寫

17、地址的生成，數(shù)據(jù)處理單元完成對應(yīng)數(shù)據(jù)的相乘相加，并將結(jié)果分別存入實(shí)部RAM和虛部RAM中，以供IFFT模塊使用。 IFFT將Pre-IFFT所得的復(fù)數(shù)序列進(jìn)行反傅立葉變換，公式如式（3）所示。 ， (3) 將公式（3）具體到每個(gè)蝶形，每個(gè)級蝶形運(yùn)算的公式表述如下： 記，，，， 可得到： (4) (5) ， (6) (7) (8) (9) 在最后一級蝶形運(yùn)算時(shí)，需要乘以系數(shù)2/N，得到最終的結(jié)果。 從上述蝶形運(yùn)算的公式我們選擇了速度

18、最快的蝶形運(yùn)算的硬件實(shí)現(xiàn)方法。 IFFT中的一個(gè)級蝶形硬件實(shí)現(xiàn)主要電路如圖7所示。 圖7蝶形結(jié)的硬件實(shí)現(xiàn)結(jié)構(gòu)圖 以圖7所示的電路進(jìn)行設(shè)計(jì)，對一個(gè)蝶形結(jié)，運(yùn)算加Memory的存取只需要4個(gè)周期，完全將運(yùn)算隱藏在Memory的讀取周期中。 對于Post-IFFT，在我們的設(shè)計(jì)中是將其融于加窗和去混疊運(yùn)算中的，硬件設(shè)計(jì)難度不大，優(yōu)化空間也比較小，所以在這里我們不加詳述。 ４ FPGA原型驗(yàn)證與分析 本文的設(shè)計(jì)通過FPGA原型驗(yàn)證來驗(yàn)證設(shè)計(jì)的功能正確性，分析解碼器的面積速度等性能。 FPGA測試平臺的結(jié)構(gòu)如圖8所示，我們采用EPS1801020c4FPGA開發(fā)板進(jìn)行FPGA驗(yàn)證。因?yàn)榇薋

19、PGA開發(fā)板上有以太網(wǎng)口，支持立體聲播放的音頻播放芯片（TLV320AIC23），以及32MByte的SDRAM，所以我們充分利用這些資源進(jìn)行原型芯片的驗(yàn)證。我們通過ARM處理器驅(qū)動(dòng)以太網(wǎng)口從PC機(jī)上下載數(shù)據(jù)至板上的SDRAM中，然后再通過ARM將SDRAM的數(shù)據(jù)送入AAC Decoder的數(shù)據(jù)fifo中，啟動(dòng)AAC Decoder進(jìn)行解碼。 因?yàn)镋PS1801020c4 FPGA板上的Audio Codic只支持兩個(gè)聲道的音頻播放，所以當(dāng)要多多聲道的設(shè)計(jì)進(jìn)行測試時(shí)，就要設(shè)計(jì)方案對各個(gè)聲道分別進(jìn)行測試。在這里我們使用在Codic控制模塊增加開關(guān)切換機(jī)制進(jìn)行測試，分別對各個(gè)聲道兩兩進(jìn)行主觀測試

20、。 圖8 FPGA驗(yàn)證平臺 在我們的測試中，分別對立體聲的音頻數(shù)據(jù)以及5.1聲道的數(shù)據(jù)進(jìn)行了解碼測試。 通過對音頻效果的主觀測試，音頻效果良好，然后再對其進(jìn)行客觀的數(shù)據(jù)對比，在這里我們使用Adobe Audition對硬件解出的數(shù)據(jù)和標(biāo)準(zhǔn)的開源軟件解出的數(shù)據(jù)進(jìn)行對比，測試數(shù)據(jù)的對比圖如圖9所示。 圖9 測試數(shù)據(jù)對比圖 圖中上面波形為AAC格式播放的波形，下面波形為本文設(shè)計(jì)的解碼器解出的PCM數(shù)據(jù)播放的波形，波形基本一致。 使用局部流水架構(gòu)和完全串行架構(gòu)處理一對立體聲數(shù)據(jù)所耗時(shí)鐘周期數(shù)對比如表1所示。 從表1可以看出，本文所采用的局部流水結(jié)構(gòu)比經(jīng)典的完全串行結(jié)構(gòu)解碼所需周

21、期數(shù)減少了18452，大大提高了解碼的效率。 表1 局部流水結(jié)構(gòu)和完全串行結(jié)構(gòu)所耗周期數(shù)對比 N-D IQ R/W TNS Filter- bank 完全 串行 1025*2 1029 *2 2048 22400 *2 12288 *2 總和 N-D+IQ+R/W =4102*2 TNS+Filterbank =34688*2 局部 流水 N-D+IQ+R/W =1029*2 TNS+Filterbank =57088 優(yōu)化 6164 12288 整個(gè)解碼系統(tǒng)的各部分及總體的解碼周期數(shù)以及所占資源如表2所示。 表2 解碼器各

22、項(xiàng)性能列表 周期數(shù) 所占資源 ALUTs Registers 格式器 共1282 412 799 無噪解碼 5185 1997 反量化 472 259 立體聲解碼 1294 1684 649 TNS 22400 1799 2228 濾波器組 12288 3029 863 整個(gè)解碼器 37264 12581 6795 表2所列出的整個(gè)解碼器的周期數(shù)為解單聲道數(shù)據(jù)所需的周期數(shù)，在解立體聲數(shù)據(jù)的時(shí)候，由于局部流水架構(gòu)的作用，一對聲道的解碼只需要57088+2058=59146個(gè)時(shí)鐘周期（請參照表1）。 本文所設(shè)計(jì)的解碼器各性能和

23、已有的設(shè)計(jì)性能比較如表3 所示。 表3 設(shè)計(jì)性能比較 系統(tǒng)周期數(shù) （立體聲） Filterbank 周期數(shù) 文獻(xiàn)[4] 90000 38000 本文 59146 12288 本文/文獻(xiàn)[4] 65.71% 32.34% 由于對于比較普遍采用的采樣率44.1KHZ來說，一幀數(shù)據(jù)的播放時(shí)間約為23.22ms，所以解碼時(shí)間必須控制在23.22ms以內(nèi)，而本文所設(shè)計(jì)的MPEG-4 AAC解碼器在時(shí)鐘頻率為50MHZ的情況下，解單聲道的數(shù)據(jù)最多需要 37264*(1/(50*)) =0.745ms，所以，在這種情況下，本文的設(shè)計(jì)至少可以支持23.22/0.74532個(gè)

24、聲道的音頻數(shù)據(jù)的實(shí)時(shí)解碼。 5.結(jié)論 本文所采用的整體串行局部流水的MPEG-4 AAC解碼器架構(gòu)以及在濾波器組硬件實(shí)現(xiàn)的優(yōu)化上所做的工作使得解碼器的速度有了很大的提高，電路的設(shè)計(jì)在工作頻率為50MHz的情況下至少可支持32聲道的實(shí)時(shí)解碼。但由于在TNS模塊所做的優(yōu)化不夠，所以仍然制約了解碼器的速度，所以我們將在進(jìn)一步的工作對TNS模塊進(jìn)行優(yōu)化，進(jìn)一步提高解碼器的速度?；蛘咴诂F(xiàn)有架構(gòu)的基礎(chǔ)上，對單聲道數(shù)據(jù)的處理也實(shí)現(xiàn)聲道間流水，因?yàn)閷温暤罃?shù)據(jù)的解碼不需要進(jìn)行立體聲處理，所以可以實(shí)現(xiàn)所有模塊的聲道間流水，這樣就可以在很大程度上提高解碼效率，實(shí)現(xiàn)更高的聲道擴(kuò)展數(shù)的要求。 [參 考 文 獻(xiàn)]

25、 [1] ISO/IEC 14496-3, 2001/amd.2:2004(S), “Coding of Audio-Visual Objects,Part 3: Audio”, .2004 [2] ISO/IEC JTC1/SC29/WG11 No.1650 “ISO 13818-7 (MPEG-2 Advanced Audio Coding, AAC)”(S), April 1997. [3] Fuhui du, Gaoming Du, Yukun Song ,et al..An implementation of filterbank for MPEG-2 AAC on FPGA

26、. Proceeding of Anti-counterfeiting, Security and Identification 2008 (ASID2008),guiyang,china,2008:391 - 394 .[4] Peilin Liu,Lingzhi Liu, Ning Deng ,et al.VLSI Implementation for Portable Application Oriented MPEG-4 Audio Codec. Proceeding of IEEE International Symposium on Circuits and Systems, 2

27、007(ISCAS 2007). New Orleans,USA,2008:777 - 780. [5] Antonio Servetti , Alessandro Rinotti , Juan Carlos, et al.Fast Implementation of the MPEG-4 AAC Main and Low Complexity Decorder. Proceeding of IEEE International Conference on Acoustics, Speech, and Signal Processing 2004(ICASSP 2004), Montreal

28、, Canada ,2004:Page(s):V - 249-52 vol.5 [6] Vladimir MesaroviC, N.D.Hemkumal, Miroslav Dokic.MPEG-4 AAC Audio Decoding on A 24-Bit Fixed-Point Dual-DSP Architecture. Proceeding of IEEE International Symposium on Circuits and Systems,2000（ISCAS 2000），Geneva, Switzerland , vol.3 2000: 706 - 709 [7] Hongsheng Zhang, Mingying Lu, Guoyu Wang.An ASIC Implementation of MPEG Audio Decoders. Proceeding of IEEE International Conference on ASIC 2007 (ASICON 2007) ，guilin，china，2007:754 - 757 .