《數(shù)字視頻處理》PPT課件.ppt

《《數(shù)字視頻處理》PPT課件.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《《數(shù)字視頻處理》PPT課件.ppt（62頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、第 8章 數(shù) 字 視 頻 處 理 1 第 8章 數(shù) 字 視 頻 處 理 8.1 視 頻 技 術(shù) 及 其 應(yīng) 用8.2 快 速 運(yùn) 動(dòng) 估 計(jì) 技 術(shù)8.3 視 頻 壓 縮 技 術(shù)8.4 視 頻 壓 縮 標(biāo) 準(zhǔn) 第 8章 數(shù) 字 視 頻 處 理 2 8.1 視 頻 技 術(shù) 及 其 應(yīng) 用 與 靜 止 圖 像 相 反 ， 視 頻 (Video)為 活 動(dòng) 圖 像 (或 運(yùn) 動(dòng) 圖 像 )。我 們 所 看 到 的 電 影 和 電 視 都 屬 于 視 頻 的 范 疇 ， 它 實(shí) 際 上 是 由許 多 單 一 的 畫 面 所 組 成 ， 每 一 幅 畫 面 稱 為 一 幀 。 由 于 人 眼 的視 覺

2、惰 性 ， 每 秒 24幀 的 電 影 畫 面 就 形 成 了 連 續(xù) 活 動(dòng) 影 象 感 覺的 電 影 。 因 此 ， 幀 是 構(gòu) 成 視 頻 信 息 的 最 小 和 最 基 本 的 單 元 。 第 8章 數(shù) 字 視 頻 處 理 3 8.1.1 視 頻 信 號(hào) 的 數(shù) 字 化 大 家 日 常 使 用 的 電 視 和 錄 像 等 都 屬 于 模 擬 視 頻 ， 它 是 基 于 模 擬技 術(shù) 以 及 圖 像 的 廣 播 與 顯 示 所 確 定 的 國 際 標(biāo) 準(zhǔn) 。 模 擬 視 頻 圖 像具 有 成 本 低 和 還 原 度 好 等 優(yōu) 點(diǎn) 。 因 此 在 電 視 上 看 到 的 風(fēng) 景 錄 象

3、，往 往 具 有 身 臨 其 境 的 感 覺 。 但 它 的 最 大 缺 點(diǎn) 是 經(jīng) 過 長 時(shí) 間 的 存放 之 后 ， 視 頻 質(zhì) 量 將 大 為 降 低 ， 而 且 經(jīng) 過 多 次 復(fù) 制 之 后 ， 圖 像的 失 真 就 會(huì) 很 明 顯 。 而 數(shù) 字 視 頻 可 以 彌 補(bǔ) 這 些 缺 陷 。 它 不 僅 可以 無 失 真 地 進(jìn) 行 無 限 次 復(fù) 制 ， 而 且 還 可 以 對(duì) 視 頻 進(jìn) 行 創(chuàng) 造 性 的編 輯 ， 如 特 技 效 果 等 。而 數(shù) 字 視 頻 是 基 于 數(shù) 字 技 術(shù) 以 及 其 它 更 為 拓 展 的 圖 像 顯 示 標(biāo) 準(zhǔn) 。數(shù) 字 視 頻 有 兩 層

4、 涵 義 ， 一 是 模 擬 視 頻 信 號(hào) 輸 入 計(jì) 算 機(jī) 進(jìn) 行 數(shù) 字化 視 頻 編 輯 ， 最 后 制 成 數(shù) 字 視 頻 產(chǎn) 品 ； 二 是 指 視 頻 圖 像 由 數(shù) 字?jǐn)z 象 機(jī) 拍 攝 下 來 ， 從 信 號(hào) 源 開 始 ， 就 是 無 失 真 的 數(shù) 字 硯 頻 ， 視頻 圖 像 輸 入 計(jì) 算 機(jī) 時(shí) 不 再 者 慮 視 頻 質(zhì) 量 的 衰 臧 問 題 。 現(xiàn) 在 的 數(shù)字 視 頻 技 術(shù) 主 要 還 是 第 一 層 涵 義 ， 即 模 擬 視 頻 的 數(shù) 字 化 處 理 、 存 儲(chǔ) 和 輸 出 技 術(shù) 。 第 8章 數(shù) 字 視 頻 處 理 4 視 頻 的 數(shù) 字 化

5、是 指 在 一 段 時(shí) 間 內(nèi) 以 一 定 的 速 度 對(duì) 模 擬 頻 信 號(hào) 進(jìn) 行 捕捉 并 加 以 采 樣 后 形 成 數(shù) 字 化 數(shù) 據(jù) 的 處 理 過 程 。 通 常 的 視 頻 信 號(hào) 都 是 模擬 的 ， 在 進(jìn) 入 計(jì) 算 機(jī) 前 必 須 進(jìn) 行 數(shù) 字 化 處 理 ， 即 A D轉(zhuǎn) 換 和 彩 色 空間 變 換 等 。 視 頻 信 號(hào) 數(shù) 字 化 是 對(duì) 視 頻 信 號(hào) 進(jìn) 行 采 樣 捕 獲 ， 其 采 樣 深 度可 以 是 8、 16或 24位 等 。 采 樣 深 度 是 經(jīng) 采 樣 后 每 幀 所 包 含 的 顏 色 位 ，然 后 將 來 樣 后 所 得 數(shù) 據(jù) 保 存

6、 起 來 ， 以 便 對(duì) 它 進(jìn) 行 編 輯 、 處 理 和 播 放 。視 頻 信 號(hào) 的 采 集 就 是 將 模 擬 視 頻 信 號(hào) 經(jīng) 硬 件 數(shù) 字 化 后 ， 再 將 數(shù) 字 化數(shù) 據(jù) 加 以 存 儲(chǔ) 。 使 用 時(shí) ， 將 數(shù) 字 化 數(shù) 據(jù) 從 存 儲(chǔ) 介 質(zhì) 中 讀 出 ， 并 還 原 成圖 象 信 號(hào) 加 以 輸 出 。 視 頻 信 號(hào) 的 采 集 可 分 為 單 幅 畫 面 采 集 和 多 幅 動(dòng) 態(tài)連 續(xù) 采 集 。 在 單 幅 畫 面 采 集 時(shí) ， 可 以 將 輸 入 的 視 頻 信 息 定 格 ， 并 將 定格 后 的 單 幅 畫 面 以 多 種 圖 象 文 件 格

7、式 加 以 存 儲(chǔ) ， 對(duì) 于 多 幅 動(dòng) 態(tài) 連 續(xù) 采集 ， 可 對(duì) 視 頻 信 號(hào) 進(jìn) 行 實(shí) 時(shí) ， 動(dòng) 態(tài) 地 捕 獲 和 壓 縮 ， 并 以 文 件 形 式 存 儲(chǔ) 。對(duì) 視 頻 信 號(hào) 進(jìn) 行 數(shù) 字 化 采 樣 后 ， 則 可 以 對(duì) 數(shù) 字 視 頻 進(jìn) 行 編 輯 或 加 工 。 比 如 復(fù) 制 、 刪 除 、 特 技 變 換 和 改 變 視 頻 格 式 等 。 第 8章 數(shù) 字 視 頻 處 理 5 8.1.2 視 頻 信 號(hào) 的 處 理 視 頻 信 號(hào) 處 理 是 指 根 據(jù) 人 的 要 求 對(duì) 視 頻 圖 像 進(jìn) 行 某 種 處 理 ， 主要 包 括 ：(1) 在 保 證

8、 一 定 圖 像 質(zhì) 量 的 前 提 下 盡 可 能 壓 縮 視 頻 圖 像 的 數(shù) 據(jù) 量(即 視 頻 壓 縮 )。(2) 消 除 視 頻 信 號(hào) 產(chǎn) 生 、 獲 取 和 傳 輸 過 程 中 引 入 的 失 真 和 干 擾 ，使 視 頻 信 號(hào) 盡 可 能 逼 真 地 重 現(xiàn) 景 物 。 例 如 使 用 圖 像 增 強(qiáng) 技 術(shù) 和圖 像 恢 復(fù) 技 術(shù) 。(3) 根 據(jù) 某 些 準(zhǔn) 則 ， 盡 可 能 除 去 視 頻 圖 像 中 的 無 用 信 息 而 突 出 其主 要 信 息 。(4) 從 視 頻 圖 像 中 提 取 某 些 特 征 ， 以 便 對(duì) 其 進(jìn) 行 描 述 、 分 類 和 識(shí)別

9、 。 第 8章 數(shù) 字 視 頻 處 理 6 8.1.3 視 頻 信 號(hào) 的 壓 縮 編 碼 壓 縮 目 標(biāo) 是 在 盡 可 能 保 證 視 覺 效 果 的 前 提 下 減 少 視 頻 數(shù) 據(jù) 率 。由 于 視 頻 是 連 續(xù) 的 靜 態(tài) 圖 像 ， 因 此 其 壓 縮 編 碼 算 法 與 靜 態(tài) 圖 像的 壓 縮 編 碼 算 法 有 某 些 共 同 之 處 ， 但 視 頻 還 有 其 自 身 的 特 性 ，因 此 壓 縮 時(shí) 還 應(yīng) 考 慮 其 運(yùn) 動(dòng) 特 性 才 能 達(dá) 到 高 壓 縮 的 目 標(biāo) 。 在 視頻 壓 縮 中 常 需 用 以 下 的 一 些 基 本 概 念 ：（ 1） 有 損

10、和 無 損 壓 縮 ： 在 視 頻 壓 縮 中 有 損 和 無 損 的 概 念 與 靜 態(tài)圖 像 中 基 本 類 似 。（ 2） 幀 內(nèi) 和 幀 間 壓 縮 ： 幀 內(nèi) (Intraframe)壓 縮 也 稱 為 空 間 壓 縮(Spatial Compression)。 當(dāng) 壓 縮 一 幀 圖 像 時(shí) ， 僅 考 慮 本 幀 的 數(shù) 據(jù)而 不 考 慮 相 鄰 幀 之 間 的 冗 余 信 息 ， 這 實(shí) 際 上 與 靜 態(tài) 圖 像 壓 縮 類似 。 幀 內(nèi) 一 般 采 用 有 損 壓 縮 算 法 ， 由 于 幀 內(nèi) 壓 縮 時(shí) 各 個(gè) 幀 之 間沒 有 相 互 關(guān) 系 ， 所 以 壓 縮 后

11、的 視 頻 數(shù) 據(jù) 仍 可 以 以 幀 為 單 位 進(jìn) 行編 輯 。 幀 內(nèi) 壓 縮 一 般 達(dá) 不 到 很 高 的 壓 縮 。 第 8章 數(shù) 字 視 頻 處 理 7 采 用 幀 間 (Interframe)壓 縮 是 基 于 許 多 視 頻 或 動(dòng) 畫 的 連 續(xù)前 后 兩 幀 具 有 很 大 的 相 關(guān) 性 ， 或 者 說 前 后 兩 幀 信 息 變 化 很 小 的特 點(diǎn) 。 也 即 連 續(xù) 的 視 頻 其 相 鄰 幀 之 間 具 有 冗 余 信 息 ， 根 據(jù) 這 一特 性 ， 壓 縮 相 鄰 幀 之 間 的 冗 余 量 就 可 以 進(jìn) 一 步 提 高 壓 縮 量 ， 減小 壓 縮 比

12、。 幀 間 壓 縮 也 稱 為 時(shí) 間 壓 縮 (Temporal compression)， 它 通 過比 較 時(shí) 間 軸 上 不 同 幀 之 間 的 數(shù) 據(jù) 進(jìn) 行 壓 縮 。 幀 間 壓 縮 一 般 是 無 損 的 。 如 ： 幀 差 值 (Frame differencing)算 法 通 過 比 較 本 幀 與 相 鄰 幀 之 間 的 差 異 ， 僅 記 錄 本 幀 與 其 相 鄰幀 的 差 值 ， 這 樣 可 以 大 大 減 少 數(shù) 據(jù) 量 。 第 8章 數(shù) 字 視 頻 處 理 8 (3) 對(duì) 稱 和 不 對(duì) 稱 編 碼 ： 對(duì) 稱 (symmetric)意 味 著 壓 縮 和 解

13、壓縮 占 用 相 同 的 計(jì) 算 處 理 能 力 和 時(shí) 間 ， 對(duì) 稱 算 法 適 合 于 實(shí) 時(shí) 壓 縮和 傳 送 視 頻 ， 如 視 頻 會(huì) 議 應(yīng) 用 就 以 采 用 對(duì) 稱 的 壓 縮 編 碼 算 法 為好 。 而 在 電 子 出 版 和 其 它 多 媒 體 應(yīng) 用 中 ， 一 般 是 把 視 頻 預(yù) 先 壓縮 處 理 好 ， 爾 后 再 播 放 ， 因 此 可 以 采 用 不 對(duì) 稱 (asymmetric)編碼 。 不 對(duì) 稱 或 非 對(duì) 稱 意 味 著 壓 縮 時(shí) 需 要 花 費(fèi) 大 量 的 處 理 能 力 和時(shí) 間 ， 而 解 壓 縮 時(shí) 則 能 較 好 地 實(shí) 時(shí) 回 放

14、， 也 即 以 不 同 的 速 度 進(jìn)行 壓 縮 和 解 壓 縮 。 第 8章 數(shù) 字 視 頻 處 理 9 8.1.4 視 頻 信 號(hào) 的 傳 輸 與 存 儲(chǔ) 為 了 有 效 而 高 質(zhì) 量 地 傳 輸 視 頻 信 號(hào) ， 需 要 解 決 以 下 幾 個(gè) 問 題 ：（ 1） 視 頻 信 號(hào) 在 傳 輸 過 程 中 會(huì) 引 入 各 種 干 擾 和 噪 聲 ， 如 何 降低 甚 至 消 除 這 些 噪 聲 和 干 擾 ， 是 視 頻 信 號(hào) 傳 輸 要 解 決 的 首 要 問題 。 通 常 的 解 決 辦 法 有 ： 采 用 糾 錯(cuò) 編 碼 、 自 適 應(yīng) 均 衡 和 自 適 應(yīng)濾 波 等 。（

15、2） 為 了 節(jié) 省 頻 帶 ， 除 了 使 用 高 效 壓 縮 技 術(shù) 壓 縮 信 源 信 息 外 ，還 可 以 使 用 先 進(jìn) 的 數(shù) 字 調(diào) 制 技 術(shù) ， 例 如 殘 留 邊 帶 調(diào) 制 (VSB)、正 交 幅 度 調(diào) 制 (QAM)和 格 狀 編 碼 調(diào) 制 (TCM)等 。（ 3） 視 頻 信 號(hào) 除 可 通 過 廣 播 傳 輸 外 ， 還 可 通 過 有 線 電 視 、 光纖 、 微 波 等 進(jìn) 行 傳 輸 。 隨 著 窄 帶 綜 合 業(yè) 務(wù) 數(shù) 字 網(wǎng) 的 普 及 和 寬 帶綜 合 業(yè) 務(wù) 數(shù) 字 網(wǎng) 的 發(fā) 展 ， 視 頻 通 信 的 前 景 將 會(huì) 更 加 光 明 。 第

16、8章 數(shù) 字 視 頻 處 理 10 對(duì) 于 模 擬 電 視 信 號(hào) ， 最 常 見 的 存 儲(chǔ) 媒 體 是 錄 像 帶 。 另 一 種存 儲(chǔ) 模 擬 視 頻 信 號(hào) 的 媒 體 是 激 光 影 碟 （ LD） 。 但 1994年 出 現(xiàn)了 建 立 在 激 光 唱 盤 （ CD） 基 礎(chǔ) 上 的 視 頻 激 光 視 盤 （ V-CD） 。后 者 采 用 MPEG-l標(biāo) 準(zhǔn) ， 可 以 在 標(biāo) 準(zhǔn) 的 12厘 米 CD上 存 儲(chǔ) 74分 鐘VHS質(zhì) 量 的 視 頻 節(jié) 目 和 具 有 CD質(zhì) 量 的 立 體 聲 。 V-CD與 世 界 的所 有 廣 播 電 視 制 式 兼 容 ， 易 于 使 用

17、和 存 放 ， 而 且 生 產(chǎn) 成 本 也 較低 。 播 放 V-CD既 可 使 用 多 媒 體 計(jì) 算 機(jī) ， 也 可 使 用 專 門 的 V-CD播 放 機(jī) 。 由 于 數(shù) 字 視 盤 （ DVD） 采 用 了 MPEG-2標(biāo) 準(zhǔn) 中 的 MPML標(biāo) 準(zhǔn) ， 所 以 視 頻 圖 像 質(zhì) 量 大 大 優(yōu) 于 V-CD， 而 音 頻 部 分 采 用 杜比 公 司 開 發(fā) 的 AC-3系 統(tǒng) ， 其 圖 像 和 聲 音 質(zhì) 量 將 超 過 其 它 系 統(tǒng) 。 第 8章 數(shù) 字 視 頻 處 理 11 8.1.5 視 頻 技 術(shù) 的 應(yīng) 用（ 1） 視 頻 技 術(shù) 在 廣 播 電 視 中 的 應(yīng) 用

18、 廣 播 電 視 是 視 頻 技 術(shù) 的 傳 統(tǒng) 領(lǐng) 域 ， 早 期 的 黑 白 電 視 和 現(xiàn) 仍廣 泛 使 用 的 彩 色 電 視 及 其 相 關(guān) 產(chǎn) 品 ， 采 用 的 是 模 擬 視 頻 技 術(shù) ，而 數(shù) 字 電 視 （ 常 規(guī) 數(shù) 字 電 視 、 電 視 電 話 、 會(huì) 議 電 視 和 高 清 晰 度電 視 ） 全 面 使 用 數(shù) 字 視 頻 技 術(shù) ， 其 編 碼 、 存 儲(chǔ) 、 傳 輸 和 播 放 都實(shí) 行 數(shù) 字 化 。 數(shù) 字 視 頻 技 術(shù) 在 廣 播 電 視 中 的 應(yīng) 用 主 要 包 括 ： 地面 電 視 廣 播 、 衛(wèi) 星 電 視 廣 播 、 數(shù) 字 視 頻 廣 播

19、、 衛(wèi) 星 電 視 直 播 、有 線 電 視 、 交 互 式 電 視 、 常 規(guī) 電 視 和 高 清 晰 度 電 視 等 。 第 8章 數(shù) 字 視 頻 處 理 12 （ 2） 視 頻 技 術(shù) 在 通 信 領(lǐng) 域 中 的 應(yīng) 用 以 前 視 頻 通 信 一 直 局 限 于 傳 輸 單 向 的 模 擬 電 視 ， 在 通 信 網(wǎng)中 ， 高 質(zhì) 量 的 彩 色 數(shù) 字 視 頻 通 信 要 占 用 34Mbps以 上 的 帶 寬 ， 因而 很 不 經(jīng) 濟(jì) 。 由 于 視 頻 壓 縮 技 術(shù) 的 發(fā) 展 ， 使 得 視 頻 信 號(hào) 的 數(shù) 碼率 大 大 降 低 。 另 一 方 面 ， 通 信 技 術(shù) 的

20、 迅 速 發(fā) 展 又 為 視 頻 通 信 提 供 了 所 需的 帶 寬 。 視 頻 技 術(shù) 在 通 信 領(lǐng) 域 中 的 應(yīng) 用 主 要 包 括 ： 電 視 電 話 、會(huì) 議 電 視 、 多 媒 體 通 信 、 視 頻 點(diǎn) 播 、 常 規(guī) 電 視 和 高 清 晰 度 電 視 、交 互 式 電 視 以 及 視 頻 數(shù) 據(jù) 庫 等 。 第 8章 數(shù) 字 視 頻 處 理 13 （ 3） 視 頻 技 術(shù) 在 娛 樂 領(lǐng) 域 中 的 應(yīng) 用電 視 機(jī) 及 其 相 關(guān) 產(chǎn) 品 長 久 不 衰 的 原 因 在 于 它 是 大 眾 娛 樂 消 費(fèi) 產(chǎn)品 ， 電 視 是 目 前 人 類 最 重 要 的 信 息 傳

21、 播 媒 體 ， 它 對(duì) 人 類 生 活 的影 響 之 大 ， 簡 直 難 以 用 語 言 表 達(dá) ， 它 已 成 為 人 們 生 活 的 重 要 組成 部 分 。 視 頻 技 術(shù) 賴 以 生 存 和 迅 速 發(fā) 展 的 基 礎(chǔ) 在 于 娛 樂 領(lǐng) 域 ，其 主 要 應(yīng) 用 包 括 ： 常 規(guī) 電 視 和 高 清 晰 度 電 視 、 記 錄 、 存 儲(chǔ) 和 顯示 設(shè) 備 、 V-CD和 DVD、 交 互 式 電 視 、 電 視 電 話 、 電 視 購 物 、 視頻 點(diǎn) 播 和 視 頻 游 戲 等 。（ 4） 視 頻 技 術(shù) 在 計(jì) 算 機(jī) 領(lǐng) 域 中 的 應(yīng) 用視 頻 技 術(shù) 已 廣 泛 應(yīng)

22、用 到 計(jì) 算 機(jī) 領(lǐng) 域 。 現(xiàn) 在 高 檔 計(jì) 算 機(jī) 幾 乎 都 配置 有 視 頻 解 壓 縮 卡 、 CD-ROM和 視 頻 播 放 軟 件 ， 這 種 多 媒 體 計(jì)算 機(jī) 集 視 頻 畫 面 的 真 實(shí) 性 和 計(jì) 算 機(jī) 的 交 互 性 于 一 體 ， 已 成 為 當(dāng)前 計(jì) 算 機(jī) 領(lǐng) 域 的 熱 門 話 題 。 視 頻 技 術(shù) 在 計(jì) 算 機(jī) 領(lǐng) 域 中 的 應(yīng) 用 主要 包 括 ： 多 媒 體 計(jì) 算 機(jī) 、 CD-ROM和 V-CD、 視 頻 數(shù) 據(jù) 庫 、 多 媒體 通 信 、 交 互 式 電 視 、 三 維 圖 形 圖 像 、 動(dòng) 畫 設(shè) 計(jì) 與 制 作 、 視 頻制

23、作 以 及 虛 擬 現(xiàn) 實(shí) （ VR） 等 。 第 8章 數(shù) 字 視 頻 處 理 14 8.2 快 速 運(yùn) 動(dòng) 估 計(jì) 技 術(shù) 視 頻 序 列 在 時(shí) 間 上 有 很 強(qiáng) 的 相 關(guān) 性 ， 利 用 運(yùn) 動(dòng) 估 計(jì) 和 運(yùn) 動(dòng)補(bǔ) 償 技 術(shù) 可 以 有 效 地 去 除 圖 像 的 幀 間 冗 余 度 ， 從 而 實(shí) 現(xiàn) 比 幀內(nèi) 壓 縮 方 案 更 高 的 壓 縮 比 。 因 此 這 種 技 術(shù) 已 廣 泛 用 于 視 頻 壓縮 的 一 些 國 際 標(biāo) 準(zhǔn) ， 如 H.261、 H.263、 MPEG-1、 MPEG-2和MPEG-4等 。 作 為 幀 間 壓 縮 的 核 心 和 關(guān) 鍵 ，

24、運(yùn) 動(dòng) 估 計(jì) 技 術(shù) 受 到 了 人 們的 廣 泛 關(guān) 注 ， 出 現(xiàn) 了 多 種 研 究 方 案 ， 主 要 有 光 流 方 程 法 、 像素 遞 歸 法 和 塊 匹 配 法 （ BMA： Block Matching Algorithm） 三種 。 綜 合 考 慮 計(jì) 算 復(fù) 雜 度 和 編 碼 效 率 等 因 素 ， 塊 匹 配 法 由 于簡 單 實(shí) 用 ， 已 經(jīng) 成 為 運(yùn) 動(dòng) 估 計(jì) 算 法 的 主 流 。 第 8章 數(shù) 字 視 頻 處 理 15 8.2.1 運(yùn) 動(dòng) 估 計(jì) 模 型 活 動(dòng) 圖 像 (視 頻 )編 碼 主 要 研 究 由 物 體 和 攝 像 機(jī) 的 相 對(duì) 運(yùn) 動(dòng)

25、 而形 成 的 二 維 運(yùn) 動(dòng) 。 假 定 運(yùn) 動(dòng) 物 體 在 幀 間 做 平 移 運(yùn) 動(dòng) ， 相 對(duì) 應(yīng) 的運(yùn) 動(dòng) 模 型 可 以 表 示 為 ： u=x+Vx,v=y+Vy 當(dāng) 運(yùn) 動(dòng) 物 體 在 幀 間 有 旋 轉(zhuǎn) 、 形 狀 和 大 小 等 變 化 時(shí) ， 采 用 上式 所 表 示 的 運(yùn) 動(dòng) 模 型 作 運(yùn) 動(dòng) 估 計(jì) ， 會(huì) 產(chǎn) 生 很 大 的 估 計(jì) 誤 差 。 為了 解 決 這 個(gè) 問 題 ， 有 人 提 出 了 如 下 12 個(gè) 參 數(shù) 的 運(yùn) 動(dòng) 模 型 ： 65243221 65243221 bybybxybxbxbv ayayaxyaxaxau這 種 運(yùn) 動(dòng) 模 型 雖

26、 然 能 有 效 地 估 計(jì) 運(yùn) 動(dòng) 物 體 的 平 移 、 旋 轉(zhuǎn) 和 縮 放等 不 同 的 運(yùn) 動(dòng) 變 化 ， 但 需 要 進(jìn) 行 很 復(fù) 雜 的 參 數(shù) 估 計(jì) ， 因 此 并 不實(shí) 用 。 第 8章 數(shù) 字 視 頻 處 理 16 上 述 模 型 都 是 基 于 運(yùn) 動(dòng) 物 體 的 ， 然 而 在 視 頻 編 碼 過 程 中 把 圖像 分 割 成 有 不 同 運(yùn) 動(dòng) 的 物 體 非 常 困 難 。 通 常 采 用 兩 種 比 較 簡單 的 方 法 ： 一 種 方 法 是 把 圖 像 分 成 若 干 矩 形 塊 ， 假 定 塊 做 平 移 運(yùn) 動(dòng) ，對(duì) 塊 的 運(yùn) 動(dòng) 進(jìn) 行 匹 配 估

27、計(jì) ； 另 一 種 方 法 是 對(duì) 每 個(gè) 像 素 的 位 移 進(jìn) 行 遞 歸 估 計(jì) 。 通 常 像素 遞 歸 估 計(jì) 的 精 度 高 ， 對(duì) 多 運(yùn) 動(dòng) 畫 面 的 適 應(yīng) 性 強(qiáng) ， 但 它 的 跟蹤 范 圍 小 ， 實(shí) 現(xiàn) 復(fù) 雜 。 塊 匹 配 運(yùn) 動(dòng) 估 計(jì) 雖 然 精 度 低 ， 但 它 的 位 移 跟 蹤 能 力 強(qiáng) ， 容易 實(shí) 現(xiàn) ， 因 而 得 到 了 廣 泛 的 應(yīng) 用 ， 并 被 H.26x和 MPEG標(biāo) 準(zhǔn) 采用 。 第 8章 數(shù) 字 視 頻 處 理 17 8.2.2 塊 匹 配 運(yùn) 動(dòng) 估 計(jì) 的 原 理 塊 匹 配 的 基 本 思 想 就 是 將 當(dāng)前 幀 分

28、成 若 干 個(gè) 大 小 相 同 的 塊 ，對(duì) 每 一 個(gè) 塊 (當(dāng) 前 塊 )分 別 在 參 考幀 中 的 一 定 區(qū) 域 (稱 為 搜 索 窗 )內(nèi) ，按 照 一 定 的 匹 配 準(zhǔn) 則 搜 索 與 之 最接 近 的 塊 (稱 為 預(yù) 測(cè) 塊 )， 預(yù) 測(cè) 塊與 當(dāng) 前 塊 間 的 位 移 稱 為 運(yùn) 動(dòng) 矢 量 ，它 們 的 像 素 間 的 差 值 稱 為 殘 差 塊 ，預(yù) 測(cè) 塊 與 當(dāng) 前 塊 之 間 通 過 匹 配 準(zhǔn)則 函 數(shù) 得 到 的 值 稱 為 塊 失 真 度(BDM)。 這 樣 當(dāng) 前 幀 中 的 每 一 塊都 可 用 一 個(gè) 殘 差 塊 和 一 對(duì) 運(yùn) 動(dòng) 矢量 來 表

29、示 。 圖 8-1為 塊 匹 配 運(yùn) 動(dòng) 估計(jì) 的 示 意 圖 。 圖 8-1 塊 匹 配 運(yùn) 動(dòng) 估 計(jì) 示意 圖 第 8章 數(shù) 字 視 頻 處 理 18 這 里 ， 搜 索 窗 尺 寸 (搜 索 范 圍 )的 選 取 對(duì) 搜 索 結(jié) 果 有 很 大 影 響 ： 搜索 范 圍 越 大 ， 得 到 更 小 殘 差 塊 的 可 能 性 越 大 ， 但 這 會(huì) 帶 來 更 大的 時(shí) 間 開 銷 。 通 常 選 擇 的 搜 索 范 圍 有 7, 16, 32, 48, 64, 128等 。由 于 塊 匹 配 時(shí) 需 要 在 前 后 幀 間 逐 像 素 比 較 ， 如 果 采 用 全 搜 索 算法 (

30、即 窮 盡 參 考 幀 搜 索 區(qū) 域 所 有 可 能 的 點(diǎn) 進(jìn) 行 比 較 ， 從 中 找 到 全局 最 優(yōu) 點(diǎn) )， 計(jì) 算 量 非 常 巨 大 。 如 對(duì) 格 式 為 CIF(352 288)的 圖 像 ，若 塊 大 小 為 16 16， 當(dāng) 搜 索 范 圍 為 16時(shí) ， 每 個(gè) 塊 的 搜 索 點(diǎn) 數(shù)為 1089， 每 幀 圖 像 的 搜 索 點(diǎn) 數(shù) 則 達(dá) 到 431244； 當(dāng) 搜 索 范 圍 為 128時(shí) ， 每 幀 圖 像 的 搜 索 點(diǎn) 數(shù) 將 達(dá) 到 26155404， 因 此 快 速 塊 匹配 算 法 的 研 究 是 非 常 必 要 的 。 顯 然 ， 殘 差 塊 的

31、 值 越 小 ， 越 有 利 于 壓 縮 。 因 此 運(yùn) 動(dòng) 估 計(jì) 的 主 要目 標(biāo) 就 是 使 預(yù) 測(cè) 塊 與 當(dāng) 前 塊 之 間 的 BDM盡 量 小 ， 即 ： )(minarg vBDMMV v 第 8章 數(shù) 字 視 頻 處 理 19 8.2.3 塊 匹 配 運(yùn) 動(dòng) 估 計(jì) 的 各 個(gè) 環(huán) 節(jié) 塊 匹 配 運(yùn) 動(dòng) 估 計(jì) 可 從 三 個(gè) 方 向 進(jìn) 行 研 究 ： (1) 塊 形 狀 與 大 小 ； (2) 塊 匹 配 準(zhǔn) 則 ； (3) 搜 索 策 略 。 目 前 ， 塊 形 狀 與 大 小 以 及 塊 匹 配 準(zhǔn) 則 由 于 相 對(duì) 簡 單 ， 已 經(jīng) 有了 比 較 一 致 的

32、選 擇 ； 而 搜 索 策 略 最 為 復(fù) 雜 ， 它 決 定 了 一 個(gè) 算 法的 好 壞 ， 因 此 一 直 是 快 速 運(yùn) 動(dòng) 估 計(jì) 研 究 的 主 要 方 向 。 第 8章 數(shù) 字 視 頻 處 理 20 8.2.3.1 塊 形 狀 與 大 小 塊 匹 配 法 隱 含 著 如 下 假 設(shè) ： 同 一 塊 內(nèi) 的 像 素 的 運(yùn) 動(dòng) 是 一 致 的 。顯 然 這 個(gè) 假 設(shè) 具 有 一 定 的 片 面 性 ， 但 選 擇 合 適 的 塊 形 狀 與 大小 可 在 一 定 程 度 上 消 除 這 種 片 面 性 。 一 般 來 說 ， 塊 形 狀 選 用 正 方 形 是 比 較 自 然 的

33、 選 擇 ， 這 樣 既 便于 圖 像 的 劃 分 ， 又 有 利 于 塊 匹 配 準(zhǔn) 則 函 數(shù) 的 計(jì) 算 。 但 這 并 非總 是 最 佳 選 擇 ， 因 此 也 有 的 算 法 采 用 了 其 它 形 狀 。 第 8章 數(shù) 字 視 頻 處 理 21 關(guān) 于 塊 的 大 小 ， 顯 然 塊 越 小 ， 得 到 的 殘 差 塊 越 小 ， 但 這 會(huì) 引 入較 多 的 運(yùn) 動(dòng) 矢 量 ， 可 能 降 低 編 碼 的 效 率 。 作 為 折 衷 ， 通 常 選 擇16 16和 8 8像 素 的 正 方 形 塊 。 在 H.261、 MPEG-1和 MPEG-2中 ， 運(yùn) 動(dòng) 矢 量 是 以

34、16 16的 宏 塊 為 單 位 的 ， 由 于 塊 尺 寸 相 對(duì) 較大 ， 可 能 包 含 圖 像 中 不 同 的 運(yùn) 動(dòng) 部 分 ， 造 成 預(yù) 測(cè) 精 度 的 下 降 ；在 H.263和 MPEG-4中 標(biāo) 準(zhǔn) 則 在 宏 塊 運(yùn) 動(dòng) 矢 量 的 基 礎(chǔ) 上 加 入 了 以8 8塊 的 運(yùn) 動(dòng) 矢 量 ， 預(yù) 測(cè) 精 度 得 到 了 一 定 的 提 高 。 另 外 ， 有 的 運(yùn) 動(dòng) 估 計(jì) 算 法 ， 如 分 級(jí) 塊 匹 配 法 采 用 的 是 塊 大 小可 變 的 方 案 。 其 基 本 思 想 是 從 最 低 分 辨 率 級(jí) 開 始 ， 在 每 一 層 依次 進(jìn) 行 運(yùn) 動(dòng) 估

35、計(jì) 。 較 低 分 辨 率 用 于 確 定 相 對(duì) 較 大 塊 的 位 移 的 初略 估 計(jì) ， 接 著 把 低 分 辨 率 級(jí) 位 移 矢 量 的 估 計(jì) 值 傳 遞 到 下 一 個(gè) 高分 辨 率 級(jí) ， 較 高 分 辨 率 級(jí) 用 于 精 確 調(diào) 整 位 移 矢 量 的 估 計(jì) 。 第 8章 數(shù) 字 視 頻 處 理 22 8.2.3.2 塊 匹 配 準(zhǔn) 則 塊 匹 配 準(zhǔn) 則 是 判 斷 塊 相 似 程 度 的 依 據(jù) ， 因 此 匹 配 準(zhǔn) 則 的 好壞 直 接 影 響 了 運(yùn) 動(dòng) 估 計(jì) 的 精 度 ； 另 一 方 面 ， 匹 配 運(yùn) 算 復(fù) 雜 度 、數(shù) 據(jù) 讀 取 復(fù) 雜 度 在

36、很 大 程 度 上 取 決 于 所 采 用 的 塊 匹 配 準(zhǔn) 則 。 因此 ， 提 高 運(yùn) 動(dòng) 估 計(jì) 算 法 的 速 度 可 以 有 兩 種 途 徑 ， 一 種 是 減 少 搜索 匹 配 的 點(diǎn) 數(shù) ， 另 一 種 則 是 降 低 塊 匹 配 準(zhǔn) 則 的 計(jì) 算 復(fù) 雜 度 。 常用 的 塊 匹 配 準(zhǔn) 則 有 以 下 幾 種 ： (1) 均 方 誤 差 函 數(shù) (MSE) 10 10 212 ),(),(1),( Nm Nn njmiInmINNjiMSE該 準(zhǔn) 則 取 MSE最 小 者 對(duì) 應(yīng) 的 運(yùn) 動(dòng) 矢 量 作 為 搜 索 結(jié) 果 。 (2) 絕 對(duì) 平 均 差 函 數(shù) (MAD

37、) 10 10 12 |),(),(|1),( Nm Nn njmiInmINNjiMAD該 準(zhǔn) 則 取 MAD最 小 者 對(duì) 應(yīng) 的 運(yùn) 動(dòng) 矢 量 作 為 搜 索 結(jié) 果 。 第 8章 數(shù) 字 視 頻 處 理 23t為 閾 值 ， 是 判 斷 每 個(gè) 像 素 或 歸 入 匹 配 像 素 ， 或 歸 入 非 匹 配 像 素的 依 據(jù) 。 該 準(zhǔn) 則 取 MPC最 大 者 對(duì) 應(yīng) 的 運(yùn) 動(dòng) 矢 量 作 為 搜 索 結(jié) 果 。上 述 各 公 式 中 ， -Wi,j+W， W為 搜 索 范 圍 ， N為 宏 塊 大 小 ， 匹配 函 數(shù) 的 值 為 塊 失 真 度 BDM。 (3) 最 大 誤

38、差 最 小 函 數(shù) (MME) |),(),(|max),( 12, njmiInmIjiMME Gnm 該 準(zhǔn) 則 取 MME最 小 者 對(duì) 應(yīng) 的 運(yùn) 動(dòng) 矢 量 作 為 搜 索 結(jié) 果 。 (4) 最 大 匹 配 像 素 數(shù) (MPC) 10 10 ),(),( Nm Nn nmjiTjiMPC 其 他0 |),(),(|1),( 12 tnjmiInmInmjiT其 中 第 8章 數(shù) 字 視 頻 處 理 24 MSE匹 配 函 數(shù) 運(yùn) 動(dòng) 估 計(jì) 的 精 度 最 高 ， 但 其 眾 多 的 乘 方 運(yùn)算 在 VLSI實(shí) 現(xiàn) 中 比 較 困 難 ；MAD匹 配 函 數(shù) 略 差 ， 但 其

39、 相 對(duì) 簡 單 的 運(yùn) 算 易 于 在 VLSI中 實(shí) 現(xiàn) ；MME匹 配 函 數(shù) 則 過 于 簡 單 ， 沒 有 充 分 利 用 匹 配 塊 所 包 含的 特 征 信 息 ， 使 運(yùn) 動(dòng) 估 計(jì) 的 精 度 大 大 降 低 。相 對(duì) 而 言 ， MAD準(zhǔn) 則 函 數(shù) 比 較 實(shí) 用 ， 一 度 得 到 廣 泛 運(yùn) 用 。 第 8章 數(shù) 字 視 頻 處 理 25 8.2.3.3 搜 索 策 略 搜 索 策 略 是 運(yùn) 動(dòng) 估 計(jì) 算 法 最 關(guān) 鍵 也 是 最 復(fù) 雜 的 部 分 。 從 搜 索方 向 上 看 有 梯 度 式 (圖 8-2)、 螺 旋 式 (圖 8-3)， 從 搜 索 路 線

40、 上 看 有矩 形 (圖 8-2)、 交 叉 線 形 (圖 8-4)、 圓 形 (圖 8-5)和 菱 形 (圖 8-6)。 將它 們 與 不 同 的 搜 索 步 長 相 結(jié) 合 ， 可 得 到 不 同 的 搜 索 模 式 ； 為 保證 搜 索 過 程 及 時(shí) 停 止 ， 需 要 選 擇 合 適 的 中 止 準(zhǔn) 則 。 搜 索 模 式 體 現(xiàn) 了 搜 索 算 法 的 基 本 特 征 ， 它 從 根 本 上 決 定 了搜 索 算 法 的 效 率 ； 搜 索 中 止 準(zhǔn) 則 是 保 證 搜 索 過 程 結(jié) 束 的 條 件 。一 般 來 說 ， 梯 度 式 搜 索 能 夠 自 動(dòng) 中 止 搜 索 ，

41、螺 旋 式 搜 索 則 需 要指 定 搜 索 的 中 止 條 件 。 好 的 搜 索 中 止 準(zhǔn) 則 能 進(jìn) 一 步 提 高 搜 索 算法 的 效 率 。 第 8章 數(shù) 字 視 頻 處 理 26圖 8-2 梯 度 式 搜 索 圖 8-3 螺 旋 式 搜 索 圖 8-4 交 叉 線 型 搜 索 圖 8-5 圓 形 搜 索 圖 8-6 菱 形 搜 索 第 8章 數(shù) 字 視 頻 處 理 27 8.2.4 典 型 塊 匹 配 算 法 介 紹 最 簡 單 的 BMA是 全 搜 索 法 （ FS） ， 它 窮 盡 參 考 幀 搜 索 窗內(nèi) 所 有 可 能 的 點(diǎn) 進(jìn) 行 比 較 ， 確 實(shí) 能 找 到 B

42、DM最 小 的 匹 配 塊 ，因 此 ， 一 般 來 說 ， FS的 預(yù) 測(cè) 精 度 最 高 。 但 FS巨 大 的 時(shí) 間 開銷 妨 礙 了 它 在 實(shí) 際 中 的 應(yīng) 用 ， 因 此 出 現(xiàn) 了 各 種 類 型 的 快 速算 法 。 下 面 介 紹 一 些 典 型 的 快 速 算 法 。 第 8章 數(shù) 字 視 頻 處 理 28 1) 三 步 搜 索 法 (3SS) 3SS（ 如 圖 8-7） 于 1981年 提 出 ，是 經(jīng) 典 的 采 用 梯 度 式 搜 索 的 快速 BMA。 由 于 早 期 的 搜 索 范 圍為 7， 該 算 法 經(jīng) 過 三 步 搜 索 即可 結(jié) 束 ， 故 得 此

43、名 。 如 果 擴(kuò) 大搜 索 范 圍 ， 實(shí) 際 搜 索 過 程 就 不止 三 步 了 ， 此 時(shí) 稱 之 為 “ Log-D搜 索 ” 更 為 確 切 。 第 一 步 第 二 步 第三 步 圖 8-7 三 步 搜 索 法 第 8章 數(shù) 字 視 頻 處 理 29 3SS具 有 簡 單 易 實(shí) 現(xiàn) 、 每 個(gè) 塊 的 搜 索 點(diǎn) 數(shù) 相 同 的 優(yōu) 點(diǎn) 。 但它 也 有 一 個(gè) 致 命 的 缺 陷 ： 第 一 步 過 于 粗 糙 ， 在 搜 索 范 圍 較 大(如 16或 更 大 )時(shí) ， 初 始 步 長 相 對(duì) 于 塊 的 運(yùn) 動(dòng) 矢 量 估 計(jì) 來 說就 太 大 了 ， 跳 出 了 可 能

44、性 比 較 大 的 區(qū) 域 ， 導(dǎo) 致 搜 索 方 向 的 不確 定 性 ， 因 此 很 容 易 陷 入 局 部 最 優(yōu) 。 為 克 服 3SS的 上 述 缺 點(diǎn) ， 1994年 出 現(xiàn) 了 新 三 步 搜 索 法(N3SS)， 該 算 法 利 用 視 頻 運(yùn) 動(dòng) 矢 量 的 中 心 偏 置 分 布 特 點(diǎn) ， 加強(qiáng) 對(duì) 搜 索 中 心 區(qū) 域 ， 因 此 搜 索 精 度 有 一 定 程 度 的 提 高 。 另 外 ，N3SS引 入 了 “ 中 途 退 出 ” (Halfway-stop)的 思 想 ， 雖 然 比 較粗 造 ， 但 為 以 后 的 快 速 算 法 指 出 了 一 種 新 的

45、策 略 。 第 8章 數(shù) 字 視 頻 處 理 30 2) 四 步 搜 索 法 (4SS) 4SS(如 圖 8-8)于 1996年 提 出 ，其 得 名 原 因 與 3SS類 似 。 4SS既秉 承 了 3SS梯 度 式 搜 索 的 方 向 性 ，又 吸 收 了 N3SS的 優(yōu) 點(diǎn) 利 用 運(yùn)動(dòng) 矢 量 的 中 心 偏 置 特 點(diǎn) 。 如 果說 N3SS過 分 強(qiáng) 調(diào) 對(duì) 中 心 區(qū) 域 的搜 索 ， 顯 得 有 些 粗 造 的 話 ， 那么 4SS的 搜 索 顯 得 相 對(duì) 穩(wěn) 妥 ： 采用 較 小 的 步 長 漸 進(jìn) 地 搜 索 。 因此 ， 其 搜 索 精 度 較 N3SS又 有 進(jìn)一 步

46、 的 提 高 。 第 一 步 第 二 步 第 三步 第 四 步 圖 8-8 四 步 搜 索 法 第 8章 數(shù) 字 視 頻 處 理 31 3) 動(dòng) 態(tài) 搜 索 窗 調(diào) 整 算 法 (DSWA) 1993年 推 出 的 DSWA是 另 一 種 克 服 3SS搜 索 步 長 過 大 缺 陷 的算 法 ， 它 在 搜 索 過 程 中 能 根 據(jù) 搜 索 窗 收 斂 因 子 的 大 小 自 動(dòng) 調(diào) 整下 一 個(gè) 搜 索 階 段 的 搜 索 窗 的 尺 寸 ， 是 一 種 自 適 應(yīng) 的 梯 度 式 搜 索算 法 。 DSWA算 法 的 搜 索 窗 收 斂 因 子 Rw為 當(dāng) 前 階 段 搜 索 窗 大

47、小與 上 一 階 段 搜 索 窗 大 小 之 比 ， 可 以 表 示 為 ： 其 中 ， Th=0.6， Tl=0.3， M表 示 當(dāng) 前 搜 索 階 段 中 所有 搜 索 點(diǎn) BDM 的 次 最 小 值 ， N表 示 所 有 搜 索 點(diǎn) BDM的 最 小值 。 l hl hw TG TGT TGR ,4343 ,2121 ,4141 MNMG )( 第 8章 數(shù) 字 視 頻 處 理 32 搜 索 窗 內(nèi) 搜 索 點(diǎn) 的 分 布 有 兩 種 模 式 ： “ 十 ” 字 形 和 “ X ”形 (如 圖 7-9)， 兩 種 模 式 在 搜 索 的 每 一 個(gè) 階 段 交 替 使 用 ， 用 以 對(duì)

48、搜 索 方 向 進(jìn) 行 補(bǔ) 償 。 DSWA算 法 在 克 服 3SS缺 陷 的 效 果 方 面 不 如 后 來 出 現(xiàn) 的N3SS和 4SS， 其 改 變 搜 索 步 長 的 計(jì) 算 也 略 顯 復(fù) 雜 。 但 無 論 如 何 ，它 在 搜 索 過 程 模 式 的 轉(zhuǎn) 變 方 面 還 是 作 出 了 有 益 的 嘗 試 。圖 8-9 DSWA的 兩 種 搜 索模 式 第 8章 數(shù) 字 視 頻 處 理 33 4) 菱 形 搜 索 法 (DS) DS出 現(xiàn) 于 1997年 ， 它 其 實(shí) 是 在 4SS的 基 礎(chǔ) 上 采 用 菱 形 搜 索 路 線得 到 的 一 種 算 法 。 這 個(gè) 看 起

49、來 不 大 的 改 變 ， 卻 給 后 來 的 快 速 運(yùn)動(dòng) 估 計(jì) 算 法 帶 來 了 巨 大 的 影 響 。 由 于 菱 形 更 接 近 運(yùn) 動(dòng) 矢 量 的 分布 ， 該 算 法 比 4SS性 能 有 較 大 的 提 高 。 DS曾 于 1999年 7月 被MPEG組 織 采 用 ， 作 為 VM軟 件 的 運(yùn) 動(dòng) 估 計(jì) 算 法 。圖 7-10 菱 形 搜 索 過 程 示 例 DS算 法 最 大 的 貢 獻(xiàn) 是提 出 了 菱 形 搜 索 模 式 ， 更有 利 于 運(yùn) 動(dòng) 矢 量 的 編 碼 。但 與 新 一 代 搜 索 算 法 相 比 ，DS在 搜 索 策 略 方 面 顯 得過 于 簡

50、單 ， 因 而 搜 索 效 率不 夠 高 ， 而 且 PSNR有 時(shí)有 較 大 損 失 (如 對(duì) CCIR格式 的 Bus序 列 ， 平 均 PSNR 比 FS下 降 了 2.61dB)。 第 8章 數(shù) 字 視 頻 處 理 34 5) APDZS (1) 采 用 螺 旋 式 菱 形 搜 索 ；(2) 根 據(jù) 相 鄰 塊 的 運(yùn) 動(dòng) 矢 量 對(duì) 搜 索 起 點(diǎn) 進(jìn) 行 預(yù) 測(cè) ；(3) 在 兩 個(gè) 指 定 大 小 (4圈 )的 中 心 區(qū) 域 進(jìn) 行 搜 索 ；在 一 定 程 度 上 克 服 了 局 部 最 優(yōu) ， 但 也 帶 來 了 搜 索 效 率 的 問 題 。(4) 利 用 SAD的 閾

51、值 中 止 搜 索 過 程 。若 MinSAD=thresa， 中 止 搜 索 ； 若 thresaMinSAD=thresb, 繼續(xù) 搜 索 一 圈 。 這 里 thresa和 thresb具 有 一 定 的 自 適 應(yīng) 性 ： thresa為當(dāng) 前 塊 的 左 邊 、 上 邊 、 右 上 塊 SAD的 最 小 值 ，thresb=thresa+256； 而 在 其 前 身 ADZS-ER算 法 中 ， thresa = 768，thresb= 1792為 固 定 閾 值 。 APDZS 的 缺 點(diǎn) 是 算 法 結(jié) 構(gòu) 比 較 復(fù) 雜 。 該 算 法 (Advanced Predictive

52、 Diamond Zonal Search)是 香 港 科技 大 學(xué) 于 2000年 3月 在 荷 蘭 舉 行 的 第 51屆 MPEG會(huì) 議 上 提 出 的 ，它 是 在 ADZS-ER的 基 礎(chǔ) 上 改 進(jìn) 得 到 的 。 該 算 法 有 如 下 主 要 特 點(diǎn)(如 圖 8-11)： 第 8章 數(shù) 字 視 頻 處 理 35圖 8-11 APDZS 算 法 搜 索示 意 圖 第 8章 數(shù) 字 視 頻 處 理 36 8.3 視 頻 壓 縮 技 術(shù) 視 頻 壓 縮 的 基 本 方 法 應(yīng) 該 是 在 逐 幀 的 基 礎(chǔ) 上 ， 利 用 靜 態(tài) 圖 像壓 縮 技 術(shù) 中 的 任 何 一 種 。 除

53、 此 之 外 ， 還 可 以 使 用 幀 間 壓 縮 方法 ， 這 種 方 法 除 了 要 利 用 空 間 冗 余 、 頻 譜 冗 余 和 心 理 視 覺 冗余 外 ， 還 要 利 用 相 鄰 圖 像 間 存 在 的 相 似 性 而 產(chǎn) 生 的 時(shí) 間 冗 余 ，來 提 供 較 優(yōu) 的 壓 縮 編 碼 效 率 。 第 8章 數(shù) 字 視 頻 處 理 37 8.3.1 視 頻 預(yù) 測(cè) 編 碼 視 頻 預(yù) 測(cè) 編 碼 既 可 在 一 幀 圖 像 內(nèi) 進(jìn) 行 幀 內(nèi) 預(yù) 測(cè) 編 碼 ， 也 可 以在 多 幀 圖 像 內(nèi) 進(jìn) 行 幀 間 預(yù) 測(cè) 編 碼 。 預(yù) 測(cè) 編 碼 的 基 本 技 術(shù) 是 信 號(hào)

54、的 最 佳 預(yù) 測(cè) 和 最 佳 量 化 。(1) 幀 內(nèi) 預(yù) 測(cè) 編 碼 幀 內(nèi) 進(jìn) 行 預(yù) 測(cè) 編 碼 的 理 論 依 據(jù) 是 二 維 圖 像 中 相 鄰 像 素 間 存 在很 強(qiáng) 的 相 關(guān) 性 ， 因 此 可 用 已 知 的 前 面 幾 個(gè) 像 素 值 來 預(yù) 測(cè) 當(dāng) 前 像素 的 值 。 這 些 像 素 可 以 是 前 幾 行 的 或 前 幾 幀 的 ,分 別 稱 為 一 維 、二 維 和 三 維 預(yù) 測(cè) 。 然 后 對(duì) 實(shí) 際 值 與 預(yù) 測(cè) 值 的 差 值 (預(yù) 測(cè) 誤 差 )進(jìn)行 量 化 和 編 碼 。 第 8章 數(shù) 字 視 頻 處 理 38 幀 內(nèi) 預(yù) 測(cè) 編 碼 的 優(yōu) 點(diǎn)

55、是 方 法 簡 單 ， 硬 件 實(shí) 現(xiàn) 容 易 。 其 缺 點(diǎn) 是 對(duì)信 道 噪 聲 及 誤 碼 很 敏 感 ， 會(huì) 產(chǎn) 生 誤 碼 擴(kuò) 散 。 對(duì) 一 維 預(yù) 測(cè) 編 碼 來說 ， 即 使 某 1位 碼 差 錯(cuò) ， 將 會(huì) 使 該 像 素 后 面 的 同 一 行 所 有 像 素都 發(fā) 生 差 錯(cuò) 。 而 對(duì) 二 維 預(yù) 測(cè) 編 碼 ， 誤 碼 引 起 的 差 錯(cuò) 還 會(huì) 擴(kuò) 散 到以 下 各 行 ， 從 而 導(dǎo) 致 圖 像 質(zhì) 量 的 明 顯 下 降 。 同 時(shí) ， 幀 內(nèi) 預(yù) 測(cè) 編碼 的 壓 縮 比 較 低 ， 通 常 為 23倍 。 隨 著 變 換 編 碼 的 廣 泛 應(yīng) 用 ，幀 內(nèi)

56、 編 碼 的 作 用 已 很 有 限 。 目 前 ， 主 要 使 用 幀 間 預(yù) 測(cè) 方 法 來 壓縮 視 頻 信 號(hào) 。（ 2） 幀 間 預(yù) 測(cè) 編 碼幀 間 預(yù) 測(cè) 編 碼 的 理 論 依 據(jù) 是 視 頻 信 號(hào) 的 相 鄰 幀 (場(chǎng) )間 存 在 極 強(qiáng)的 相 關(guān) 性 。 利 用 這 種 時(shí) 間 相 關(guān) 性 來 進(jìn) 行 幀 間 編 碼 ， 可 獲 得 比 幀內(nèi) 預(yù) 測(cè) 編 碼 高 得 多 的 壓 縮 比 。 因 此 ， 幀 間 預(yù) 測(cè) 編 碼 廣 泛 用 于 常規(guī) 電 視 、 高 清 晰 度 電 視 、 會(huì) 議 電 視 和 電 視 電 話 等 視 頻 信 號(hào) 的 壓縮 編 碼 。 例 如

57、 ， H.26l建 議 、 MPEG標(biāo) 準(zhǔn) 等 。 第 8章 數(shù) 字 視 頻 處 理 39 幀 間 統(tǒng) 計(jì) 特 性 對(duì) 視 頻 信 號(hào) 來 說 ， 相 鄰 幀 （ 場(chǎng) ） 之 間 的 時(shí) 間 間 隔 很 小 （ 例如 ， 每 秒 25幀 的 電 視 信 號(hào) ， 其 幀 間 間 隔 時(shí) 間 為 0.04秒 ） 。 通 常 ，相 鄰 幀 （ 場(chǎng) ） 間 細(xì) 節(jié) 的 變 化 是 很 少 的 。 例 如 ， 電 視 電 話 中 相 鄰兩 幀 平 均 像 素 變 化 3（ 256級(jí) ） ） ，對(duì) 于 NTSC廣 播 電 視 ， 相 鄰 兩 幀 其 亮 度 信 號(hào) 平 均 只 有 7.5%的 像素 6（

58、256級(jí) ） ， 而 色 度 信 號(hào) 僅 0.65%的 像 素 大 于 此 值 。 實(shí) 驗(yàn) 表 明 ， 與 幀 內(nèi) 預(yù) 測(cè) 相 比 ， 幀 （ 場(chǎng) ） 間 預(yù) 測(cè) 一 般 可 獲 得10dB左 右 的 增 益 。 但 對(duì) 不 同 的 情 況 要 分 別 對(duì) 待 ， 例 如 ， 在 活 動(dòng)緩 慢 的 區(qū) 域 ， 其 幀 間 預(yù) 測(cè) 性 能 較 好 ， 而 在 快 速 活 動(dòng) 區(qū) 域 ， 則 幀間 預(yù) 測(cè) 性 能 較 差 。 通 常 ， 對(duì) 活 動(dòng) 非 常 劇 烈 的 部 分 ， 采 用 幀 內(nèi) 編碼 方 法 。 如 何 改 善 場(chǎng) 景 變 化 劇 烈 （ 例 如 ， 場(chǎng) 景 切 換 ， 物 體

59、高 速活 動(dòng) ） 情 況 下 的 編 碼 效 率 ， 是 視 頻 壓 縮 有 待 深 入 研 究 的 問 題 之一 。 第 8章 數(shù) 字 視 頻 處 理 40 幀 重 復(fù)對(duì) 于 景 象 靜 止 或 活 動(dòng) 很 慢 的 視 頻 信 號(hào) ， 可 以 少 傳 一 些 幀 ， 例如 ， 隔 幀 （ 場(chǎng) ） 傳 輸 。 未 傳 輸 的 幀 利 用 接 收 端 的 幀 存 儲(chǔ) 器 中所 保 存 的 前 一 幀 數(shù) 據(jù) 作 為 該 幀 數(shù) 據(jù) ， 這 對(duì) 視 覺 沒 有 什 么 影 響 。因 為 人 眼 對(duì) 靜 止 圖 像 （ 或 活 動(dòng) 慢 ） 部 分 ， 要 求 較 高 的 空 間 分辨 率 ， 而 對(duì)

60、 時(shí) 間 分 辨 率 的 要 求 可 低 些 。 在 電 視 電 話 中 多 采 用幀 重 復(fù) 方 法 。 閾 值 法所 謂 閾 值 法 ， 即 只 傳 送 像 素 亮 度 的 幀 間 差 值 超 過 某 一 閾 值 的像 素 。 例 如 ， 取 閾 值 為 5， 凡 是 絕 對(duì) 值 大 于 5的 幀 間 差 值 像 素就 傳 送 。 通 常 ， 閾 值 大 小 由 實(shí) 驗(yàn) 確 定 ， 但 也 可 根 據(jù) 緩 沖 存 儲(chǔ)器 的 占 有 率 來 控 制 。 第 8章 數(shù) 字 視 頻 處 理 41 幀 內(nèi) 插幀 內(nèi) 插 也 是 幀 間 預(yù) 測(cè) 的 有 效 方 法 。 對(duì) 活 動(dòng) 緩 慢 的 圖 像

61、 ， 可 使用 前 后 兩 幀 圖 像 進(jìn) 行 內(nèi) 插 ， 得 到 實(shí) 際 幀 圖 像 的 預(yù) 測(cè) 圖 像 ； 然后 對(duì) 實(shí) 際 幀 與 預(yù) 測(cè) 幀 的 差 值 信 號(hào) 進(jìn) 行 編 碼 。 運(yùn) 動(dòng) 補(bǔ) 償 預(yù) 測(cè)運(yùn) 動(dòng) 補(bǔ) 償 預(yù) 測(cè) 是 一 種 十 分 有 效 的 幀 預(yù) 測(cè) 方 法 ， 在 MPEG、H.261、 H.263等 標(biāo) 準(zhǔn) 中 廣 泛 使 用 ， 詳 細(xì) 內(nèi) 容 見 7.2節(jié) 。 自 適 應(yīng) 幀 內(nèi) /幀 間 編 碼當(dāng) 被 攝 對(duì) 象 活 動(dòng) 劇 烈 或 攝 影 像 機(jī) 本 身 活 動(dòng) 時(shí) ， 視 頻 信 號(hào) 的 幀間 相 關(guān) 性 明 顯 下 降 ， 幀 內(nèi) 相 關(guān) 性 增 強(qiáng)

62、 。 因 此 ， 可 根 據(jù) 景 象 的活 動(dòng) 情 況 進(jìn) 行 自 適 應(yīng) 幀 內(nèi) /幀 間 編 碼 ， 使 幀 間 預(yù) 測(cè) 誤 差 減 小 ，提 高 編 碼 效 率 。 第 8章 數(shù) 字 視 頻 處 理 42 8.3.2 運(yùn) 動(dòng) 補(bǔ) 償 （ MC） 編 碼 在 幀 間 圖 像 壓 縮 中 最 早 的 方 法 之 一 是 所 謂 的 條 件 補(bǔ) 充 技 術(shù) ，它 是 以 圖 像 分 割 為 基 礎(chǔ) ， 把 每 一 幀 圖 像 相 對(duì) 于 前 一 幀 分 割 成“ 變 化 ” 和 “ 不 變 ” 區(qū) 域 ， 然 后 ， 使 用 一 個(gè) 和 信 道 速 率 相 匹配 的 比 特 率 傳 輸 變 化

63、 區(qū) 域 中 關(guān) 于 像 素 地 址 和 密 度 的 信 息 。 變 化 區(qū) 域 中 的 密 度 用 DPCM方 法 進(jìn) 行 編 碼 。 因 為 變 化 信 息 的多 少 隨 著 幀 的 不 同 而 不 同 ， 因 此 ， 信 息 的 傳 輸 需 要 緩 沖 ， 并且 根 據(jù) 緩 沖 的 填 充 度 控 制 量 化 方 案 。 需 要 注 意 的 是 ， 因 為 條 件 補(bǔ) 充 不 需 要 對(duì) 運(yùn) 動(dòng) 矢 量 作 出 明 確的 估 算 ， 因 此 它 是 基 于 運(yùn) 動(dòng) 檢 測(cè) 的 算 法 ， 而 不 是 運(yùn) 動(dòng) 補(bǔ) 償 算法 。 第 8章 數(shù) 字 視 頻 處 理 43 通 過 對(duì) 變 化 區(qū)

64、 域 中 像 素 相 對(duì) 于 前 一 幀 圖 像 的 位 移 變 化 值 進(jìn)行 編 碼 ， 條 件 補(bǔ) 充 后 來 被 擴(kuò) 展 成 運(yùn) 動(dòng) 補(bǔ) 償 （ MC） DPCM。 只 要我 們 能 夠 精 確 地 估 算 出 位 移 矢 量 ， MC-DPCM方 法 就 能 產(chǎn) 生 更有 效 的 壓 縮 。 在 MC壓 縮 中 最 經(jīng) 常 使 用 的 運(yùn) 動(dòng) 估 算 方 法 就 是 像 素 循 環(huán) 算 法或 塊 匹 配 算 法 。 因 為 這 些 運(yùn) 動(dòng) 估 計(jì) 方 法 已 經(jīng) 在 前 面 詳 細(xì) 地 介紹 過 ， 因 此 這 里 我 們 假 設(shè) 運(yùn) 動(dòng) 矢 量 是 已 知 的 ， 僅 對(duì) 差 分 信

65、 號(hào)進(jìn) 行 編 碼 ， 同 樣 時(shí) 間 預(yù) 測(cè) 誤 差 也 是 已 知 的 。 下 面 將 介 紹 研 究時(shí) 間 預(yù) 測(cè) 誤 差 的 變 換 編 碼 和 矢 量 量 化 。 第 8章 數(shù) 字 視 頻 處 理 44 在 MPEG和 H.261標(biāo) 準(zhǔn) 所 使 用 的 MC變 換 編 碼 中 ， 通 過 把 位 移幀 的 差 分 分 成 若 干 塊 ， 并 且 像 二 維 DCT編 碼 中 的 那 樣 ， 對(duì) 每一 塊 的 DCT系 數(shù) 進(jìn) 行 編 碼 ， 這 樣 時(shí) 間 預(yù) 測(cè) 誤 差 就 被 進(jìn) 行 二 維變 換 處 理 。 時(shí) 間 預(yù) 測(cè) 的 目 標(biāo) 是 使 時(shí) 間 冗 余 達(dá) 到 最 小 ，

66、 而 DCT編 碼 利 用了 預(yù) 測(cè) 誤 差 中 的 空 間 冗 余 。 MC變 換 編 碼 算 法 特 點(diǎn) 具 有 幾 種 模式 ， 這 幾 種 模 式 能 把 逐 行 輸 入 和 隔 行 輸 入 都 體 現(xiàn) 出 來 。 這 些模 式 包 括 帶 有 運(yùn) 動(dòng) 補(bǔ) 償 或 不 帶 運(yùn) 動(dòng) 補(bǔ) 償 的 場(chǎng) 內(nèi) 、 幀 內(nèi) 和 場(chǎng) 間 、幀 間 預(yù) 測(cè) 。 在 場(chǎng) 內(nèi) 和 幀 內(nèi) 兩 種 模 式 中 ， 單 獨(dú) 一 場(chǎng) 或 整 個(gè) 一 幀上 像 素 的 實(shí) 際 密 度 構(gòu) 成 了 DCT塊 。 在 場(chǎng) 間 和 幀 間 兩 種 模 式 中 ，預(yù) 測(cè) 分 別 以 前 一 場(chǎng) 或 前 一 幀 為 基 礎(chǔ) 。 第 8章 數(shù) 字 視 頻 處 理 45 而 在 MC矢 量 量 化 （ MC-VQ） 中 ， 預(yù) 測(cè) 誤 差 信 號(hào) 是 通 過 矢 量 量化 進(jìn) 行 編 碼 的 。 對(duì) 預(yù) 測(cè) 誤 差 進(jìn) 行 編 碼 是 采 用 變 換 方 法 還 是 VQ方 法 取 決 于 幾 個(gè) 因 素 ， 包 括 編 碼 器 和 解 碼 器 的 復(fù) 雜 程 度 、 編碼 器 和 解 碼 器 的 成 本 費(fèi) 用 、