模式識別學習心得.ppt

《模式識別學習心得.ppt》由會員分享，可在線閱讀，更多相關《模式識別學習心得.ppt（16頁珍藏版）》請在裝配圖網(wǎng)上搜索。

模式識別學習心得,作者：白靜 2012.9.8,模式識別定義,模式識別(Pattern Recognition)是指對表征事物或現(xiàn)象的各種形式的(數(shù)值的、文字的和邏輯關系的)信息進行處理和分析,以對事物或現(xiàn)象進行描述、辨認、分類和解釋的過程,是信息科學和人工智能的重要組成部分。 模式識別又常稱作模式分類，從處理問題的性質和解決問題的方法等角度，模式識別分為有監(jiān)督的分類（Supervised Classification）和無監(jiān)督的分類(Unsupervised Classification)兩種。二者的主要差別在于各實驗樣本所屬的類別是否預先已知。一般說來，有監(jiān)督的分類往往需要提供大量已知類別的樣本，但在實際問題中，這是存在一定困難的，因此研究無監(jiān)督的分類就變得十分有必要了。 模式還可分成抽象的和具體的兩種形式。前者如意識、思想、議論等,屬于概念識別研究的范疇,是人工智能的另一研究分支。我們所指的模式識別主要是對語音波形、地震波、心電圖、腦電圖、圖片、照片、文字、符號、生物傳感器等對象的具體模式進行辨識和分類。,模式識別的發(fā)展簡史,1929年 G. Tauschek發(fā)明閱讀機 ，能夠閱讀0-9的數(shù)字。 30年代 Fisher提出統(tǒng)計分類理論，奠定了統(tǒng)計模式識別的基礎。 50年代 Noam Chemsky 提出形式語言理論——傅京蓀提出句法/結構模式識別。 60年代 L.A.Zadeh提出了模糊集理論，模糊模式識別方法得以發(fā)展和應用 80年代 以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡模型導致人工神經(jīng)元網(wǎng)絡復活，并在模式識別得到較廣泛的應用。 90年代 小樣本學習理論，支持向量機也受到了很大的重視。,模式識別的方法和應用,模式識別的方法： 統(tǒng)計模式識別 句法模式識別 模糊模式識別 人工神經(jīng)網(wǎng)絡法 人工智能方法 模式識別的應用 文字識別 語音識別 指紋識別 遙感 醫(yī)學診斷,模式識別基本概念,模式識別(Pattern Recognition)：確定一個樣本的類別屬性（模式類）的過程，即把某一樣本歸屬于多個類型中的某個類型。 樣本（Sample)：一個具體的研究（客觀）對象。如患者，某人寫的一個漢字，一幅圖片等。 模式(Pattern)：對客體（研究對象）特征的描述（定量的或結構的描述），是取自客觀世界的某一樣本的測量值的集合（或綜合）。 特征(Features)：能描述模式特性的量（測量值）。在統(tǒng)計模式識別方法中，通常用一個矢量 表示，稱之為特征矢量，記為 模式類(Class)：具有某些共同特性的模式的集合。,模式識別系統(tǒng),一個典型的模式識別系統(tǒng)由下圖所示的結構框圖組成，一般由數(shù)據(jù)獲取，預處理，特征提取選擇、分類決策及分類器設計五部分組成。分類器設計在訓練過程中完成，利用樣本進行訓練，確定分類器的具體參數(shù)。而分類決策在識別過程中起作用，對待識別的樣本進行分類決策。,模式識別系統(tǒng),,范例 木板 圖象 512512 d=3 長度 紋理 亮度 c=2 松木\ 樺木,維數(shù) 無限 有限/ 很大R 有限d 不大c,,,dR無限,模式識別過程,特征矢量和特征空間,特征矢量： 設一個研究對像的n個特征量測量值分別為Ｘ１，Ｘ２．．．．Ｘｎ，我們將它們作為一個整體來考慮，讓它們構成一個ｎ維特征矢量 特征空間： 各種不同取值的特征矢量的全體構成了ｎ維特征空間。,隨機矢量的描述,隨機矢量： 在模式識別過程中，要對許多具體對象進行測量，以獲得許多次觀測值。 每次觀測值不一定相同，所以對許多對象而言，各個特征分量都是隨機變量，即許多對象的特征向量在n維空間中呈隨機性分布，稱為隨機矢量。 隨機矢量的分布函數(shù)： 設 為隨機矢量， 為確定性矢量。 隨機矢量的聯(lián)合概率分布函數(shù)定義為： 式中 表示括號中事件同時發(fā)生的概率。,聚類分析 (Clustering Analysis),一、聚類分析的基本思想 ★相似的歸為一類。 ★模式相似性的度量和聚類算法。 ★無監(jiān)督分類（Unsupervised） 。,二、特征量的類型 ★物理量----(重量、長度、速度) ★次序量----(等級、技能、學識) ★名義量----(性別、狀態(tài)、種類),三、方法的有效性 取決于分類算法和特征點分布情況的匹配。,聚類過程遵循的基本步驟,三、聚類準則（clustering criterion） 以蘊涵在數(shù)據(jù)集中類的類型為基礎,二、近鄰測度(proximity measure) 定量測定兩特征如何“相似”或“不相似”,一、特征選擇(feature selection) 盡可能多地包含任務關心的信息,聚類過程遵循的基本步驟,六、結果判定（interpretation of the results） 由專家用其他方法判定結果的正確性,五、結果驗證（validation of the results） 常用逼近檢驗驗證聚類結果的正確性,四、聚類算法（clustering algorithm） 按近鄰測度和聚類準則揭示數(shù)據(jù)集的聚類結構,聚類應用的四個基本方向,一、減少數(shù)據(jù) 許多時候，當數(shù)據(jù)量N很大時，會使數(shù)據(jù)處理變得很費力。因此可使用聚類分析的方法將數(shù)據(jù)分成幾組可判斷的聚類m（mN）來處理，每一個類可當作獨立實體來對待。從這個角度看，數(shù)據(jù)被壓縮了。 二、假說生成 在這種情況下，為了推導出數(shù)據(jù)性質的一些假說，對數(shù)據(jù)集進行聚類分析。因此，這里使用聚類作為建立假說的方法，然后用其他數(shù)據(jù)集驗證這些假說。 三、假說檢驗 用聚類分析來驗證指定假說的有效性。 四、基于分組的預測 對現(xiàn)有數(shù)據(jù)進行聚類分析，形成模式的特征，并用特征表示聚類，接下來，對于一個未知模式，就可以用前面的聚類來確定是哪一類？,模式相似性測度,用于描述各模式之間特征的相似程度 ●距 離 測 度 測度基礎：兩個矢量矢端的距離 測度數(shù)值：兩矢量各相應分量之差的函數(shù)。 ●相 似 測 度 測度基礎：以兩矢量的方向是否相近作為考慮的基礎,矢量長度并不重要。 ●匹 配 測 度 當特征只有兩個狀態(tài)（0，1）時，常用匹配測度。 0表示無此特征 1表示有此特征。故稱之為二值特征。,聚類的算法,簡單聚類方法 針對具體問題確定相似性閾值，將模式到各聚類中心間的距離與閾值比較，當大于閾值時該模式就作為另一類的類心，小于閾值時按最小距離原則將其分劃到某一類中。 按最小距離原則進行兩類合并的方法 首先視各模式自成一類,然后將距離最小的兩類合并成一類,不斷地重復這個過程，直到成為兩類為止。 依據(jù)準則函數(shù)動態(tài)聚類法 設定一些分類的控制參數(shù)，定義一個能表征聚類結果優(yōu)劣的準則函數(shù)，聚類過程就是使準則函數(shù)取極值的優(yōu)化過程。,