《BP神經(jīng)網(wǎng)絡(luò)》PPT課件.ppt
《《BP神經(jīng)網(wǎng)絡(luò)》PPT課件.ppt》由會員分享,可在線閱讀,更多相關(guān)《《BP神經(jīng)網(wǎng)絡(luò)》PPT課件.ppt(63頁珍藏版)》請在裝配圖網(wǎng)上搜索。
第2部分:BP神經(jīng)網(wǎng)絡(luò),主要內(nèi)容 一. 人工神經(jīng)網(wǎng)絡(luò)基本知識 生物神經(jīng)網(wǎng)絡(luò)、生物神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)、人工神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)三要素 典型激活函數(shù) 神經(jīng)網(wǎng)絡(luò)幾種典型形式 二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類 三. BP神經(jīng)網(wǎng)絡(luò) 四. 數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇 五. 應(yīng)用,人工神經(jīng)網(wǎng)絡(luò) 是生物神經(jīng)網(wǎng)絡(luò)的某種模型(數(shù)學(xué)模型) 是對生物神經(jīng)網(wǎng)絡(luò)的模仿 基本處理單元為人工神經(jīng)元,1. 生物神經(jīng)系統(tǒng)與生物神經(jīng)元 大量生物神經(jīng)元的廣泛、復(fù)雜連接,形成生物神經(jīng)網(wǎng)絡(luò) (Biological Neural Network, BNN)。 實現(xiàn)各種智能活動 生物神經(jīng)元(neuron)是基本的信息處理單元,(1)生物神經(jīng)系統(tǒng) 生物神經(jīng)元(neuron)是基本的信息處理單元,其組成: 樹突(dendrites), 接收來自外接的信息 細(xì)胞體(cell body), 神經(jīng)細(xì)胞主體,信息加工 軸突(axon), 細(xì)胞的輸出裝置,將信號向外傳遞, 與多個神經(jīng)元連接 突觸 (synapsse), 神經(jīng)元經(jīng)突觸向其它神經(jīng)元(胞體或樹突)傳遞信號,(2)生物神經(jīng)元的基本特征 神經(jīng)元之間彼此連接 神經(jīng)元之間的連接強(qiáng)度決定信號傳遞的強(qiáng)弱 神經(jīng)元之間的連接強(qiáng)度可以隨訓(xùn)練改變 學(xué)習(xí)、遺忘、疲勞 ----神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間連接的強(qiáng)弱,按外部的激勵信號做自適應(yīng)變化 興奮與抑制 信號可以起興奮作用,也可以起抑制作用 一個神經(jīng)元接受信號的累積效果(綜合大小,代數(shù)和)決定該神經(jīng)元的狀態(tài)(興奮、抑制) 每個神經(jīng)元可以有一個“閾值”,2. 人工神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)元,(1)基本的人工神經(jīng)元模型,McCulloch-Pitts神經(jīng)元模型 輸入信號;鏈接強(qiáng)度與權(quán)向量; 信號累積 激活與抑制,(1) 基本的人工神經(jīng)元模型,(2) 輸出函數(shù)f,(2)幾種常見形式的傳遞函數(shù)(激活函數(shù)),(2) 輸出函數(shù)f,(2) 輸出函數(shù)f,主要內(nèi)容 人工神經(jīng)網(wǎng)絡(luò)基本知識 二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類 三. BP神經(jīng)網(wǎng)絡(luò) 四. 數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié) 構(gòu)的選擇 五. 應(yīng)用,,各神經(jīng)元接受來自前級的輸入,并產(chǎn)生輸出到下一級,無反饋,可用一有向無環(huán)圖表示。 網(wǎng)絡(luò)中的節(jié)點分兩類:輸入節(jié)點;計算節(jié)點(神經(jīng)元節(jié)點) 節(jié)點按層(layer)組織 : 第i層的輸入只與第i-1層的輸出相連。 輸入信號由輸入層輸入,由第一層節(jié)點輸出,傳向下層,…… 前饋:信息由低層向高層單向流動。 ------------------------------------------------- 可見層 輸入層 (input layer) 輸入節(jié)點所在層,無計算能力 輸出層 (output layer) 節(jié)點為神經(jīng)元 隱含層( hidden layer) 中間層,節(jié)點為神經(jīng)元,1.前饋(forward)神經(jīng)網(wǎng)絡(luò),,具有三層計算單元的前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),2. 感知器神經(jīng)網(wǎng)絡(luò)(感知器)、感知器神經(jīng)元,感知器神經(jīng)元,單層感知器網(wǎng)絡(luò),,感知器神經(jīng)元的傳遞函數(shù) 單層感知網(wǎng)絡(luò)可以實現(xiàn)線性分類,2. 感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元(續(xù)),(1)多層感知器(MLP) 的一致逼近性,單個閾值神經(jīng)元可以實現(xiàn)任意多輸入的與、或及與非、或非邏輯門。 任何邏輯函數(shù)可由兩層前饋網(wǎng)絡(luò)(一層計算單元)實現(xiàn)。 三層或三層以上的前饋網(wǎng)絡(luò)通常稱為多層感知器 多層感知器的適用范圍大大超過單層網(wǎng)絡(luò)。,3. 多層感知器(含兩層以上的計算單元),多層感知器示意,當(dāng)神經(jīng)元的輸出函數(shù)為sigmoid等函數(shù)時,三層前饋網(wǎng)絡(luò)(含兩層計算單元)可以逼近任意的多元非線性函數(shù)。,主要內(nèi)容 一. 人工神經(jīng)網(wǎng)絡(luò)基本知識、神經(jīng)元與感知器 二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類 三. BP神經(jīng)網(wǎng)絡(luò) 四. 數(shù)據(jù)處理及 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇 五 應(yīng)用,基于閾值神經(jīng)元的多層感知器不足 隱含層不直接與外界連接,誤差無法直接估計 中間層神經(jīng)元的激活函數(shù)為閾值函數(shù)(或階躍函數(shù)) 無法采用梯度下降法訓(xùn)練神經(jīng)元權(quán)值 基于BP算法的多層感知器(BP網(wǎng)絡(luò)) 各計算單元(神經(jīng)元節(jié)點)傳遞函數(shù):Sigmoid函數(shù) 誤差逐層反向傳播; 信號逐層正向傳遞,BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的兩個階段 (1)信號正向傳遞過程 輸入信息從輸入層經(jīng)隱層逐層、正向傳遞,直至得到各計算單元的輸出 (2)誤差反向傳播過程 輸出層誤差從輸出層開始,逐層、反向傳播,可間接計算隱層各單元的誤差,并用此誤差修正前層的權(quán)值.,,,,,BP網(wǎng)絡(luò)的優(yōu)點 ①特別適合于求解內(nèi)部機(jī)制復(fù)雜的問題 BP網(wǎng)絡(luò)實質(zhì)上實現(xiàn)了一個從輸入到輸出的映射功能,而數(shù)學(xué)理論已證明它具有實現(xiàn)任何復(fù)雜非線性映射的功能 ②具有自學(xué)習(xí)能力 網(wǎng)絡(luò)能通過學(xué)習(xí)帶正確答案的實例集自動提取“合理的”求解規(guī)則 ③網(wǎng)絡(luò)具有一定的推廣、概括能力。,BP網(wǎng)絡(luò)的問題,如: ①BP算法的學(xué)習(xí)速度較慢 ②網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大 ③網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無一種統(tǒng)一而完整的理論指導(dǎo),一般只能由經(jīng)驗選定。 ④網(wǎng)絡(luò)的預(yù)測能力(泛化能力、推廣能力)與訓(xùn)練能力(逼近能力、學(xué)習(xí)能力)的矛盾 。。。。。。,主要內(nèi)容 一. 人工神經(jīng)網(wǎng)絡(luò)基本知識、神經(jīng)元與感知器 二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類 三. BP神經(jīng)網(wǎng)絡(luò) 四. 數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇 五 應(yīng)用,PART1.輸入/輸出數(shù)據(jù)的處理 回歸或狀態(tài)預(yù)測,數(shù)據(jù)處理方式有所區(qū)別 建模前輸入輸出數(shù)據(jù)的預(yù)處理—正向標(biāo)準(zhǔn)化 建模后輸入輸出數(shù)據(jù)的后處理—反向標(biāo)準(zhǔn)化 特征的平移 特征的尺度調(diào)整 ?[0,1],[-1,1],[-a,a],[0,a],PART2.神經(jīng)網(wǎng)絡(luò)的層次選擇 對多層網(wǎng)絡(luò)要確定選用幾個隱含層? 1988年Cybenko指出,若各節(jié)點均采用S型函數(shù),則 一個隱含層足以實現(xiàn)任意判決分類問題; 兩個隱含層足以實現(xiàn)輸入圖形的任意輸出 網(wǎng)絡(luò)層次選取依經(jīng)驗和情況而定,通常不宜過多。,PART3.節(jié)點數(shù)目的確定 輸入層、輸出層、隱含層節(jié)點數(shù) 1. 輸入層節(jié)點數(shù)的確定 節(jié)點數(shù)=輸入向量的維數(shù),2.輸出層節(jié)點數(shù)的確定 節(jié)點數(shù)取決于: 輸出的表示方法; 類別數(shù)目; 待逼近的函數(shù)數(shù)目。 (1)兩類別問題 單輸出型 1個判別函數(shù),1個輸出節(jié)點 (2)多類別問題 輸出節(jié)點數(shù)是類別數(shù):“C中取1(1-of-C)” C位“0-1”二進(jìn)制編碼 輸出節(jié)點數(shù)是二進(jìn)制編碼的狀態(tài)數(shù) 8類問題,3位二進(jìn)制數(shù) 可能會需增加1個隱含層以滿足要求 (3)輸出節(jié)點數(shù)是待逼近的函數(shù)個數(shù),隱含層節(jié)點數(shù)目越大,網(wǎng)絡(luò)學(xué)習(xí)能力越強(qiáng),但不能保證預(yù)測能力好 —“過學(xué)習(xí)(過擬合)” overfitting 隱含層節(jié)點不能過少,網(wǎng)絡(luò)不能構(gòu)建復(fù)雜決策面:節(jié)點數(shù)越小,網(wǎng)絡(luò)學(xué)習(xí)能力低 --“欠學(xué)習(xí)(欠擬合)” underfitting 如何選擇適當(dāng)數(shù)目“隱含層”節(jié)點,以取得“過學(xué)習(xí)”與 “欠學(xué)習(xí)”之間的平衡?,3.隱含層節(jié)點數(shù)的確定,試湊法 結(jié)合問題先驗知識 結(jié)合特定算法 對隱含層節(jié)點數(shù)的選擇,Nielson等指出: 除了圖像情況,在大多數(shù)情況下,可使用4-5個隱含層節(jié)點對應(yīng)1個輸入節(jié)點。 在圖像情況下,像素的數(shù)目決定了輸入節(jié)點的數(shù)目,此時隱含層結(jié)點可取輸入結(jié)點數(shù)的10%左右。 其它經(jīng)驗,主要內(nèi)容 一. 人工神經(jīng)網(wǎng)絡(luò)基本知識、神經(jīng)元與感知器 二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類 三. BP神經(jīng)網(wǎng)絡(luò) 四. 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇 五 應(yīng)用 回歸 狀態(tài)預(yù)測,1.狀態(tài)預(yù)測 --參考《MATLAB神經(jīng)網(wǎng)絡(luò)30個案例分析》 例.基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類—四類語音特征信號分析 每組語音信號為24維輸入; 四類語音信號:民歌、古箏、搖滾、流形 共計2000組語音信號 要求:基于BP網(wǎng)絡(luò)設(shè)計一個語音信號類別預(yù)測模型 代碼:見案例1,例:,2. 回歸估計 例:基于BP神經(jīng)網(wǎng)絡(luò)的公路運(yùn)量(客運(yùn)量、貨運(yùn)量)預(yù)測 公路運(yùn)量與該地區(qū)人數(shù)、機(jī)動車數(shù)量、公路面積有關(guān)。 已知某地區(qū)20年的公路運(yùn)量有關(guān)數(shù)據(jù),對于未來某兩年,若明確該地區(qū)人數(shù)、機(jī)動車數(shù)量、公路面積,要求:預(yù)測該地區(qū)的公路運(yùn)量。 分析: (1)明確模型輸入輸出關(guān)系 (2)建模: 原始數(shù)據(jù)讀??;數(shù)據(jù)標(biāo)準(zhǔn)化處理;網(wǎng)絡(luò)訓(xùn)練; (3)模型評價: 對原始數(shù)據(jù)仿真,明確預(yù)測誤差 (4)輸出預(yù)測結(jié)果:對新數(shù)據(jù)預(yù)測結(jié)果,- 1.請仔細(xì)閱讀文檔,確保文檔完整性,對于不預(yù)覽、不比對內(nèi)容而直接下載帶來的問題本站不予受理。
- 2.下載的文檔,不會出現(xiàn)我們的網(wǎng)址水印。
- 3、該文檔所得收入(下載+內(nèi)容+預(yù)覽)歸上傳者、原創(chuàng)作者;如果您是本文檔原作者,請點此認(rèn)領(lǐng)!既往收益都?xì)w您。
下載文檔到電腦,查找使用更方便
14.9 積分
下載 |
- 配套講稿:
如PPT文件的首頁顯示word圖標(biāo),表示該P(yáng)PT已包含配套word講稿。雙擊word圖標(biāo)可打開word文檔。
- 特殊限制:
部分文檔作品中含有的國旗、國徽等圖片,僅作為作品整體效果示例展示,禁止商用。設(shè)計者僅對作品中獨(dú)創(chuàng)性部分享有著作權(quán)。
- 關(guān) 鍵 詞:
- BP神經(jīng)網(wǎng)絡(luò) BP 神經(jīng)網(wǎng)絡(luò) PPT 課件
鏈接地址:http://m.zhongcaozhi.com.cn/p-1798398.html