超限學(xué)習(xí)機(jī)
發(fā)布時(shí)間:2020-08-15 來(lái)源: 思想?yún)R報(bào) 點(diǎn)擊:
超限學(xué)習(xí)機(jī)(ELM)
2006 年,Huang 等人 [61] 提出超限學(xué)習(xí)機(jī)(ELM)。它是為了解決傳統(tǒng)學(xué)習(xí)算法所包含的缺點(diǎn),例如訓(xùn)練時(shí)間較長(zhǎng)、容易受到噪聲干擾與陷入局部最優(yōu)解、參數(shù)選擇較為敏感等等,才被提出來(lái)的單隱藏層前饋神經(jīng)網(wǎng)絡(luò),具有優(yōu)異的學(xué)習(xí)準(zhǔn)確性和速度 [46] 。超限學(xué)習(xí)機(jī)不需要迭代地調(diào)整神經(jīng)網(wǎng)絡(luò)權(quán)值和隱藏層節(jié)點(diǎn)偏置,而是通過(guò)直接學(xué)習(xí)使用最小二乘法就能夠得到。在基本訓(xùn)練的步驟中缺少了迭代后,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度明顯變快,陷入過(guò)擬合的概率同樣減小。
假設(shè)有 N 個(gè)訓(xùn)練數(shù)據(jù) [x t ] ,i i, ?1,2, , i N ,其中 ? ?1 2[ , , , ]
T ni i i inx x x x R是樣本, ? ?1 2[ , , , ] Tmi i i imt t t t R 為樣本jx 的期望輸出向量, n 和 m 代表對(duì)應(yīng)的輸入和輸出的維數(shù)。對(duì)于 N 個(gè)訓(xùn)練數(shù)據(jù), l 個(gè)隱藏層節(jié)點(diǎn)來(lái)說(shuō), ? l N , ( ) g x 是激活函數(shù),常規(guī)的一般為 Sigmoid 型,由此得到超限學(xué)習(xí)機(jī)神經(jīng)網(wǎng)絡(luò)輸出數(shù)學(xué)模型如式(4.1):
?? ? ??1( ) ,
1,2, ,li i j i jiβ g b j N a x t
。4.1)
其中, ?1 2[ , , , ] Ti i i ina a a a 表示輸入層節(jié)點(diǎn)與第 i 個(gè)隱藏層節(jié)點(diǎn)之間的輸入權(quán)值, ?1 2[ , , , ] Ti i i imβ β β β 為輸出權(quán)值,ib 為隱藏層偏置。
式(4.1)可以簡(jiǎn)化為, β ? H T
。4.2)
其中式(4.2)中,隱藏層輸出矩陣為 H 表示,輸出權(quán)值矩陣(隱藏層與輸出層間)為 β 表示,期望輸出矩陣為 T 表示 [62] 。
1 1 1 11 1( ) ( )( , , )( ) ( )l li i jN l N lN lg b g bbg b g b?? ? ? ?? ??? ?? ?? ?? ?a x a xH a xa x a x
。4.3)
1TTll mβββ?? ?? ??? ?? ?? ?
1NN m ?? ?? ??? ?? ?? ?TTtTt
(4.4)
當(dāng)滿(mǎn)足 = l N 時(shí),即訓(xùn)練樣本個(gè)數(shù)和隱藏層節(jié)點(diǎn)個(gè)數(shù)相同時(shí),那么由式(4.2)可以直接求出矩陣 H 的逆矩陣如式(4.4)所示,它與輸出的節(jié)點(diǎn)個(gè)數(shù)無(wú)關(guān) [63] ,輸出權(quán)值矩陣 β 的最優(yōu)解由此也可計(jì)算得出。但在一般情況下 ? l N ,即隱藏層節(jié)點(diǎn)個(gè)數(shù)是遠(yuǎn)小于訓(xùn)練樣本個(gè)數(shù),這時(shí)矩陣 H 是奇異矩陣,需要利用最小二乘方法對(duì)式(4.2)進(jìn)行求解:
? β†H T
。4.5)
其中,†H 為隱藏層輸出矩陣的 Moore-Penrose 廣義逆。
相關(guān)熱詞搜索:超限 學(xué)習(xí)機(jī)
熱點(diǎn)文章閱讀