当前位置:首页 » 网络连接 » 霍普菲尔德网络连接权值矩阵
扩展阅读
找工作在什么网站好 2024-11-29 04:31:43
攀枝花网络安全大队 2024-11-29 04:22:37
网络数据如何保存到手机 2024-11-29 04:22:03

霍普菲尔德网络连接权值矩阵

发布时间: 2024-04-18 16:23:26

Ⅰ Hopfield绁炵粡缃戠粶

Hopfield绁炵粡缃戠粶(Hopfield Neural Network锛岀亩绉 HNN)锛屾槸缇庡浗锷犲窞鐞嗗伐瀛﹂櫌鐗╃悊瀛﹀禜opfield鏁欐巿1982骞存彁鍑虹殑涓绉嶅弽棣埚瀷绁炵粡缃戠粶锛屼俊鍙蜂笉浣呜兘钖戝墠锛岃缮鑳藉悜钖庝紶阃(杈揿嚭淇″彿鍙埚弽棣埚洖𨱒ュ彉鎴愯緭鍏ヤ俊鍙枫傝屽墠闱㈡墍浠嬬粛镄凚P缃戠粶鏄涓绉鍓嶉堢绣缁锛屼俊鍙峰彧鑳藉悜鍓崭紶阃)銆备粬鍦℉opfield绁炵粡缃戠粶涓寮曞叆浜嗏滆兘閲忓嚱鏁扳濇傚康锛屼娇缃戠粶镄勮繍琛岀ǔ瀹氭х殑鍒ゆ柇链変简鍙闱犱緷鎹銆侣opfield绁炵粡缃戠粶镄勬潈鍊间笉鏄缁忚繃鍙嶅嶅︿範銮峰缑镄勶纴钥屾槸鎸夌収涓瀹氲勫垯璁$畻鍑烘潵镄勶纴涓缁忕‘瀹氩氨涓嶅啀鏀瑰彉锛岃孒opfield绁炵粡缃戠粶镄勭姸镐(杈揿叆銆佽緭鍑轰俊鍙)浼氩湪杩愯岃繃绋嬩腑涓嶆柇镟存柊锛岀绣缁沧紨鍙桦埌绋虫佹椂钖勭炵粡鍏幂殑鐘舵佷究鏄闂棰樼殑瑙c

1985骞达纴Hopfield鍜孴ank镰斿埗浜嗙数瀛愮嚎璺𨱒ユā𨰾烪opfield缃戠粶锛岃缉濂藉湴瑙e喅浜嗕紭鍖栫粍钖堥梾棰树腑镢楀悕镄凾SP(镞呰屽晢)闂棰桡纴镓惧埌浜嗘渶浣宠В镄勮繎浼艰В锛屼负绁炵粡缃戠粶镄勫嶅叴寤虹珛浜嗕笉鍙纾ㄧ伃镄勫姛锷炽

瀵逛簬鍦扮悆鐗╃悊鍙嶆紨杩欑嶆渶浼桦寲闂棰桡纴鍙浠ュ緢鏂逛究鍦扮敤Hopfield缃戠粶𨱒ュ疄鐜般傚弽婕旂殑鐩镙囧嚱鏁扮瓑浜嶩opfield缃戠粶镄勨滆兘閲忓嚱鏁扳濓纴缃戠粶镄勭姸镐(杈揿叆銆佽緭鍑轰俊鍙)灏辨槸妯″瀷镄勫弬鏁帮纴缃戠粶婕斿彉鍒扮ǔ镐佹椂钖勭炵粡鍏幂殑杈揿叆杈揿嚭鍊间究鏄鍙嶆紨闂棰樼殑瑙c

Hopfield绁炵粡缃戠粶鍒嗕负绂绘暎鍨嫔拰杩炵画鍨嬩袱绉岖绣缁沧ā鍨嬶纴鍒嗗埆璁颁负DHNN(Discrete Hopfield Neural Network)鍜孋HNN(Continues Hopfield Neural Network)銆

鍦ㄥ墠棣埚瀷缃戠粶涓镞犺烘槸绂绘暎镄勮缮鏄杩炵画镄勶纴涓鑸鍧囦笉钥冭槛杈揿叆涓庤緭鍑轰箣闂村湪镞堕棿涓婄殑婊炲悗镐э纴钥屽彧琛ㄨ揪涓よ呬箣闂寸殑鏄犲皠鍏崇郴銆备絾鍦ㄨ繛缁璈opfield绁炵粡缃戠粶涓锛岃冭槛浜呜緭鍑轰笌杈揿叆涔嬮棿镄勫欢杩熷洜绱狅纴锲犳ら渶瑕佺敤寰鍒嗘柟绋鎴栧樊鍒嗘柟绋嬫潵鎻忚堪缃戠粶镄勫姩镐佹暟瀛︽ā鍨嬨

8.5.4.1 绂绘暎Hopfield绁炵粡缃戠粶

绂绘暎Hopfield绁炵粡缃戠粶镄𨰾撴墤缁撴瀯濡傚浘8.12镓绀恒傝繖鏄涓绉嶅崟灞傚叏鍙嶉堢绣缁滐纴鍏辨湁n涓绁炵粡鍏冦傚浘8.12镄勭壒镣规槸浠绘剰涓涓绁炵粡鍏幂殑杈揿嚭xi鍙鑳芥槸0鎴1锛屽潎阃氲繃杩炴帴𨱒僿ij鍙嶉堣呖镓链夌炵粡鍏僯浣滀负瀹幂殑杈揿叆xj銆备篃灏辨槸璇达纴姣忎釜绁炵粡鍏冮兘阃氲繃杩炴帴𨱒冩帴鏀舵墍链夊叾浠栫炵粡鍏冭緭鍑哄弽棣堢殑淇℃伅锛岃繖镙锋疮涓涓绁炵粡鍏幂殑杈揿嚭閮藉弹鍏朵粬镓链夌炵粡鍏冭緭鍑虹殑鎺у埗锛屼粠钥屾疮涓绁炵粡鍏幂殑杈揿嚭鐩镐簰鍒剁害銆傛疮涓绁炵粡鍏冨潎璁句竴涓阒鍊Ti锛屼互鍙嶆椠瀵硅緭鍏ュ櫔澹扮殑鎺у埗銆

锲8.12 绂绘暎Hopfield绁炵粡缃戠粶镄勬嫇镓戠粨鏋[8]

8.5.4.1.1 缃戠粶镄勭姸镐

绂绘暎Hopfield绁炵粡缃戠粶浠绘剰涓涓绁炵粡鍏幂殑杈揿嚭xj绉颁负缃戠粶镄勭姸镐侊纴瀹冨彧鑳芥槸0鎴1銆傚彉鍖栬勫緥鐢变笅寮忚勫畾:

xj=f(netj) j=1锛2锛屸︼纴n銆銆(8.33)

f( )涓鸿浆绉诲嚱鏁帮纴绂绘暎 Hopfield绁炵粡缃戠粶镄勮浆绉诲嚱鏁板父鐢绗﹀彿鍑芥暟琛ㄧず:

鍦扮悆鐗╃悊鍙嶆紨鏁欑▼

鍏朵腑netj涓哄噣杈揿叆:

鍦扮悆鐗╃悊鍙嶆紨鏁欑▼

瀵圭绘暎Hopfield绁炵粡缃戠粶锛屼竴鑸链

wij=0锛寃ij=wji (8.36)

杩栾存槑绁炵粡鍏冩病链夎嚜鍙嶉堬纴涓や釜绁炵粡鍏幂殑鐩镐簰鎺у埗𨱒冨肩浉钖屻

绂绘暎Hopfield绁炵粡缃戠粶绋冲畾镞讹纴姣忎釜绁炵粡鍏幂殑鐘舵侀兘涓嶅啀鏀瑰彉銆傛ゆ椂镄勭ǔ瀹氱姸镐佸氨鏄缃戠粶镄勮緭鍑猴纴璁颁负

鍦扮悆鐗╃悊鍙嶆紨鏁欑▼

8.5.4.1.2 缃戠粶镄勫纾姝ュ伐浣沧柟寮

瀹冩槸涓绉崭覆琛屾柟寮忥纴缃戠粶杩愯屾椂姣忔″彧鏀瑰彉涓涓绁炵粡鍏幂殑鐘舵侊纴鍏朵粬绁炵粡鍏幂殑鐘舵佷缭鎸佷笉鍙樸

8.5.4.1.3 缃戠粶镄勫悓姝ュ伐浣沧柟寮

瀹冩槸涓绉嶅苟琛屽悓姝ュ伐浣沧柟寮忥纴镓链夌炵粡鍏冨悓镞惰皟鏁寸姸镐併

8.5.4.1.4 缃戠粶镄勫惛寮曞瓙

缃戠粶杈惧埌绋冲畾鐘舵佹椂镄勮緭鍑篨锛岀О涓虹绣缁灭殑钖稿紩瀛愩

8.5.4.1.5 缃戠粶镄勮兘閲忓嚱鏁

缃戠粶镄勮兘閲忓嚱鏁板畾涔変负

鍦扮悆鐗╃悊鍙嶆紨鏁欑▼

浠ヤ笂鏄鐭╅樀褰㈠纺锛岃冭槛镞犺嚜鍙嶉堢殑鍏蜂綋灞曞紑褰㈠纺涓

鍦扮悆鐗╃悊鍙嶆紨鏁欑▼

褰撶绣缁沧敹鏁涘埌绋冲畾鐘舵佹椂锛屾湁

螖E(t)=E(t+1)-E(t)=0 (8.40)

鎴栬呰:

鍦扮悆鐗╃悊鍙嶆紨鏁欑▼

鐞呜鸿瘉鏄庝简濡备笅涓や釜瀹氱悊[8]:

瀹氱悊1.瀵逛簬DHNN锛岃嫢鎸夊纾姝ユ柟寮忚皟鏁寸绣缁灭姸镐侊纴涓旇繛鎺ユ潈鐭╅樀W涓哄圭О阒碉纴鍒椤逛换镒忓埯濮嬬姸镐侊纴缃戠粶閮借兘链缁堟敹鏁涘埌涓涓钖稿紩瀛愩

瀹氱悊2.瀵逛簬DHNN锛岃嫢鎸夊悓姝ユ柟寮忚皟鏁寸绣缁灭姸镐侊纴涓旇繛鎺ユ潈鐭╅樀W涓洪潪璐熷畾瀵圭О阒碉纴鍒椤逛换镒忓埯濮嬬姸镐侊纴缃戠粶閮借兘链缁堟敹鏁涘埌涓涓钖稿紩瀛愩

8.5.4.1.6 鍒╃敤绂绘暎Hopfield绁炵粡缃戠粶杩涜屽弽婕

鍦ㄥ湴鐞幂墿鐞嗙嚎镐у弽婕斾腑锛岃炬湁濡备笅鐩镙囧嚱鏁:

鍦扮悆鐗╃悊鍙嶆紨鏁欑▼

瀵规瘆寮(8.38)鍜屽纺(8.42)鍙戠幇瀹冧滑鍦ㄥ舰寮忎笂链夊緢澶氱浉浼间箣澶勚傜帇瀹舵椠镄勚婂湴鐞幂墿鐞嗗弽婕旂悊璁恒嬩竴涔︿腑锛岀洿鎺ョ敤寮(8.42)鍜屽纺(8.38)绫绘瘆锛屽叕寮忔樉寰楀嶆潅銆傛湰涔﹁剧珛涓涓鏂扮殑鐩镙囧嚱鏁ϕ锛屽叕寮忓皢浼氩彉寰楃亩娲佸缑澶:

鍦扮悆鐗╃悊鍙嶆紨鏁欑▼

鍐嶅规瘆寮(8.38)鍜屽纺(8.43)锛屽彂鐜板畠浠瀹屽叏涓镙凤纴鍙瑕佽:

X(t)=m锛学=GTG锛孴=GTd (8.44)

娉ㄦ剰:寮(8.43)镄勭洰镙囧嚱鏁ϕ镄勬瀬澶у艰В灏辨槸铡熸潵鐩镙囧嚱鏁跋嗘瀬灏忓肩殑瑙o纴瀹冧滑鏄钖岃В镄勚

濡傛灉寰呭弽婕旂殑妯″瀷鍙傛暟鏄绂绘暎镄0鎴1鍊硷纴闾d箞鍙浠ョ洿鎺ュ簲鐢ㄧ绘暎Hopfield绁炵粡缃戠粶杩涜屽弽婕斻备絾鏄涓鑸瀹冧滑閮芥槸杩炵画镄勬暟鍊硷纴镓浠ヨ缮瑕佸皢妯″瀷鍙傛暟琛ㄧず涓轰簩杩涘埗[1]:

鍦扮悆鐗╃悊鍙嶆紨鏁欑▼

鍏朵腑:Bij=0鎴1涓浜岃繘鍒舵暟;D鍜孶涓烘暣鏁帮纴鍙栧喅浜庢ā鍨嫔弬鏁扮殑澶у皬鍜岀簿搴︺傝繖镙风琲涓妯″瀷鍙傛暟灏辩敤Bij琛ㄧず涓轰简浜岃繘鍒舵暟銆傚皢寮(8.45)浠e叆鐩镙囧嚱鏁板纺(8.43)钖庡啀涓庣绘暎Hopfield绁炵粡缃戠粶镄勮兘閲忓嚱鏁拌繘琛屽规瘆锛岀‘绔嬫柊镄勭瓑浠峰叧绯诲悗锛屽氨鍙浠ヨ繘琛屽弽婕斾简銆

杩欎釜鏂扮殑绛変环鍏崇郴寮忓彲浠ュ弬瑙佺帇瀹舵椠镄勚婂湴鐞幂墿鐞嗗弽婕旂悊璁恒[1]涓涔︺

鍙嶆紨镄勮繃绋嫔ぇ镊村备笅:

(1)镙规嵁妯″瀷鍙傛暟镄勫ぇ灏忚寖锲村拰绮惧害纭瀹欴鍜孶锛屽皢鍒濆嬭緭鍏ユā鍨嫔弬鏁板彉涓轰簩杩涘埗鏁般傝剧珛涓涓𨰾熷悎绮惧害镙囧嗳锛屽傜浉瀵瑰潎鏂瑰樊蔚锛岃惧畾涓涓链澶ц凯浠f℃暟N(镓链夌炵粡鍏幂殑杈揿嚭閮戒慨鏀逛竴娆$О涓轰竴娆¤凯浠)銆

(2)鍒╃敤鏁版嵁鏂圭▼镄凣鐭╅樀(鍦ㄤ竴鑸𨱍呭喌涓嬮渶鐢锅忓兼暟鐭╅樀銮峰缑)璁$畻缃戠粶镄勬潈鍊煎拰阒鍊笺

(3)灏嗕簩杩涘埗鍒濆嬫ā鍨嫔弬鏁拌緭鍏ョ绣缁滃苟杩愯岀绣缁溿

(4)鎶婃疮娆¤凯浠g绣缁滆緭鍑哄煎彉涓鍗佽繘鍒妯″瀷鍙傛暟锛岃繘琛屾f紨璁$畻銆傚傛灉𨰾熷悎婊¤冻绮惧害蔚锛屽垯锅沧㈢绣缁滆繍琛屽苟杈揿嚭鍙嶆紨缁撴灉銆傚惁鍒欓吨澶(2)~(4)姝ョ洿鍒版弧瓒崇簿搴︽垨杈惧埌链澶氲凯浠f℃暟N涓烘銆

鍦ㄤ竴鑸𨱍呭喌涓嬶纴鍦扮悆鐗╃悊鏁版嵁鏂圭▼镄凣鐭╅樀鏄镞犳硶鐢ㄨВ鏋愬纺鍐椤嚭镄勶纴闇瑕佺敤锅忓兼暟鐭╅樀銮峰缑锛屽畠鏄渚濊禆浜庤緭鍏ュ弬鏁扮殑锛屽洜姝ょ绣缁灭殑姣忔¤凯浠i兘瑕侀吨鏂拌$畻锅忓兼暟鐭╅樀銆傝繖涓璁$畻閲忔槸寰埚ぇ镄勚傚洜姝や粬镄勫弽婕旇繃绋嫔拰链灏忎簩涔樻硶鐩镐技銆傛ゅ栵纴鐢℉opfield绁炵粡缃戠粶杩涜屽弽婕斿悓镙锋湁鍙鑳介櫡鍏ュ眬閮ㄦ瀬鍊肩偣(钖稿紩瀛)銆傚洜姝ゅ悓镙峰弹鍒濆嬫ā鍨嬬殑褰卞搷锛岄渶瑕佸敖閲忚╁埯濮嬫ā鍨嬫帴杩戠湡瀹炴ā鍨嬨

8.5.4.2 杩炵画Hopfield绁炵粡缃戠粶(CHNN)[8]

1984骞达纴Hopfield鎶婄绘暎Hopfield绁炵粡缃戠粶鍙戝𪾢涓鸿繛缁璈opfield绁炵粡缃戠粶銆备絾镓链夌炵粡鍏冮兘钖屾ュ伐浣滐纴钖勮緭鍏ヨ緭鍑洪噺涓洪殢镞堕棿鍙桦寲镄勮繛缁镄妯℃嫙閲锛岃繖灏变娇寰桟HNN姣挤HNN鍦ㄤ俊鎭澶勭悊镄勫苟琛屾с佸疄镞舵ф柟闱㈡洿鎺ヨ繎瀹为檯镄勭敓鐗╃炵粡缃戠粶宸ヤ綔链虹悊銆傚洜姝ゅ埄鐢–HNN杩涜屽湴鐞幂墿鐞嗗弽婕旀洿锷犳柟渚裤

CHNN鍙浠ョ敤甯哥郴鏁板井鍒嗘柟绋嬫潵鎻忚堪锛屼絾鐢ㄦā𨰾熺数瀛愮嚎璺𨱒ユ弿杩帮纴鍒欐洿锷犲舰璞$洿瑙傦纴鏄扑簬鐞呜В銆傚浘8.13涓鸿繛缁璈opfield绁炵粡缃戠粶镄勬嫇镓戠粨鏋[8]

锲8.13 杩炵画Hopfield绁炵粡缃戠粶镄勬嫇镓戠粨鏋[8]

锲8.13涓姣忎釜绁炵粡鍏幂敤涓涓杩愮畻鏀惧ぇ鍣妯℃嫙锛岀炵粡鍏幂殑杈揿叆杈揿嚭鐢ㄦ斁澶у櫒镄勮緭鍏ヨ緭鍑虹数铡嬭〃绀猴纴杩炴帴𨱒幂敤鐢靛琛ㄧず銆傛疮涓鏀惧ぇ鍣ㄦ湁涓涓姝e悜杈揿嚭鍜屼竴涓鍙嶅悜杈揿嚭锛屽垎鍒琛ㄧず鍏村嫔拰鎶戝埗銆傛疮涓绁炵粡鍏冭缮链変竴涓鐢ㄤ簬璁剧疆婵娲鐢靛钩镄勫栫晫杈揿叆锅忕疆鐢垫祦浣滀负阒鍊笺

杩欓噷鐢变簬绡囧箙鍏崇郴涓嶅啀绱杩般傛劅鍏磋叮镄勮昏呭彲浠ュ弬钥冨叾浠栨枃鐚銆

Ⅱ 人工神经网络,人工神经网络是什么意思

一、 人工神经网络的概念
人工神经网络(Artificial Neural Network,ANN)简称神经网络(NN),是基于生物学中神经网络的基本原理,在理解和抽象了人脑结构和外界刺激响应机制后,以网络拓扑知识为理论基础,模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征,将信息的加工和存储结合在一起,以其独特的知识表示方式和智能化的自适应学习能力,引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络,具有高度的非线性,能够进行复杂的逻辑操作和非线性关系实现的系统。
神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激活函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重(weight),神经网络就是通过这种方式来模拟人类的记忆。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。人工神经网络则是把对生物神经网络的认识与数学统计模型相结合,借助数学统计工具来实现。另一方面在人工智能学的人工感知领域,我们通过数学统计学的方法,使神经网络能够具备类似于人的决定能力和简单的判断能力,这种方法是对传统逻辑学演算的进一步延伸。
人工神经网络中,神经元处理单元可表示不同的对象,例如特征、字母、概念,或者一些有意义的抽象模式。网络中处理单元的类型分为三类:输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据;输出单元实现系统处理结果的输出;隐单元是处在输入和输出单元之间,不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度,信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理,其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能,并在不同程度和层次上模仿人脑神经系统的信息处理功能。
神经网络,是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型,它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的,它是根植于神经科学、数学、思维科学、人工智能、统计学、物理学、计算机科学以及工程科学的一门技术。
二、 人工神经网络的发展
神经网络的发展有悠久的历史。其发展过程大致可以概括为如下4个阶段。
1. 第一阶段----启蒙时期
(1)、M-P神经网络模型:20世纪40年代,人们就开始了对神经网络的研究。1943 年,美国心理学家麦克洛奇(Mcculloch)和数学家皮兹(Pitts)提出了M-P模型,此模型比较简单,但是意义重大。在模型中,通过把神经元看作个功能逻辑器件来实现算法,从此开创了神经网络模型的理论研究。
(2)、Hebb规则:1949 年,心理学家赫布(Hebb)出版了《The Organization of Behavior》(行为组织学),他在书中提出了突触连接强度可变的假设。这个假设认为学习过程最终发生在神经元之间的突触部位,突触的连接强度随之突触前后神经元的活动而变化。这一假设发展成为后来神经网络中非常着名的Hebb规则。这一法则告诉人们,神经元之间突触的联系强度是可变的,这种可变性是学习和记忆的基础。Hebb法则为构造有学习功能的神经网络模型奠定了基础。
(3)、感知器模型:1957 年,罗森勃拉特(Rosenblatt)以M-P 模型为基础,提出了感知器(Perceptron)模型。感知器模型具有现代神经网络的基本原则,并且它的结构非常符合神经生理学。这是一个具有连续可调权值矢量的MP神经网络模型,经过训练可以达到对一定的输入矢量模式进行分类和识别的目的,它虽然比较简单,却是第一个真正意义上的神经网络。Rosenblatt 证明了两层感知器能够对输入进行分类,他还提出了带隐层处理元件的三层感知器这一重要的研究方向。Rosenblatt 的神经网络模型包含了一些现代神经计算机的基本原理,从而形成神经网络方法和技术的重大突破。
(4)、ADALINE网络模型: 1959年,美国着名工程师威德罗(B.Widrow)和霍夫(M.Hoff)等人提出了自适应线性元件(Adaptive linear element,简称Adaline)和Widrow-Hoff学习规则(又称最小均方差算法或称δ规则)的神经网络训练方法,并将其应用于实际工程,成为第一个用于解决实际问题的人工神经网络,促进了神经网络的研究应用和发展。ADALINE网络模型是一种连续取值的自适应线性神经元网络模型,可以用于自适应系统。
2. 第二阶段----低潮时期
人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究,于1969年发表了轰动一时《Perceptrons》一书,指出简单的线性感知器的功能是有限的,它无法解决线性不可分的两类样本的分类问题,如简单的线性感知器不可能实现“异或”的逻辑关系等。这一论断给当时人工神经元网络的研究带来沉重的打击。开始了神经网络发展史上长达10年的低潮期。
(1)、自组织神经网络SOM模型:1972年,芬兰的KohonenT.教授,提出了自组织神经网络SOM(Self-Organizing feature map)。后来的神经网络主要是根据KohonenT.的工作来实现的。SOM网络是一类无导师学习网络,主要用于模式识别﹑语音识别及分类问题。它采用一种“胜者为王”的竞争学习算法,与先前提出的感知器有很大的不同,同时它的学习训练方式是无指导训练,是一种自组织网络。这种学习训练方式往往是在不知道有哪些分类类型存在时,用作提取分类信息的一种训练。
(2)、自适应共振理论ART:1976年,美国Grossberg教授提出了着名的自适应共振理论ART(Adaptive Resonance Theory),其学习过程具有自组织和自稳定的特征。
3. 第三阶段----复兴时期
(1)、Hopfield模型:1982年,美国物理学家霍普菲尔德(Hopfield)提出了一种离散神经网络,即离散Hopfield网络,从而有力地推动了神经网络的研究。在网络中,它首次将李雅普诺夫(Lyapunov)函数引入其中,后来的研究学者也将Lyapunov函数称为能量函数。证明了网络的稳定性。1984年,Hopfield 又提出了一种连续神经网络,将网络中神经元的激活函数由离散型改为连续型。1985 年,Hopfield和Tank利用Hopfield神经网络解决了着名的旅行推销商问题(Travelling Salesman Problem)。Hopfield神经网络是一组非线性微分方程。Hopfield的模型不仅对人工神经网络信息存储和提取功能进行了非线性数学概括,提出了动力方程和学习方程,还对网络算法提供了重要公式和参数,使人工神经网络的构造和学习有了理论指导,在Hopfield模型的影响下,大量学者又激发起研究神经网络的热情,积极投身于这一学术领域中。因为Hopfield 神经网络在众多方面具有巨大潜力,所以人们对神经网络的研究十分地重视,更多的人开始了研究神经网络,极大地推动了神经网络的发展。
(2)、Boltzmann机模型:1983年,Kirkpatrick等人认识到模拟退火算法可用于NP完全组合优化问题的求解,这种模拟高温物体退火过程来找寻全局最优解的方法最早由Metropli等人1953年提出的。1984年,Hinton与年轻学者Sejnowski等合作提出了大规模并行网络学习机,并明确提出隐单元的概念,这种学习机后来被称为Boltzmann机。
Hinton和Sejnowsky利用统计物理学的感念和方法,首次提出的多层网络的学习算法,称为Boltzmann 机模型。
(3)、BP神经网络模型:1986年,儒默哈特(D.E.Ru melhart)等人在多层神经网络模型的基础上,提出了多层神经网络权值修正的反向传播学习算法----BP算法(Error Back-Propagation),解决了多层前向神经网络的学习问题,证明了多层神经网络具有很强的学习能力,它可以完成许多学习任务,解决许多实际问题。
(4)、并行分布处理理论:1986年,由Rumelhart和McCkekkand主编的《Parallel Distributed Processing:Exploration in the Microstructures of Cognition》,该书中,他们建立了并行分布处理理论,主要致力于认知的微观研究,同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法即BP算法进行了详尽的分析,解决了长期以来没有权值调整有效算法的难题。可以求解感知机所不能解决的问题,回答了《Perceptrons》一书中关于神经网络局限性的问题,从实践上证实了人工神经网络有很强的运算能力。
(5)、细胞神经网络模型:1988年,Chua和Yang提出了细胞神经网络(CNN)模型,它是一个细胞自动机特性的大规模非线性计算机仿真系统。Kosko建立了双向联想存储模型(BAM),它具有非监督学习能力。
(6)、Darwinism模型:Edelman提出的Darwinism模型在90年代初产生了很大的影响,他建立了一种神经网络系统理论。
(7)、1988年,Linsker对感知机网络提出了新的自组织理论,并在Shanon信息论的基础上形成了最大互信息理论,从而点燃了基于NN的信息应用理论的光芒。
(8)、1988年,Broomhead和Lowe用径向基函数(Radialbasis function, RBF)提出分层网络的设计方法,从而将NN的设计与数值分析和线性适应滤波相挂钩。
(9)、1991年,Haken把协同引入神经网络,在他的理论框架中,他认为,认知过程是自发的,并断言模式识别过程即是模式形成过程。
(10)、1994年,廖晓昕关于细胞神经网络的数学理论与基础的提出,带来了这个领域新的进展。通过拓广神经网络的激活函数类,给出了更一般的时滞细胞神经网络(DCNN)、Hopfield神经网络(HNN)、双向联想记忆网络(BAM)模型。
(11)、90年代初,Vapnik等提出了支持向量机(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。
经过多年的发展,已有上百种的神经网络模型被提出。

Ⅲ 哪些神经网络可以用在图像特征提取上

BP神经网络、离散Hopfield网络、LVQ神经网络等等都可以。

1.BP(Back Propagation)神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hidden layer)和输出层(output layer)。
2.Hopfiled神经网络是一种递归神经网络,由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛,但收敛到错误的局部极小值(local minimum),而非全局极小(global minimum)的情况也可能发生。Hopfiled网络也提供了模拟人类记忆的模型。
3.LVQ神经网络由三层组成,即输入层、隐含层和输出层,网络在输入层与隐含层间为完全连接,而在隐含层与输出层间为部分连接,每个输出层神经元与隐含层神经元的不同组相连接。隐含层和输出层神经元之间的连接权值固定为1。输入层和隐含层神经元间连接的权值建立参考矢量的分量(对每个隐含神经元指定一个参考矢量)。在网络训练过程中,这些权值被修改。隐含层神经元(又称为Kohnen神经元)和输出神经元都具有二进制输出值。当某个输入模式被送至网络时,参考矢量最接近输入模式的隐含神经元因获得激发而赢得竞争,因而允许它产生一个“1”,而其它隐含层神经元都被迫产生“0”。与包含获胜神经元的隐含层神经元组相连接的输出神经元也发出“1”,而其它输出神经元均发出“0”。产生“1”的输出神经元给出输入模式的类,由此可见,每个输出神经元被用于表示不同的类。

Ⅳ 神经网络Hopfield模型

一、Hopfield模型概述

1982年,美国加州工学院J.Hopfield发表一篇对人工神经网络研究颇有影响的论文。他提出了一种具有相互连接的反馈型人工神经网络模型——Hopfield人工神经网络。

Hopfield人工神经网络是一种反馈网络(Recurrent Network),又称自联想记忆网络。其目的是为了设计一个网络,存储一组平衡点,使得当给网络一组初始值时,网络通过自行运行而最终收敛到所存储的某个平衡点上。

Hopfield网络是单层对称全反馈网络,根据其激活函数的选取不同,可分为离散型Hopfield网络(Discrete Hopfield Neural Network,简称 DHNN)和连续型 Hopfield 网络(Continue Hopfield Neural Network,简称CHNN)。离散型Hopfield网络的激活函数为二值型阶跃函数,主要用于联想记忆、模式分类、模式识别。这个软件为离散型Hopfield网络的设计、应用。

二、Hopfield模型原理

离散型Hopfield网络的设计目的是使任意输入矢量经过网络循环最终收敛到网络所记忆的某个样本上。

正交化的权值设计

这一方法的基本思想和出发点是为了满足下面4个要求:

1)保证系统在异步工作时的稳定性,即它的权值是对称的,满足

wij=wji,i,j=1,2…,N;

2)保证所有要求记忆的稳定平衡点都能收敛到自己;

3)使伪稳定点的数目尽可能地少;

4)使稳定点的吸引力尽可能地大。

正交化权值的计算公式推导如下:

1)已知有P个需要存储的稳定平衡点x1,x2…,xP-1,xP,xp∈RN,计算N×(P-1)阶矩阵A∈RN×(P-1)

A=(x1-xPx2-xP…xP-1-xP)T

2)对A做奇异值分解

A=USVT

U=(u1u2…uN),

V=(υ1υ2…υP-1),

中国矿产资源评价新技术与评价新模型

Σ=diαg(λ1,λ2,…,λK),O为零矩阵。

K维空间为N维空间的子空间,它由K个独立的基组成:

K=rαnk(A),

设{u1u2…uK}为A的正交基,而{uK+1uK+2…uN}为N维空间的补充正交基。下面利用U矩阵来设计权值。

3)构造

中国矿产资源评价新技术与评价新模型

总的连接权矩阵为:

Wt=Wp-T·Wm

其中,T为大于-1的参数,缺省值为10。

Wp和Wm均满足对称条件,即

(wp)ij=(wp)ji

(wm)ij=(wm)ji

因而Wt中分量也满足对称条件。这就保证了系统在异步时能够收敛并且不会出现极限环。

4)网络的偏差构造为

bt=xP-Wt·xP

下面推导记忆样本能够收敛到自己的有效性。

(1)对于输入样本中的任意目标矢量xp,p=1,2,…,P,因为(xp-xP)是A中的一个矢量,它属于A的秩所定义的K个基空间的矢量,所以必存在系数α1,α2,…,αK,使

xp-xP1u12u2+…+αKuK

xp1u12u2+…+αKuK+xP

对于U中任意一个ui,有

中国矿产资源评价新技术与评价新模型

由正交性质可知,上式中

当i=j,

当i≠j,

对于输入模式xi,其网络输出为

yi=sgn(Wtxi+bt)

=sgn(Wpxi-T·Wmxi+xP-WpxP+T·WmxP)

=sgn[Wp(xi-xP)-T·Wm(xi-xP)+xP]

=sgn[(Wp-T·Wm)(xi-xP)+xP]

=sgn[Wt(xi-xP)+xP]

=sgn[(xi-xP)+xP]

=xi

(2)对于输入模式xP,其网络输出为

yP=sgn(WtxP+bt)

=sgn(WtxP+xP-WtxP)

=sgn(xP)

=xP

(3)如果输入一个不是记忆样本的x,网络输出为

y=sgn(Wtx+bt)

=sgn[(Wp-T·Wm)(x-xP)+xP]

=sgn[Wt(x-xP)+xP]。

因为x不是已学习过的记忆样本,x-xP不是A中的矢量,则必然有

Wt(x-xP)≠x-xP

并且再设计过程中可以通过调节Wt=Wp-T·Wm中的参数T的大小来控制(x-xP)与xP的符号,以保证输入矢量x与记忆样本之间存在足够的大小余额,从而使sgn(Wtx+bt)≠x,使x不能收敛到自身。

用输入模式给出一组目标平衡点,函数HopfieldDesign( )可以设计出 Hopfield 网络的权值和偏差,保证网络对给定的目标矢量能收敛到稳定的平衡点。

设计好网络后,可以应用函数HopfieldSimu( ),对输入矢量进行分类,这些输入矢量将趋近目标平衡点,最终找到他们的目标矢量,作为对输入矢量进行分类。

三、总体算法

1.Hopfield网络权值W[N][N]、偏差b[N]设计总体算法

应用正交化权值设计方法,设计Hopfield网络;

根据给定的目标矢量设计产生权值W[N][N],偏差b[N];

使Hopfield网络的稳定输出矢量与给定的目标矢量一致。

1)输入P个输入模式X=(x[1],x[2],…,x[P-1],x[P])

输入参数,包括T、h;

2)由X[N][P]构造A[N][P-1]=(x[1]-x[P],x[2]-x[P],…,x[P-1]-x[P]);

3)对A[N][P-1]作奇异值分解A=USVT

4)求A[N][P-1]的秩rank;

5)由U=(u[1],u[2],…,u[K])构造Wp[N][N];

6)由U=(u[K+1],…,u[N])构造Wm[N][N];

7)构造Wt[N][N]=Wp[N][N]-T*Wm[N][N];

8)构造bt[N]=X[N][P]-Wt[N][N]*X[N][P];

9)构造W[N][N](9~13),

构造W1[N][N]=h*Wt[N][N];

10)求W1[N][N]的特征值矩阵Val[N][N](对角线元素为特征值,其余为0),特征向量矩阵Vec[N][N];

11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N];

12)求Vec[N][N]的逆Invec[N][N];

13)构造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N];

14)构造b[N],(14~15),

C1=exp(h)-1,

C2=-(exp(-T*h)-1)/T;

15)构造

中国矿产资源评价新技术与评价新模型

Uˊ——U的转置;

16)输出W[N][N],b[N];

17)结束。

2.Hopfield网络预测应用总体算法

Hopfield网络由一层N个斜坡函数神经元组成。

应用正交化权值设计方法,设计Hopfield网络。

根据给定的目标矢量设计产生权值W[N][N],偏差b[N]。

初始输出为X[N][P],

计算X[N][P]=f(W[N][N]*X[N][P]+b[N]),

进行T次迭代,

返回最终输出X[N][P],可以看作初始输出的分类。

3.斜坡函数

中国矿产资源评价新技术与评价新模型

输出范围[-1,1]。

四、数据流图

Hopfield网数据流图见附图3。

五、调用函数说明

1.一般实矩阵奇异值分解

(1)功能

用豪斯荷尔德(Householder)变换及变形QR算法对一般实矩阵进行奇异值分解。

(2)方法说明

设A为m×n的实矩阵,则存在一个m×m的列正交矩阵U和n×n的列正交矩阵V,使

中国矿产资源评价新技术与评价新模型

成立。其中

Σ=diag(σ0,σ1,…σp)p⩽min(m,n)-1,

且σ0≥σ1≥…≥σp>0,

上式称为实矩阵A的奇异值分解式,σi(i=0,1,…,p)称为A的奇异值。

奇异值分解分两大步:

第一步:用豪斯荷尔德变换将A约化为双对角线矩阵。即

中国矿产资源评价新技术与评价新模型

其中

中国矿产资源评价新技术与评价新模型

中的每一个变换Uj(j=0,1,…,k-1)将A中的第j列主对角线以下的元素变为0,而

中的每一个变换Vj(j=0,1,…,l-1)将A中的第j行主对角线紧邻的右次对角线元素右边的元素变为0。]]

j具有如下形式:

中国矿产资源评价新技术与评价新模型

其中ρ为一个比例因子,以避免计算过程中的溢出现象与误差的累积,Vj是一个列向量。即

Vj=(υ0,υ1,…,υn-1),

中国矿产资源评价新技术与评价新模型

其中

中国矿产资源评价新技术与评价新模型

第二步:用变形的QR算法进行迭代,计算所有的奇异值。即:用一系列的平面旋转变换对双对角线矩阵B逐步变换成对角矩阵。

在每一次的迭代中,用变换

中国矿产资源评价新技术与评价新模型

其中变换

将B中第j列主对角线下的一个非0元素变为0,同时在第j行的次对角线元素的右边出现一个非0元素;而变换Vj,j+1将第j-1行的次对角线元素右边的一个0元素变为0,同时在第j列的主对角线元素的下方出现一个非0元素。由此可知,经过一次迭代(j=0,1,…,p-1)后,B′仍为双对角线矩阵。但随着迭代的进行。最后收敛为对角矩阵,其对角线上的元素为奇异值。

在每次迭代时,经过初始化变换V01后,将在第0列的主对角线下方出现一个非0元素。在变换V01中,选择位移植u的计算公式如下:

中国矿产资源评价新技术与评价新模型

最后还需要对奇异值按非递增次序进行排列。

在上述变换过程中,若对于某个次对角线元素ej满足

|ej|⩽ε(|sj+1|+|sj|)

则可以认为ej为0。

若对角线元素sj满足

|sj|⩽ε(|ej-1|+|ej|)

则可以认为sj为0(即为0奇异值)。其中ε为给定的精度要求。

(3)调用说明

int bmuav(double*a,int m,int n,double*u,double*v,double eps,int ka),

本函数返回一个整型标志值,若返回的标志值小于0,则表示出现了迭代60次还未求得某个奇异值的情况。此时,矩阵的分解式为UAVT;若返回的标志值大于0,则表示正常返回。

形参说明:

a——指向双精度实型数组的指针,体积为m×n。存放m×n的实矩阵A;返回时,其对角线给出奇异值(以非递增次序排列),其余元素为0;

m——整型变量,实矩阵A的行数;

n——整型变量,实矩阵A的列数;

u——指向双精度实型数组的指针,体积为m×m。返回时存放左奇异向量U;

υ——指向双精度实型数组的指针,体积为n×n。返回时存放右奇异向量VT

esp——双精度实型变量,给定的精度要求;

ka——整型变量,其值为max(m,n)+1。

2.求实对称矩阵特征值和特征向量的雅可比过关法

(1)功能

用雅可比(Jacobi)方法求实对称矩阵的全部特征值与相应的特征向量。

(2)方法说明

雅可比方法的基本思想如下。

设n阶矩阵A为对称矩阵。在n阶对称矩阵A的非对角线元素中选取一个绝对值最大的元素,设为apq。利用平面旋转变换矩阵R0(p,q,θ)对A进行正交相似变换:

A1=R0(p,q,θ)TA,

其中R0(p,q,θ)的元素为

rpp=cosθ,rqq=cosθ,rpq=sinθ,

rqp=sinθ,rij=0,i,j≠p,q。

如果按下式确定角度θ,

中国矿产资源评价新技术与评价新模型

则对称矩阵A经上述变换后,其非对角线元素的平方和将减少

,对角线元素的平方和增加

,而矩阵中所有元素的平方和保持不变。由此可知,对称矩阵A每次经过一次变换,其非对角线元素的平方和“向零接近一步”。因此,只要反复进行上述变换,就可以逐步将矩阵A变为对角矩阵。对角矩阵中对角线上的元素λ0,λ1,…,λn-1即为特征值,而每一步中的平面旋转矩阵的乘积的第i列(i=0,1,…,n-1)即为与λi相应的特征向量。

综上所述,用雅可比方法求n阶对称矩阵A的特征值及相应特征向量的步骤如下:

1)令S=In(In为单位矩阵);

2)在A中选取非对角线元素中绝对值最大者,设为apq

3)若|apq|<ε,则迭代过程结束。此时对角线元素aii(i=0,1,…,n-1)即为特征值λi,矩阵S的第i列为与λi相应的特征向量。否则,继续下一步;

4)计算平面旋转矩阵的元素及其变换后的矩阵A1的元素。其计算公式如下

中国矿产资源评价新技术与评价新模型

5)S=S·R(p,q,θ),转(2)。

在选取非对角线上的绝对值最大的元素时用如下方法:

首先计算实对称矩阵A的非对角线元素的平方和的平方根

中国矿产资源评价新技术与评价新模型

然后设置关口υ10/n,在非对角线元素中按行扫描选取第一个绝对值大于或等于υ1的元素αpq进行平面旋转变换,直到所有非对角线元素的绝对值均小于υ1为止。再设关口υ21/n,重复这个过程。以此类推,这个过程一直作用到对于某个υk<ε为止。

(3)调用说明

void cjcbj(double*a,int n,double*v,double eps)。

形参说明:

a——指向双精度实型数组的指针,体积为n×n,存放n阶实对称矩阵A;返回时,其对角线存放n个特征值;

n——整型变量,实矩阵A的阶数;

υ——指向双精度实型数组的指针,体积为n×n,返回特征向量,其中第i列为与λi(即返回的αii,i=0,1,……,n-1)对应的特征向量;

esp——双精度实型变量。给定的精度要求。

3.矩阵求逆

(1)功能

用全选主元高斯-约当(Gauss-Jordan)消去法求n阶实矩阵A的逆矩阵。

(2)方法说明

高斯-约当法(全选主元)求逆的步骤如下:

首先,对于k从0到n-1做如下几步:

1)从第k行、第k列开始的右下角子阵中选取绝对值最大的元素,并记住此元素所在的行号和列号,再通过行交换和列交换将它交换到主元素位置上,这一步称为全选主元;

2)

3)

,i,j=0,1,…,n-1(i,j≠k);

4)αij-

,i,j=0,1,…,n-1(i,j≠k);

5)-

,i,j=0,1,…,n-1(i≠k);

最后,根据在全选主元过程中所记录的行、列交换的信息进行恢复,恢复原则如下:在全选主元过程中,先交换的行、列后进行恢复;原来的行(列)交换用列(行)交换来恢复。

图8-4 东昆仑—柴北缘地区基于HOPFIELD模型的铜矿分类结果图

(3)调用说明

int brinv(double*a,int n)。

本函数返回一个整型标志位。若返回的标志位为0,则表示矩阵A奇异,还输出信息“err**not inv”;若返回的标志位不为0,则表示正常返回。

形参说明:

a——指向双精度实型数组的指针,体积为n×n。存放原矩阵A;返回时,存放其逆矩阵A-1

n——整型变量,矩阵的阶数。

六、实例

实例:柴北缘—东昆仑地区铜矿分类预测。

选取8种因素,分别是重砂异常存在标志、水化异常存在标志、化探异常峰值、地质图熵值、Ms存在标志、Gs存在标志、Shdadlie到区的距离、构造线线密度。

构置原始变量,并根据原始数据构造预测模型。

HOPFIELD模型参数设置:训练模式维数8,预测样本个数774,参数个数8,迭代次数330。

结果分44类(图8-4,表8-5)。

表8-5 原始数据表及分类结果(部分)

续表