Hopfield neural networks

John Hopfield bol americký vedec, fyzik, tvorca Hopfieldových neurónových sietí. Jeho model predstavuje interpretáciu Sherringtonovho-Kirkpatrickovho a Isingovho modelu magnetika. Ide o model, ktorý je založený na fyzikálnom podklade tzv. spinových skiel. Pre ich zaujímavé vlastnosti sa ich fyzici snažili využiť na vytvorenie idealizovaných neurónových sietí, ktorých správanie je možné interpretovať ako analógie rôznych mozgových funkcií, akými sú napr. asociatívne vyvolávanie z pamäte, spracovanie časových postupností stimulov, zabúdanie a podobne. Hopfieldov model a jeho modifikácie patria medzi teoreticky najlepšie preštudované modely neurónových sietí. Jedná sa o najjednoduchšie rekurentné neurónové siete. Zmena synaptických váh sa realizuje podľa Hebbovho pravidla. Hopfieldove neurónové siete sa najčastejšie používajú ako asociačné pamäte na uchovávanie a vyvolávanie vzorov. Avšak medzi nevýhody Hopfieldových sietí patrí možnosť uchovania malého množstva vzoriek (0.15N vzoriek zo všetkých možných vzoriek). Hopfieldove neurónové siete sa často označujú aj ako atraktorové alebo autoasociatívne neurónové siete. Tieto neurónové siete sa okrem spomenutých aplikácií používajú aj na riešenie mnohých optimalizačných problémov. V tomto prípade sa už jedná o určité dynamické systémy, kde sa ústredným pojmom stáva stabilita takejto siete. Aj preto sa nazývajú ako atraktorové siete, pričom atraktor je určitý konečný stav systému, v ktorom sa systém stabilizuje. V podstate stav systému reprezentujeme ako energiu, a keïže sa mení stav systému, mení sa aj energia a úlohou je hľadať rôzne príznaky siete v takto sa meniacom systéme. Táto problematika bude neskôr objasnená osobitným článkom. V týchto sieťach môže byť neurón v jednom z dvoch stavov, t.j. \vec{S_i} = \left \{-1, +1 \right \}. Nech N je celkový počet neurónov v sieti. Vstupný a zároveò aj výstupný stav siete je vyjadrený N-rozmerným binárnym vektorom \vec{S} = (S_1, S_2,..., S_N). Váha synapsy J_{ij} (Junction) je tvorená j-tým neurónom na i-tom neuróne. Pre excitačnú synapsu platí, J_{ij} > 0 a pre inhibičnú synapsu J_{ij} < 0. Neurón na sebe samom synapsy netvorí, t.j. J_{ii} = 0. Suma príspevkov od jednotlivých neurónov \vec{S_j}, pričom j = 1,...,N, váhovaná prostredníctvom synaptických váh J_{ij}, vyjadruje postsynaptický potenciál, ktorý je mierou excitácie i-teho neurónu. Postsynaptický potenciál sa zvykne označovať ako h_{i}^{int}:

Opäť sú to pojmy z biológie, ktoré sú v tomto zmysle idealizované už len preto, že v reálnych neurónových sieťach existujú elektrické ako aj chemické synapsie, pričom sa navzájom ovplyvòujú, kdežto v tomto prípade je to len diskrétny model postavený na tomto základe. Synapsia nie je nič iné ako kontakt medzi neurónmi a jej funkcia je taká istá ako pri živých organizmoch, a teda, prenos nervového vzruchu, v našom prípade zmena číselných hodnôt. Táto zmena sa môže udiať v kontakte na dvoch miestach tak, že ak si predstavíme kontakt ako štrbinu tak na jej začiatku (presynaptickej časti) je možná jedna zmena hodnoty a na konci (postsynaptickej časti) druhá zmena hodnoty. Neurón sa aktivuje, t.j. bude generovať na svojom výstupe tzv. akčný potenciál, ak postsynaptický potenciál h_{i}^{int} prekročí istú hodnotu prahového napätia, tzv. prah excitácie neurónu. Akčný potenciál ako už z názvu vyplýva nie je nič iné ako realizácia akcie na základe určitého potenciálu. Táto veličina sa zvykne označovať ako h_{i}^{ext}. Celkový efektívny postsynaptický potenciál neurónu je potom hi = h_{i}^{int} - h_{i}^{ext}. Pravidlo pre zmenu stavu i-tého neurónu, tzv. prechodové pravidlo, je dané vzťahom:

 

pričom funkcia sign(x) je definovaná nasledovne:

Schéma Hopfieldovej neurónovej siete s dvojstavovými prvkami je na obrázku nižšie.

Stavy neurónov môžu byť \vec{S_i} = { -1, +1 } ako bolo spomenuté, vonkajšie pole kladieme obyčajne rovné nule, takže h_i \neq 0. Aktualizovanie stavu neurónov podľa vzťahu môže prebiehať dvoma spôsobmi. Prvým je synchrónna (paralelná) dynamika, keï všetky neuróny menia svoj stav naraz, t.j. v čase t platí:

Jeden cyklus relaxácie (prechod) odpovedá aktualizácii stavu všetkých N neurónov. Druhou možnosťou je asynchrónna (sekvenčná) dynamika, keď v každom časovom momente t mení svoj stav len jeden náhodne vybraný neurón i:

Energia danej konfigurácie aktivity S (hamiltonián systému) je definovaná ako:

Ak chceme, aby Hopfieldova sieť dospela ku globálnej stabilite tak energia musí byť záporná a musí prejavovať klesajúci charakter. Podrobnejšie to bude uvedené v jednom z budúcich článkov. Na ilustráciu stavového priestoru pre Hopfieldovú sieť s tromi diskrétnymi neurónmi je na nasledujúcom obrázku.

Sieť sa môže nachádzať v jednom z 8 stavov, vrcholoch kocky. Tieto modely sa už údajne v praxi ve¾mi nepoužívajú. Uplatòujú sa viac vo výskumných oblastiach. Najrozšírenejšou aplikáciou je oblasť modelovania neurobiologických a psychických javov, konkrétne ide o simuláciu nasledovných kognitívnych procesov:

• rozpoznávanie — vnímaný objekt už bol raz kedysi vnímaný, je v pamäti
• asociatívne vybavenie z pamäte — rekonštrukcia kompletnej položky (reprezentácie objektu) v pamäti, iniciovaná prítomnosťou fragmentu známeho vzoru na vstupe siete
• klasifikácia — konkrétny atraktor (resp. okolie atraktora) reprezentuje spracovaný a zapamätaný vzor

Používajú sa rôzne modifikácie týchto sietí. Ako už bolo spomenuté v úvode najčastejšie sa používaú ako asociačné pamäte pre uchovávanie a vyvolávanie vzorov. 

Použitá inšpirácia: 

• Predmet: Matematické metódy pre neurónové siete a časové rady | I. Daňo | Košice 2011 

• Úvod do teórie neurónových sietí | V. Kvasnička et al. | IRIS | Bratislava 1997 

• Umelá neurónová sieť typu heteroasociačnej pamäte | M. Timko | Košice 2010