1

ANN ANN fkfk

Attraktornätverk

Anders Lansner

Mars 26, 2007 ANN fk F5 ALa 2

SynopsisSynopsis

• Hebbs teori – synapser och cellassemblies• Varför attraktornät, biologi, beräkningar?

• Hopfieldmodellen• Haykin, Ch 14• Innehållsadresserat minne (CAM)• Tillämpning på kombinatorisk optimering

• Kate Smith review

• Attraktor CAM• Minneskapacitet• Utvidgningar

• Attraktorminne i hjärnbarken?

Mars 26, 2007 ANN fk F5 ALa 3

HebbskHebbsk inlinläärningrning ochoch synapsersynapser

• Erfarenhetsbetingad koppling• Samaktivering av celler ⇒ förstärkt koppling/synaps

• Hebbs hypotes verifierad!• Synaptisk långtidspotentiering (LTP), 1973, Hebbsk, 1978

• LTD• ”Spike-timing dependent plasticity” (STDP)!

Hebb D O, 1949: The Organization of Behavior

?

Mars 26, 2007 ANN fk F5 ALa 4

HebbskaHebbska cellassembliescellassemblies –– bildningbildning

Mars 26, 2007 ANN fk F5 ALa 5

HebbskaHebbska cellassembliescellassemblies –– dynamikdynamik

Mars 26, 2007 ANN fk F5 ALa 6

HebbianHebbian cell cell assembliesassemblies –– bistabiltybistabilty

Necker cube

• Synaptic depression + neuronal adaptation??

2

Mars 26, 2007 ANN fk F5 ALa 7

HebbsHebbs teoriteori

• Cellgrupp = mentalt objekt• Gestalt perception

• Figur-bakgrund• Perceptuell komplettering• Perceptuell rivalitet

• Neckerkuben• Multi-modala cellassemblies• Associationskedjor

• Tankeprocesser…• Tidsfördröjd LTP

• Matematisk formalism

Mars 26, 2007 ANN fk F5 ALa 8

HopfieldnHopfieldnäätettet

1

1 MT

ijMw I

N Nμ μμ

ξ ξ=

= −∑

v1

v2

v3

v4

v5

i1

i2

i3

i4

i5

w11

”Hebbsk inlärning”

)0( =iiw

Mars 26, 2007 ANN fk F5 ALa 9

Kombinatorisk optimering Kombinatorisk optimering mhamhaHopfieldnHopfieldnäätt

• Hopfieldnät (och SOM) jämförs med ”meta-heuristic” metoder

• Hopfield and Tank, TSP, 1985• Energifunktion• … ekvivalent med den funktion

som ska minimeras• ”Constraints” inkluderas som

bestraffningstermer

• Legala & goda lösningar• 10 städer – 100 neuron• 30 städer – 900 neuron• 80% legala, nära optimala

• Smith, K (1999): ”Neural networks for Combinatorial Optimization: A Review of MoreThan a Decade of Research”, INFORMS Journal on Computing, 11(1).

Mars 26, 2007 ANN fk F5 ALa 10

Kombinatorisk optimering Kombinatorisk optimering mhamhaHopfieldnHopfieldnäätt -- kritikkritik

• Wilson and Pawley, TSP, 1988• Kunde ej reproducera• Metoden dålig, ej operationspunkten

• vanrykte! heuristiska metoder

Mars 26, 2007 ANN fk F5 ALa 11

Kombinatorisk optimering Kombinatorisk optimering mhamhaHopfieldnHopfieldnäätt –– sentida fsentida föörbrbäättringarttringar

• Omskrivning av energifunktionen Legala lösningar• ”Valid subspace approach”

• Evalid är avvikelsen från Av = b

• Mera optimala lösningar• Stokastisk ”annealing”

• t ex Bolzmann-Cauchy maskinen• Enheter med kaotisk dynamik

• Dedicerad hårdvara

• ”The initial problems that have plagued the reputation of the Hopfield network have now been solved.”

Mars 26, 2007 ANN fk F5 ALa 12

Kombinatorisk optimering Kombinatorisk optimering mhamhaHopfieldnHopfieldnäätt –– tilltilläämpningarmpningar

• Jämförelse med heuristiska metoder saknas tyvärr ofta …

• TSP• Tilldelningsproblem

• Fördela N uppgifter till N personer• Bemanningsplanering

• Kvadratiskt• VLSI design, frekvensoptimering i telekom

• ”Constraint satisfaction”• N-Queen• Tidtabell-, schemaläggning

• Klustring• Kapning, Packning• Grafer• Heltalsprogrammering• Schemaläggning

• Av t ex flygplansbesättningar

3

Mars 26, 2007 ANN fk F5 ALa 13

CAM CAM –– vanligaste nvanligaste näätverkentverken

• Psykologisk-Biologisk teori

• Willshaw-Palm• Binär W

• Hopfield• …• BCPNN

• Probabilistisk, modulär

Mars 26, 2007 ANN fk F5 ALa 14

PrestandamPrestandamåått tt –– minneskapacitetminneskapacitet

• Antal återkallbara (slumpmässiga) mönster• Bits/koppling (fri parameter)

• Brusanalys• Informationsteoretisk analys• ”Replikateori”

Mars 26, 2007 ANN fk F5 ALa 15

• Willshaw-Palm nät• Binär Hebbsk inlärning (OR)

• Gles aktivitet, a = log2N

• Fungerar (förvånansvärt) bra• För slumpmässiga mönster…

BinBinäära autoassociativa nra autoassociativa näätverktverk

1VM

Tijw Iμ μμ

ξ ξ=

= −

Mars 26, 2007 ANN fk F5 ALa 16

HopfieldnHopfieldnäätt –– minneskapacitetminneskapacitet

• Slumpmässiga mönster, 50% aktiva• ”Crosstalk”, variansanalys

• Mycket analys finns

0,14cM N=

max 2 lnNM

N=

med fel i recall…

utan fel i recall…

Mars 26, 2007 ANN fk F5 ALa 17

• Önskemål, inte bevis…

• Antal bits i W (symmetrisk)

• Antal bits/återkallat mönster

• Stämmer hyfsat för standard Hopfield, Zmax = 0,14N

MinneskapacitetMinneskapacitetInformationsteoretisk uppskattningInformationsteoretisk uppskattning

2

2

/ log

logP

bits mönster PP antal möjliga olika mönsterZ antal återkallademönsterbits Z P

===

=

( )12/

W

kN Nbits

k antal bits koppling

−=

=

maxW

P

bitsZbits

=

Mars 26, 2007 ANN fk F5 ALa 18

Utvidgningar av Utvidgningar av attraktornattraktornäätt

• Delvis biologi-inspirerat …

1) Gles aktivitet (”sparse”)2) Gles W (”diluted”)3) Modulär struktur4) Glömskt minne5) Adaptation6) Gömt lager7) …

4

Mars 26, 2007 ANN fk F5 ALa 19

Utvidgning 1Utvidgning 1

• Gles, binär aktivitet, {0,1}

:10 1i

Lagrade mönstermed sannolikhet amed sannolikhet a

μξ⎧

= ⎨ −⎩

( )( )1ij i jw a a

Nμ μ

μ

ξ ξ= − −∑ 2

2 lnln

12 ln

c

c

NMa a

NaN

NMN

=

=

⎛ ⎞≈ ⎜ ⎟⎝ ⎠

Mars 26, 2007 ANN fk F5 ALa 20

• Aktivitetsnivå a = m/N = lnN/N

Informationsteoretisk uppskattningInformationsteoretisk uppskattning

( )2 2!log log

! !P

N Nbitsm m N m

⎛ ⎞= =⎜ ⎟ −⎝ ⎠

2

max logW

P

bits NZ kbits N

⎛ ⎞= = ⎜ ⎟

⎝ ⎠

0 1 2 3 4 5 6 7 8 9 10

x 105

0

0.5

1

1.5

2

2.5

3

3.5

4x 108

Mars 26, 2007 ANN fk F5 ALa 21

Utvidgning 2Utvidgning 2ModulModuläärara nnäätt

• Tröskelkontroll• Ofta problematiskt• m-winners-take-all

• Modulära nät• Hjärnbarken

• Orienteringsminikolumner• Hyperkolumner, basketcellinhibition• Generellt?

• t ex• Hopfieldnät Pottsnät• BCPNN

• Moduler med Σaktivitet = 1• Tröskelkontroll enkel

Mars 26, 2007 ANN fk F5 ALa 22

””FuzzyFuzzy representationrepresentation”” –– neurofuzzyneurofuzzy

• Fuzzy variabler• Lingvistiska

• Manuell indelning• Grafisk blandingsmodell

• Automatiskt, EM• Intervallkodning

• Användes tidigt i Japan• I konsumentprodukter

• Kylskåp• Äggkokare• …

• Mjuk tåginbromsning (Shinkhansen)• Struktur – fysikaliska egenskaper hos kemiska ämnen

• Astra-Zeneca

Hyperkolumn med ? enheter

Mars 26, 2007 ANN fk F5 ALa 23

Utvidgning 3Utvidgning 3Gles WGles W

• Gles kopplingsmatris

• Lagringskapacitet• minskar ung proportionellt• dock, adaptiv utglesning…

/M

c connectivity densityc connections unit==

Mars 26, 2007 ANN fk F5 ALa 24

Utvidgning 4Utvidgning 4Kontinuerlig inlKontinuerlig inläärning, glrning, glöömskamska

• ”Läckande” inlärning

• Tidskonstant för vikter, τw• Långtidsminne >> korttidsminne >> arbetsminne• Undviker ”katastrofal glömska”• ”Palimpsestminne”• Minneskonsolidering

• Prefrontal cortex ↔ Hippocampus ↔ Parietalcortex• Drömmar …

i j ijij

w

wdwdt

μ μξ ξτ−

=

5

Mars 26, 2007 ANN fk F5 ALa 25

GlGlöömskt mskt attraktorminneattraktorminne

Mars 26, 2007 ANN fk F5 ALa 26

Bra beskrivning av minne?Bra beskrivning av minne?

Mars 26, 2007 ANN fk F5 ALa 27

DEMO DEMO –– ListinlListinläärningrning

Mars 26, 2007 ANN fk F5 ALa 28

Modulerat glModulerat glöömskt mskt attraktorminneattraktorminne

• Print-now för varje mönster, τw• Minnesmodulation, emotion/relevans, dopamin D1

Mars 26, 2007 ANN fk F5 ALa 29

Utvidgning 6: AdaptationUtvidgning 6: Adaptation

• Nervceller – egenskaper• Ström – Frekvens• Adaptation• Synaptisk depression

• Vad händer i Hopfieldnät?• Attraktorvandring!

Mars 26, 2007 ANN fk F5 ALa 30

AttraktornAttraktornäätt + adaptation+ adaptationStandard Hopfieldnät fastnar i energiminima …

6

Mars 26, 2007 ANN fk F5 ALa 31

Bra minneskapacitet Bra minneskapacitet etcetc, men, men……

• Vilka är begränsningarna?• Viktig funktionalitet som saknas?

• Korrelerade mönster!• Tid - sekvensinlärning

Mars 26, 2007 ANN fk F5 ALa 32

Input Population256x2 = 512 units

Input Population256x2 = 512 units

Hidden Population32x16 = 512 units

Träningsmängd

Mars 26, 2007 ANN fk F5 ALa 33

Utvidgning 5Utvidgning 5AttraktorminnenAttraktorminnen med gmed göömt lagermt lager

• Instabil Stabil representation• Stort antal slumpmässiga mönster• Korrelerade (”verkliga”) mönster

• lagringskapacitet ej begränsad av Nin• bättre klassificeringsförmåga• Hjärnbarkens lager IV• Kompetitiv inlärning

• ”Feature extraktion”• Oövervakad inlärning, ev bias

• Tidigare analys gäller nu gömt lager…

Mars 26, 2007 ANN fk F5 ALa 34

ÖÖverkomplett, gles bildrepresentationverkomplett, gles bildrepresentation

“Sparse basis functions for the patches were extracted from training images by an iterative learning procedure. Most of the functions are oriented, localized and cover a limited range of spatial frequencies, like the receptive fields of neurons in the visual cortex.”

Image courtesy of Bruno A. Olshausen.

”Överkomplett” = antal basfunktioner > antal pixlar i en patch

Mars 26, 2007 ANN fk F5 ALa 35

Exempel Exempel -- bildrekonstruktionbildrekonstruktion

retrieval cue one iteration four iterations twenty iterations

A

B

Bilder från Colombia University Image Library COIL-100.

Upplösning 128×128 pixel

100 bilder lagrades i ANN med16384 hypercolumner medM = 100Parallellimplementerat …

0 20 40 60 80 1000

1

2

3

4

5

6

7x 10

4

Colors

Pix

els

in A

ll of

the

100

Imag

es

Mars 26, 2007 ANN fk F5 ALa 36

AttraktorminnenAttraktorminnen och hjoch hjäärnbarkenrnbarken

• Tillbaka till Hebb och Hopfield:• dvs fungerar hjärnan på detta sätt?

• Biologiska attraktorminnen• Luktsystemet, Hippocampus

• Rekurrent konnektivitet• Inspiration för CAM modeller

• Hela neocortex• …

• Synaptisk plasticitet• Allt minne i synapserna!• LTP, STP, STDP …

7

Mars 26, 2007 ANN fk F5 ALa 37

Kortikal makroKortikal makro-- och mikroarkitekturoch mikroarkitektur

• Hypercolumns• 100-300 minicolumns• 400 mm• 6 105 in human ctx• WTA/output normalization

Mars 26, 2007 ANN fk F5 ALa 38

NNåågragra ststäälldallda frfråågorgor

• Är kortikal rekurrent excitation stark nog för att upprätthålla attraktordynamik (i närvaro av basketcellinhibition)?

• Hur mycket av spiksynkronicitet, gammarytm, thetarytm, …?• Kan modellen reproducera ”UP/DOWN-states” som

observerats i t ex kortikala skivor in vitro?• Modell av kortex lager 2/3, horisontell konnektivitet

McCormick et al, 2003

Mars 26, 2007 ANN fk F5 ALa 39

Enheter/Minikolumner, HyperkolumnerEnheter/Minikolumner, Hyperkolumner

• Enhet => kortikal minilkolumn• 30 pyramidceller• 2 ”regular spiking non-pyramidal cells” (RSNP)

• ”double bouquet”, ”bipolar” …

• Hyperkolumner med ca 100 minikolumner• Basketceller som aktivitetsregulator inom

hyperkolumnen (”normalisering”)

Peters & Sethares, 1997

Mars 26, 2007 ANN fk F5 ALa 40

Luktbarken Luktbarken –– anterioranterior piriformpiriform cortexcortex

• Input från olika receptortypes är ”patchy”, överlappar delvis• Analogi med hyperkolumner i neokortex – WTA moduler!• Antyder ett modulärt attraktornät

Zou, Z., L. F. Horowitz, J.-P. Montmayeur, S. Snapper and L. Buck (2001). "Genetic tracing reveals a stereotyped sensory map in the olfactory cortex." Nature 414: 173-179.

640 μm

Mars 26, 2007 ANN fk F5 ALa 41

I

II/III

IV

V/VI

Lager 2/3 modell Lager 2/3 modell –– kolumnkolumnäärr strukturstruktur

• Synaptisk “lager 4” input

Mars 26, 2007 ANN fk F5 ALa 42

• • •Cm gL

EL

gNa

ENa

gK

EK

rC

Biofysikaliskt detaljerad cellmodell

Hodgkin-Huxley formalismNa, K, KCa, Ca-kanalerCaAP and CaNMDA pooler

Snabb synaptisk transmission:Glutamaterg (50/50 AMPA-NMDA)GABA-erg

Mest data från McCormick et al.SPLIT simulator

8

Mars 26, 2007 ANN fk F5 ALa 43

PropertiesProperties of of connectivityconnectivity

• Realistisk amplitud hos PSP:s i största nätverksmodellen

• Asymmetrisk cell-cell konnektivitet• 2D geometri ⇒ fördröjningar, 1m/s

Tsodyks, Uziel, Markram 2000

Local basket cell

Local pyramidal

Local RSNP

Distant pyramidal

Mars 26, 2007 ANN fk F5 ALa 44

A

B

5 Hz

C

50 mV

1 s

D

Mars 26, 2007 ANN fk F5 ALa 45

Network layoutNetwork layout

• 1x1 mm patch• 9 hypercolumns• Each hypercolumn

• 100 minicolumns• 100 basket cells

• 100 patterns stored

Mars 26, 2007 ANN fk F5 ALa 46

9 hypercolumns9 hypercolumns

• 1x1 mm• 900 minicol.• 29700 neurons• 15 million

synapses

Mars 26, 2007 ANN fk F5 ALa 47

100 hypercolumns100 hypercolumns

≈ 4x4 mm• 330000

neurons• 161 million

synapses

Mars 26, 2007 ANN fk F5 ALa 48

PreliminPreliminäära resultatra resultat

• Rekurrent excitation är stark nog att stödja attraktordynamik• Snabb komplettering och rivalitet

• Dynamiken påminner om det man ser i mätningar i hjärnbarken• Oregelbunden lågfrekvent fyrning• ”UP-states”, LFP/EEG• Gammaoscillationer, spiksynkronicitet

• En hjärnbarksmodell som vidareutvecklas!• Lager 4, 5 läggs till• Uppskalning – parallellsimulering• Flera samverkande areor