Föreläsning 2:Föreläsning 2:Grundläggande informationsteoriGrundläggande informationsteori

TSBK02 Bild- och ljudkodningTSBK02 Bild- och ljudkodning

Författare: Jörgen AhlbergÖversättning och modifiering:Robert Forchheimer

InformationsteoriInformationsteori

Claude ShannonClaude Shannon: A Mathematical Theory of Communication

The

Bell System Technical Journal, 1948

Två versioner av Shannons ursprungliga publikation.

Från Scientific American-artikelFrån Scientific American-artikel

””What is information? Sidestepping questions about What is information? Sidestepping questions about meaning, Shannon showed that it is a measurable meaning, Shannon showed that it is a measurable commodity”.commodity”.

””Today, Shannon’s insight help shape virtually all systems Today, Shannon’s insight help shape virtually all systems that store, process, or transmit information in digital form, that store, process, or transmit information in digital form, from compact discs to computers, from facsimile machines from compact discs to computers, from facsimile machines to deep space probes”.to deep space probes”.

””Information theory has also infiltrated fields outside Information theory has also infiltrated fields outside communications, including linguistics, psychology, communications, including linguistics, psychology, economics, biology, even the arts”.economics, biology, even the arts”.

KällaKanal-

kodare

Käll-

kodare

Kanal

Käll-

avkodare

mottagareKanal-

avkodare

Kanal

Shannons KommunikationsmodellShannons Kommunikationsmodell

Grundläggande storheterGrundläggande storheter

KällaKanal-

kodare

Käll-

kodare

kanal

Käll-avkodare

mottagareKanal-

avkodare

kanal

HH: Källans informationstakt.

HH

RR: Datatakten från källkodaren.

RRCC

CC

CC: Kanalkapaciteten

Shannon 2Shannon 2: Källkodning och kanalkodning kan optimeras oberoende, och binära symboler kan användas som mellanformat. Förutsättning: godtyckligt lång fördröjning.

Grundläggande teoremGrundläggande teorem

KällaKanal-kodare

Käll-kodare

kanal

Käll-avkodare

mottagare

Kanal-avkodare

kanal

HH RRCC

CC

Shannon 1Shannon 1: Felfri transmission möjlig om R>H and C>R.

Stokastiska källorStokastiska källor

En källa genererar En källa genererar symbolersymboler XX11, , XX22, ..., ...

Symbolerna tar sina värden från ett Symbolerna tar sina värden från ett alfabetalfabet AA = (= (aa11, , aa22, …)., …).

Modell:Modell: PP((XX11,…,,…,XXNN)) anses vara känd för alla anses vara känd för alla

kombinationer.kombinationer.

Källa X1, X2, …

Exempel 1: En text är en följd av symboler som vardera tar sitt värde från alfabetetA = (a, …, ö, A, …, Ö, 1, 2, …9, !, ?, …).

Exempel 2: En (digital) gråskalebild är en sekvens av symboler som vardera tar sitt värde från alfabetet A = (0,1) eller A = (0, …, 255).

Två speciella fallTvå speciella fall

1.1. Den minnesfria källanDen minnesfria källan Varje symbol är oberoende av tidigare Varje symbol är oberoende av tidigare

symbolersymboler PP((XX11, , XX22, …, , …, XXnn) = ) = PP((XX11) ) ** PP((XX22) ) ** … … ** PP((XXnn))

MarkovkällanMarkovkällan Varje symbol beror endast av föregående Varje symbol beror endast av föregående

symbol.symbol. PP((XX11, , XX22, …, , …, XXnn)) = = PP((XX11) ) ** PP((XX22||XX11) ) ** PP((XX33||XX22) ) ** … …

** PP((XXnn|X|Xnn-1-1))

MarkovkällanMarkovkällan

En symbol beror endast av den tidigare En symbol beror endast av den tidigare symbolen, så källan kan modelleras med ett symbolen, så källan kan modelleras med ett tillståndsdiagram.tillståndsdiagram.

a

b

c

1.00.5

0.7

0.3

0.30.2

En ternär källa medalfabet A = (a, b, c).

MarkovkällanMarkovkällan

Antag vi är i tillstånd Antag vi är i tillstånd aa, dvs., , dvs., XXkk = = aa..

Sannolikheterna för nästa symbol är:Sannolikheterna för nästa symbol är:

a

b

c

1.00.5

0.7

0.3

0.30.2

PP((XXkk+1+1 = = a | Xa | Xkk = a = a) = 0.3) = 0.3

PP((XXkk+1+1 = = b | Xb | Xkk = a = a) = 0.7) = 0.7

PP((XXkk+1+1 = = c | Xc | Xkk = a = a) = 0) = 0

MarkovkällanMarkovkällan

På motsvarande sätt, om På motsvarande sätt, om XXkk+1+1 = = bb, vet vi att , vet vi att

XXkk+2+2 blir lika med blir lika med cc..

a

b

c

1.00.5

0.7

0.3

0.30.2

PP((XXkk+2+2 = = a | Xa | Xkk+1+1 = b = b) = 0) = 0

PP((XXkk+2+2 = = b | Xb | Xkk+1+1 = b = b) = 0) = 0

PP((XXkk+2+2 = = c | Xc | Xkk+1+1 = b = b) = 1) = 1

MarkovkällanMarkovkällan

Om alla tillstånden kan nås så kan de Om alla tillstånden kan nås så kan de stationära sannolikheternastationära sannolikheterna i = P(Xk = ai) för för tillstånden beräknas från de givna tillstånden beräknas från de givna övergångssannolikheterna.övergångssannolikheterna.

Markovmodeller kan användas för att Markovmodeller kan användas för att representera källor som har mer än ett stegs representera källor som har mer än ett stegs minne.minne.– Använd tillståndsdiagram med flera symboler i Använd tillståndsdiagram med flera symboler i

varje tillstånd.varje tillstånd.

Analys och syntesAnalys och syntes

Stokastiska modeller kan användas för att Stokastiska modeller kan användas för att analyseraanalysera en källa. en källa.– Finn en modell som väl överensstämmer med Finn en modell som väl överensstämmer med

en verklig källa. Analysera modellen istället för en verklig källa. Analysera modellen istället för verkligheten.verkligheten.

Stokastiska modeller kan användas för att Stokastiska modeller kan användas för att syntetiserasyntetisera en källa. en källa. – använd en slumpgenerator i varje steg i använd en slumpgenerator i varje steg i

Markovmodellen för att skapa en signal som Markovmodellen för att skapa en signal som simulerar källan.simulerar källan.

Information och EntropiInformation och Entropi

Antag vi har en binär minnesfri källa t.ex. Antag vi har en binär minnesfri källa t.ex. slantsingling. Hur mycket information får vi då vi slantsingling. Hur mycket information får vi då vi får reda på att krona kommit upp?får reda på att krona kommit upp?– Om myntet är korrekt, dvs, Om myntet är korrekt, dvs, PP((kronakrona) = ) = PP ( (klaveklave) = 0.5, ) = 0.5,

säger vi att säger vi att mängden information är mängden information är 1 bit1 bit..– Om vi redan visste att krona kommit upp, dvs Om vi redan visste att krona kommit upp, dvs PP((kronakrona) = ) =

1, så är 1, så är mängen information lika med mängen information lika med nollnoll!!– Om myntet är osymmetriskt, t.ex., Om myntet är osymmetriskt, t.ex., PP((kronakrona) = 0.9, så är ) = 0.9, så är

mängden information mängden information mer än noll men mindre än en bitmer än noll men mindre än en bit!!– Intuitivt, mängden information som tas emot Intuitivt, mängden information som tas emot är är

densammadensamma om om PP((kronakrona) = 0.9 or ) = 0.9 or PP ( (klaveklave) = 0.9.) = 0.9.

SjälvinformationSjälvinformation

Låt oss se detta på Shannons sätt.Låt oss se detta på Shannons sätt. Antag vi har en minnesfri källa medAntag vi har en minnesfri källa med

– alfabet alfabet AA = (= (aa11, …, a, …, ann))

– symbolsannolikheter symbolsannolikheter ((pp11, …, p, …, pnn))..

Hur mycket information får vi när vi får reda Hur mycket information får vi när vi får reda på att nästa symbol är på att nästa symbol är aaii??

Enligt Shannon är Enligt Shannon är självinformationensjälvinformationen för för aaii

lika medlika med

Varför det?Varför det?Antag Antag två oberoende händelsertvå oberoende händelser AA and and BB, med, medsannolikheterna sannolikheterna PP((AA)) = p = pAA and and PP((BB)) = p = pBB..

Sannolikheten att båda händelserna skall inträffa är Sannolikheten att båda händelserna skall inträffa är ppAA ** ppBB. Däremot bör . Däremot bör mängden informationmängden information

adderasadderas, ej multipliceras., ej multipliceras.

Logaritmering löser detta!

Dessutom vill vi att informationen skall öka med minskande sannolikhet så låt oss byta tecken:

SjälvinformationSjälvinformation

Exempel 1:Exempel 1:

Exempel 2:Exempel 2:

Vilken logaritm?Vilken logaritm? Välj själv! Om du väljer naturliga logaritmen blir sorten Välj själv! Om du väljer naturliga logaritmen blir sorten natsnats, , om du väljer 10-log, får du om du väljer 10-log, får du HartleysHartleys, om du väljer 2-log (som är vanligast), så , om du väljer 2-log (som är vanligast), så får du får du bitarbitar..

SjälvinformationSjälvinformation

HH((XX)) kallas för första ordningens kallas för första ordningens entropientropi för källan. för källan.

Detta kan också betraktas som graden av osäkerhet Detta kan också betraktas som graden av osäkerhet om vad nästa symbol kommer att ha för värde.om vad nästa symbol kommer att ha för värde.

I I medel över alla symbolernamedel över alla symbolerna, så får vi:, så får vi:

EntropiEntropi

Exempel l:Exempel l: Binär minnesfri källa

BMK 0 1 1 0 1 0 0 0 …

1

0 0.5 1

Osäkerheten (informationen) är störst när

kallas oftaDå är

Låt

Entropi: Tre egenskaperEntropi: Tre egenskaper

1.1. Man kan visa att Man kan visa att 0 0 << HH << log Nlog N..

2.2. Maximal entropiMaximal entropi ( (H = log NH = log N) fås när alla ) fås när alla symboler är symboler är lika sannolikalika sannolika, dvs,, dvs,ppii = = 11/N/N..

3.3. Skillnaden Skillnaden log N – Hlog N – H kallas kallas redundansenredundansen hos källan.hos källan.

Entropi för minneskällorEntropi för minneskällor

Antag ett block av källsymboler Antag ett block av källsymboler ((XX11, …, , …, XXnn))

och definiera och definiera blockentropinblockentropin::

Entropin för en minneskälla Entropin för en minneskälla definieras som:definieras som:Dvs, summationen görs över alla möjliga kombinationer av Dvs, summationen görs över alla möjliga kombinationer av nn symboler. symboler.

Dvs, låt blocklängden gå mot oändligheten.Dvs, låt blocklängden gå mot oändligheten.Dividera med Dividera med nn för att få antal för att få antal bitar / symbolbitar / symbol..

Entropin för en MarkovkällaEntropin för en Markovkälla

Entropin för ett tillstånd SEntropin för ett tillstånd Skk kan uttryckas som kan uttryckas som

Medelvärdesbildning över alla tillstånd gerMedelvärdesbildning över alla tillstånd gerentropin för Markovkällanentropin för Markovkällan

PPklkl är övergångssannolikheten från tillstånd är övergångssannolikheten från tillstånd kk till tillstånd till tillstånd ll..

SkurlängdskällanSkurlängdskällan Vissa källor genererar långa Vissa källor genererar långa skurarskurar (”runs”)(”runs”) av samma av samma

symboler.symboler. Exempel:Exempel:

Sannolikheten för en skur av längd Sannolikheten för en skur av längd rr: : PP((rr)) = = ((1-1-))r-1r-1 EntropiEntropi: : HHRR = - = - r=1r=1

PP((rr) ) loglog PP((rr)) Om den genomsnittliga skurländgen är Om den genomsnittliga skurländgen är , så är , så är HHRR// = =

HHMM..

A B

KällkodningsteoremetKällkodningsteoremet

Entropin ger det minsta antalet bitarEntropin ger det minsta antalet bitarsom möjliggör felfri representation av källan.som möjliggör felfri representation av källan.

KällkodningsteoremetKällkodningsteoremet

SägerSäger– att vi kan representera utsignalen från en källa att vi kan representera utsignalen från en källa

XX med med HH((XX)) bitar/symbol. bitar/symbol.– att vi inte kan göra bättre än så.att vi inte kan göra bättre än så.

Säger oss inteSäger oss inte– Hur man gör.Hur man gör.