Kako se meri entropija v informacijski teoriji. Informacijska entropija
1. Uvod.
2. Kaj je izmeril Claude Shannon?
3. Meje evolucijske variabilnosti informacijskih sistemov.
4. Omejena prilagoditev bioloških vrst.
5. Faze razvoja teorije entropije.
6. Metode za izračun količine strukturnih informacij in informacijske entropije besedil.
7. Informacijsko-entropijska razmerja adaptacijskih in razvojnih procesov.
8. Informacije in energija.
9. Zaključek.
10. Bibliografija.
UVOD
V drugi polovici 20. stoletja sta se zgodila dva dogodka, ki po našem mnenju v veliki meri določata nadaljnje poti znanstvenega spoznavanja sveta. Govorimo o nastanku informacijske teorije in začetku raziskovanja mehanizmov antientropijskih procesov, za preučevanje katerih sinergetika uporablja vse najnovejše dosežke neravnovesne termodinamike, teorije informacij in splošne teorije sistemov.
Bistvena razlika med to stopnjo razvoja znanosti in predhodnimi stopnjami je v tem, da je bila znanost pred nastankom naštetih področij raziskovanja sposobna razložiti le mehanizme procesov, ki vodijo v povečevanje kaosa in povečanje entropije. Kar se tiče bioloških in evolucijskih konceptov, razvitih od časov Lamarcka in Darwina, še vedno nimajo strogih znanstvenih utemeljitev in so v nasprotju z drugim zakonom termodinamike, po katerem je povečanje entropije, ki spremlja vse procese na svetu, nepogrešljivo. fizikalni zakon.
Zasluga neravnovesne termodinamike je v tem, da je uspela razkriti mehanizme protientropijskih procesov, ki niso v nasprotju z drugim zakonom termodinamike, saj se lokalno zmanjšanje entropije znotraj samoorganizirajočega sistema vedno plača. z velikim povečanjem entropije v absolutni vrednosti zunanje okolje.
Najpomembnejši korak k razumevanju narave in mehanizmov antientropijskih procesov je uvedba kvantitativne mere informacij. Sprva je bil ta ukrep namenjen le reševanju čisto aplikativne naloge komunikacijska tehnologija. Vendar pa so poznejše raziskave na področju fizike in biologije omogočile identifikacijo univerzalnih ukrepov, ki jih je predlagal K. Shannon, ki omogočajo vzpostavitev razmerja med količino informacij in fizično entropijo ter na koncu določijo bistvo nove znanstvene interpretacije koncepta "informacije" kot merila strukturne urejenosti sistemov, ki so po naravi najbolj raznoliki.
Če uporabimo metaforo, lahko rečemo, da je pred uvedbo enotnega informacijskega kvantitativnega merila v znanost svet, predstavljen v naravoslovnih konceptih, tako rekoč "zanašal na dva kita": energijo in snov. »Tretji kit« je zdaj informacija, ki je vpletena v vse procese, ki se dogajajo v svetu, od mikrodelcev, atomov in molekul do delovanja najkompleksnejših bioloških in družbenih sistemov.
Seveda se postavlja vprašanje, ali najnovejši podatki sodobne znanosti potrjujejo ali ovržejo evolucijsko paradigmo o nastanku življenja in bioloških vrst?
Da bi odgovorili na to vprašanje, je treba najprej razumeti, katere lastnosti in vidiki večplastnega koncepta "informacije" odražajo kvantitativno mero, ki jo je K. Shannon uvedel v znanost.
Uporaba merila količine informacij omogoča analizo splošnih mehanizmov informacijsko-entropijskih interakcij, ki so osnova vseh spontanih procesov kopičenja informacij v okoliškem svetu, ki vodijo do samoorganizacije strukture sistema.
Hkrati informacijsko-entropijska analiza omogoča tudi odkrivanje vrzeli v evolucijskih konceptih, ki niso nič drugega kot nevzdržni poskusi zreduciranja problema izvora življenja in bioloških vrst na preproste mehanizme samoorganizacije brez upoštevanja dejstvo, da je sisteme takšne stopnje kompleksnosti mogoče ustvariti le na podlagi teh informacij, kar je bilo prvotno zapisano v načrtu pred njihovo izdelavo.
Zadržano moderna znanostštudije lastnosti informacijskih sistemov dajejo vse razloge za trditev, da je vse sisteme mogoče oblikovati samo po pravilih, ki se spuščajo z zgornjih hierarhičnih ravni, sama pravila pa so obstajala pred samimi sistemi v obliki prvotnega načrta (ideja ustvarjanje).
KAJ JE IZMERIL CLAUD SHANNON?
Teorija informacij temelji na metodi, ki jo je predlagal K. Shannon za izračun količine novih (nepredvidljivih) in odvečnih (predvidljivih) informacij v sporočilih, ki se prenašajo po tehničnih komunikacijskih kanalih.
Metoda, ki jo je predlagal Shannon za merjenje količine informacij, se je izkazala za tako univerzalno, da njena uporaba ni več omejena na ozke okvire čisto tehničnih aplikacij.
V nasprotju z mnenjem samega K. Shannona, ki je znanstvenike posvaril pred prenagljenim širjenjem metode, ki jo je predlagal onkraj meja uporabnih problemov komunikacijske tehnologije, se je ta metoda začela vedno bolj uporabljati v študijah fizikalnih, bioloških in družbenih sistemov.
Ključ do novega razumevanja bistva fenomena informacije in mehanizma informacijskih procesov je bil odnos med informacijo in fizično entropijo, ki ga je vzpostavil L. Brillouin. Ta odnos je bil prvotno položen v same temelje informacijske teorije, saj je Shannon predlagal uporabo verjetne entropijske funkcije, izposojene iz statistične termodinamike za izračun količine informacij.
Mnogi znanstveniki (začenši s samim K. Shannonom) so bili nagnjeni k temu, da bi takšno izposojo obravnavali kot čisto formalno napravo. L. Brillouin je pokazal, da med količino informacij, izračunano po Shannonu, in fizično entropijo ni formalnega, temveč smiselnega odnosa.
V statistični fiziki se z uporabo verjetnostne funkcije entropije preučujejo procesi, ki vodijo do termodinamičnega ravnovesja, v katerem se vsa stanja molekul (njihove energije, hitrosti) približajo enako verjetnim, entropija pa teži k maksimalni vrednosti.
Zahvaljujoč teoriji informacij je postalo očitno, da je s pomočjo iste funkcije mogoče raziskati sisteme, ki so daleč od stanja največje entropije, kot je na primer napisano besedilo.
Druga pomembna ugotovitev je, da
z uporabo verjetnostne funkcije entropije lahko analiziramo vse stopnje prehoda sistema iz stanja popolnega kaosa, kar ustreza enake vrednosti verjetnosti in največje vrednosti entropije, do stanja končne urejenosti (toge determinacije), ki ustreza edinemu možnemu stanju njenih elementov.
Ta sklep se izkaže za enako resničnega za tako različne sisteme v naravi, kot so plini, kristali, pisna besedila, biološki organizmi ali skupnosti itd.
Hkrati, če se za plin ali kristal pri izračunu entropije primerja samo mikrostanje (tj. stanje atomov in molekul) in makrostanje teh sistemov (tj. plin ali kristal kot celota), potem za sisteme drugačne narave (biološke, intelektualne, socialne) se lahko entropija izračuna na eni ali drugi poljubno izbrani ravni. V tem primeru bo izračunana vrednost entropije obravnavanega sistema in količina informacij, ki označujejo stopnjo urejenosti tega sistema in je enaka razliki med največjo in realno vrednostjo entropije, odvisna od verjetnostne porazdelitve stanj elementov osnovne ravni, tj. elemente, ki skupaj tvorijo te sisteme.
Z drugimi besedami,
količina informacij, shranjenih v strukturi sistema, je sorazmerna s stopnjo odstopanja sistema od stanja ravnovesja, zaradi ohranjenega reda v strukturi sistema.
Ne da bi sumil, je Shannon oborožil znanost z univerzalnim merilom, ki je načeloma primerno (pod pogojem, da so razkrite vrednosti vseh verjetnosti) za oceno stopnje urejenosti vseh sistemov, ki obstajajo na svetu.
Ko je ukrep obveščanja, ki ga je uvedla Shannon, opredelil kot merilo vrstnega reda gibanja, je mogoče ugotoviti razmerje med informacijo in energijo, če upoštevamo energija je merilo intenzivnosti prometa. Hkrati je količina informacij, shranjenih v strukturi sistemov, sorazmerna s celotno energijo notranjih povezav teh sistemov.
Hkrati z odkritjem skupne lastnosti informacija kot pojav, obstajajo tudi temeljne razlike, povezane z različnimi stopnjami kompleksnosti informacijskih sistemov.
Tako na primer vsi fizični predmeti, za razliko od bioloških, nimajo posebnih organov spomina, kodiranja signalov, ki prihajajo iz zunanjega sveta, informacijskih komunikacijskih kanalov. Informacije, shranjene v njih, so tako rekoč "razmazane" po njihovi strukturi. Hkrati pa, če kristali ne bi mogli shranjevati informacij v notranjih povezavah, ki določajo njihov vrstni red, ne bi bilo mogoče ustvariti umetnega pomnilnika in tehničnih naprav, namenjenih obdelavi informacij na osnovi kristalnih struktur.
Hkrati je treba upoštevati, da je ustvarjanje takšnih naprav postalo mogoče le zahvaljujoč umu osebe, ki je lahko uporabila osnovne informacijske lastnosti kristalov za izgradnjo kompleksnih informacijskih sistemov.
Praživali biološki sistem po svoji kompleksnosti presega najnaprednejše informacijske sisteme, ki jih je ustvaril človek. Že na ravni najpreprostejših enoceličnih organizmov se aktivira najkompleksnejši informacijski genetski mehanizem, potreben za njihovo razmnoževanje. Pri večceličnih organizmih poleg informacijski sistem dednosti, obstajajo specializirani organi za shranjevanje informacij in njihovo obdelavo (na primer sistemi, ki prekodirajo vidne in slušne signale, ki prihajajo iz zunanjega sveta, preden jih pošljejo v možgane, sistemi za obdelavo teh signalov v možganih). Najbolj zapleteno omrežje informacijskih komunikacij ( živčni sistem) prežema in spreminja celoten večcelični organizem v celoto.
Informacije in entropija
Ko razpravljamo o konceptu informacije, je nemogoče, da se ne dotaknemo drugega sorodnega koncepta - entropije. Pojma entropije in informacije je prvič povezal K. Shannon.
| Claude Elwood Shannon ( Claude Elwood Shannon), 1916-2001 - daljni sorodnik Thomasa Edisona, ameriškega inženirja in matematika, je bil od leta 1941 do 1972 zaposlen v Bell Laboratories. V svojem delu "Matematična teorija komunikacije" (http://cm.bell-labs. com/cm/ms /what/shannonday/), objavljen leta 1948, je prvi določil mero informacijske vsebine katerega koli sporočila in koncept informacijskega kvanta – bit. Te ideje so bile osnova teorije sodobne digitalne komunikacije. Shannonovo drugo delo "Communication Theory of Secrecy Systems", objavljeno leta 1949, je prispevalo k preoblikovanju kriptografije v znanstvena disciplina. Je ustanovitelj informacijska teorija, ki je našel uporabo v sodobnih visokotehnoloških komunikacijskih sistemih. Shannon je veliko prispeval k teoriji verjetnostnih shem, teoriji avtomatov in teoriji nadzornih sistemov - znanosti, ki jih združuje pojem "kibernetika". |
Fizikalna definicija entropije
Prvič je koncept entropije uvedel Clausius leta 1865 kot funkcijo termodinamičnega stanja sistema.
kjer je Q toplota, T temperatura.
Fizični pomen entropije se kaže kot del notranje energije sistema, ki je ni mogoče pretvoriti v delo. Clausius je to funkcijo empirično dobil z eksperimentiranjem s plini.
L. Boltzmanna (1872) po metodah statistična fizika izpeljal teoretični izraz za entropijo
kjer je K konstanta; W je termodinamična verjetnost (število permutacij molekul idealnega plina, ki ne vpliva na makrostanje sistema).
Boltzmannova entropija je bila izpeljana za idealen plin in se obravnava kot merilo nereda, merilo kaosa sistema. Za idealen plin sta Boltzmannovi in Clausiusovi entropiji enaki. Boltzmannova formula je postala tako znana, da je vpisana kot epitaf na njegovem grobu. Obstaja mnenje, da sta entropija in kaos eno in isto. Čeprav entropija opisuje le idealni plini, se je začela nekritično uporabljati za opisovanje kompleksnejših objektov.
Sam Boltzmann leta 1886. poskušal z entropijo razložiti, kaj je življenje. Po Boltzmannu je življenje pojav, ki lahko zmanjša svojo entropijo. Po Boltzmannu in njegovih privržencih se vsi procesi v vesolju spreminjajo v smeri kaosa. Vesolje gre proti toplotni smrti. Ta mračna napoved je dolgo prevladovala v znanosti. Vendar pa je poglabljanje znanja o svetu, ki ga obdaja, postopoma zamajalo to dogmo.
Klasiki entropije niso povezovali z informacijo.
Entropija kot merilo informacije
Upoštevajte, da se pojem "informacija" pogosto razlaga kot "informacija", prenos informacij pa se izvaja s pomočjo komunikacije. K. Shannon je obravnaval entropijo kot mero koristne informacije v procesih prenosa signala po žicah.
Za izračun entropije je Shannon predlagal enačbo, ki je podobna klasičnemu izrazu za entropijo, ki ga je našel Boltzmann. Upoštevamo neodvisen naključni dogodek x z N možnimi stanji in p i -verjetnostjo i-tega stanja. Nato entropija dogodka x
To količino imenujemo tudi povprečna entropija. Na primer, lahko govorimo o prenosu sporočila v naravnem jeziku. Ko prenašamo različne črke, posredujemo različno količino informacij. Količina informacij na črko je povezana s pogostostjo uporabe te črke v vseh sporočilih, oblikovanih v jeziku. Bolj redko kot pismo posredujemo, več informacij vsebuje.
Vrednost
H i = P i log 2 1/P i = -P i log 2 P i,
se imenuje zasebna entropija, ki označuje samo stanje i.
Razložimo s primeri. Pri metanju kovanca izpadejo glave ali repi, to je določen podatek o rezultatih meta.
Za kovanec je število enako verjetnih možnosti N = 2. Verjetnost, da dobimo glave (repe), je 1/2.
Pri metanju kocke dobimo informacijo o izgubi določenega števila točk (na primer treh). Kdaj dobimo več informacij?
Za kocko je število enako verjetnih možnosti N = 6. Verjetnost, da dobite tri točke kocke, je 1/6. Entropija je 2,58. Izvedba manj verjetnega dogodka zagotavlja več informacij. Večja ko je negotovost pred prejemom sporočila o dogodku (met kovanca, kocke), več informacij pride ob prejemu sporočila.
Ta pristop k kvantitativnemu izražanju informacij še zdaleč ni univerzalen, saj sprejete enote ne upoštevajo tako pomembnih lastnosti informacij, kot sta njihova vrednost in pomen. Abstrakcija iz specifičnih lastnosti informacij (njenega pomena, vrednosti) o resničnih predmetih, kot se je kasneje izkazalo, je omogočila identifikacijo splošni vzorci informacije. Enote (biti), ki jih je predlagal Shannon za merjenje količine informacij, so primerne za vrednotenje kakršnih koli sporočil (rojstvo sina, rezultati športne tekme itd.). Kasneje so se poskušala najti taka merila količine informacij, ki bi upoštevala njihovo vrednost in pomen. Univerzalnost pa se je takoj izgubila: za različne procese so kriteriji vrednosti in pomena različni. Poleg tega so definicije pomena in vrednosti informacij subjektivne, medtem ko je merilo informacij, ki ga predlaga Shannon, objektivno. Na primer, vonj nosi ogromno informacij za žival, vendar je za človeka izmuzljiv. Človeško uho ne zaznava ultrazvočnih signalov, vendar nosijo veliko informacij za delfina itd. Zato je merilo informacij, ki ga predlaga Shannon, primerno za preučevanje vseh vrst informacijskih procesov, ne glede na "okuse" informacij potrošnik.
Merjenje informacij
Iz tečaja fizike veste, da preden izmerite vrednost katerega koli fizikalna količina, vnesite mersko enoto. Informacija ima tudi takšno enoto - bit, vendar je njen pomen različen za različne pristope k opredelitvi pojma "informacija".
Obstaja več različnih pristopov k problemu merjenja informacij.
"Informacija je oblika življenja," je zapisal ameriški pesnik in esejist John Perry Barlow. Dejansko se nenehno srečujemo z besedo "informacije" - sprejemajo se, prenašajo in shranjujejo. Izvedite vremensko napoved ali rezultat nogometne tekme, vsebino filma ali knjige, pogovorite se po telefonu – vedno je jasno, s kakšno informacijo imamo opravka. Toda kaj je informacija sama in kar je najpomembneje - kako jo je mogoče izmeriti, običajno nihče ne pomisli. Medtem pa so informacije in načini njihovega posredovanja pomembna stvar, ki v veliki meri določa naše življenje, katerega sestavni del so postali Informacijska tehnologija. Znanstveni urednik Laba.Media Vladimir Gubailovsky pojasnjuje, kaj so informacije, kako jih meriti in zakaj je najtežje posredovati informacije brez popačenj.
Prostor naključnih dogodkov
Leta 1946 je ameriški statistik John Tukey predlagal ime BIT (BIT, BInary digiT - "binarno število" - "Hi-tech") - eden glavnih konceptov 20. stoletja. Tukey je izbral bit za označevanje ene binarne številke, ki lahko prevzame vrednost 0 ali 1. Claude Shannon je v svojem osrednjem prispevku "Matematična teorija komunikacije" predlagal merjenje količine informacij v bitih. Vendar to ni edini koncept, ki ga je predstavil in raziskal Shannon v svojem članku.
Predstavljajte si prostor naključnih dogodkov, ki je sestavljen iz metanja enega samega lažnega kovanca z glavami na obeh straneh. Kdaj pade orel? Jasno je, da vedno. To vemo vnaprej, saj je naš prostor tako urejen. Pridobivanje glav je določen dogodek, to je njegova verjetnost je 1. Koliko informacij bomo sporočili, če govorimo o padlih glavah? št. Šteli bomo, da je količina informacij v takem sporočilu 0.
Zdaj pa vrzimo pravi kovanec: na eni strani ima glavo, na drugi pa repo, kot se spodobi. Pridobivanje glav ali repov bosta dva različna dogodka, ki sestavljata naš prostor naključnih dogodkov. Če poročamo o izidu enega meta, potem bo to res nova informacija. Na glavah bomo poročali 0, na repih pa 1. Za poročanje tega podatka potrebujemo samo 1 bit.
Kaj se je spremenilo? V našem prireditvenem prostoru se je pojavila negotovost. O tem imamo kaj povedati nekomu, ki sam ne vrže kovanca in ne vidi izida meta. A da bi pravilno razumel naše sporočilo, mora natančno vedeti, kaj počnemo, kaj pomenita 0 in 1. Naši dogodki se morajo ujemati, proces dekodiranja pa mora nedvoumno obnoviti rezultat meta. Če se dogajalni prostor oddajanja in sprejema ne ujemata ali ni možnosti enoznačnega dekodiranja sporočila, bo informacija ostala le šum v komunikacijskem kanalu.
Če se dva kovanca vržeta neodvisno in istočasno, bodo štirje enako verjetni izidi: glava-glava, glava-rep, rep-glava in rep-rep. Za prenos informacij potrebujemo že 2 bita, naša sporočila pa bodo naslednja: 00, 01, 10 in 11. Informacij je postalo dvakrat več. To se je zgodilo, ker se je povečala negotovost. Če skušamo uganiti izid takšnega dvojnega meta, imamo dvakrat več možnosti, da se zmotimo.
Večja ko je negotovost prostora dogodka, več informacij vsebuje sporočilo o njegovem stanju.
Malo zakomplicirajmo naš prireditveni prostor. Doslej so bili vsi dogodki, ki so se zgodili, enako verjetni. Toda v realnem prostoru nimajo vsi dogodki enake verjetnosti. Recimo, da je verjetnost, da bo vrana, ki jo vidimo, črna, blizu 1. Verjetnost, da bo prvi mimoidoči, ki ga srečamo na ulici, moški, je približno 0,5. Toda srečati krokodila na ulicah Moskve je skoraj neverjetno. Intuitivno razumemo, da ima sporočilo o srečanju s krokodilom veliko večjo informacijsko vrednost kot o črni vrani. Manjša kot je verjetnost dogodka, več informacij o takem dogodku je v sporočilu.
Naj prostor dogajanja ne bo tako eksotičen. Samo stojiva pri oknu in gledava mimo vozeče avtomobile. Mimo vozijo avtomobili štirih barv, ki jih moramo prijaviti. Da bi to naredili, kodiramo barve: črna - 00, bela - 01, rdeča - 10, modra - 11. Da bi sporočili, kateri avto je šel mimo, moramo posredovati le 2 bita informacij.
Toda ko opazujemo avtomobile precej dolgo, opazimo, da je barva avtomobilov neenakomerno porazdeljena: črna - 50% (vsako sekundo), bela - 25% (vsak četrti), rdeča in modra - po 12,5% ( vsak osmi). Nato lahko optimizirate posredovane informacije.
Večina avtomobilov je črnih, zato poimenujmo črno - 0 - najkrajšo kodo, koda vseh ostalih pa naj se začne z 1. Od preostale polovice, bele - 10, preostale barve pa se začnejo z 11. Nazadnje, naj pokličite rdečo - 110 in modro - 111.
Zdaj lahko informacije o barvi avtomobilov kodiramo bolj gosto.
Entropija po Shannonu
Naj naš prireditveni prostor sestavlja n različnih dogodkov. Pri metanju kovanca z dvema glavama je natanko en tak dogodek, pri metanju enega pravilnega kovanca - 2, pri metanju dveh kovancev ali opazovanju avtomobilov - 4. Vsak dogodek ustreza verjetnosti njegovega pojava. Ko se kovanec vrže z dvema glavama, obstaja le en dogodek (glave) in njegova verjetnost je p1 = 1. Ko se vrže pravilen kovanec, sta dva dogodka, enako verjetna in verjetnost vsakega je 0,5: p1 = 0,5, p2 = 0,5. Pri metu dveh pravilnih kovancev pride do štirih dogodkov, vsi so enako verjetni in je verjetnost vsakega 0,25: p1 = 0,25, p2 = 0,25, p3 = 0,25, p4 = 0,25. Pri opazovanju avtomobilov gre za štiri dogodke, ki imajo različne verjetnosti: črni - 0,5, beli - 0,25, rdeči - 0,125, modri - 0,125: p1 = 0,5, p2 = 0,25, p3 = 0,125, p4 = 0,125.
To ni naključje. Shannon je entropijo (merilo negotovosti v prostoru dogodkov) izbrala tako, da so bili izpolnjeni trije pogoji:
- 1 Entropija določenega dogodka z verjetnostjo 1 je 0.
- Entropija dveh neodvisnih dogodkov je enaka vsoti entropij teh dogodkov.
- Entropija je največja, če so vsi dogodki enako verjetni.
Vse te zahteve so povsem skladne z našimi predstavami o negotovosti prireditvenega prostora. Če obstaja samo en dogodek (prvi primer), ni negotovosti. Če so dogodki neodvisni - negotovost vsote je enaka vsoti negotovosti - se samo seštevajo (primer z metom dveh kovancev). In končno, če so vsi dogodki enako verjetni, potem je stopnja negotovosti sistema največja. Tako kot pri metu dveh kovancev so vsi štirje dogodki enako verjetni in je entropija 2, kar je več kot pri avtomobilih, ko so prav tako štirje dogodki, vendar imajo različne verjetnosti - v tem primeru je entropija je 1,75.
Vrednost H igra osrednjo vlogo v teoriji informacij kot merilo količine informacij, izbire in negotovosti.
Claude Shannon
Claude Elwood Shannon- ameriški inženir, kriptoanalitik in matematik. Velja za "očeta informacijske dobe". Ustanovitelj informacijske teorije, ki je našla uporabo v sodobnih visokotehnoloških komunikacijskih sistemih. Podal je temeljne koncepte, ideje in njihove matematične formulacije, ki trenutno tvorijo osnovo sodobnih komunikacijskih tehnologij.
Leta 1948 je predlagal uporabo besede "bit" za označevanje najmanjše enote informacije. Pokazal je tudi, da je entropija, ki jo je uvedel, enakovredna meri negotovosti informacije v poslanem sporočilu. Shannonova članka "Matematična teorija komunikacije" in "Teorija komunikacije v tajnih sistemih" veljata za temeljna za informacijsko teorijo in kriptografijo.
Med drugo svetovno vojno je Shannon razvil kriptografske sisteme v Bell Laboratories, ki so mu kasneje pomagali odkriti metode za kodiranje s popravljanjem napak.
Shannon je ključno prispeval k teoriji verjetnostnih shem, teoriji iger, teoriji avtomatov in teoriji krmilnih sistemov - področjih znanosti, vključenih v koncept "kibernetike".
Kodiranje
Tako vrženi kovanci kot mimo vozeči avtomobili niso kot številki 0 in 1. Da bi lahko sporočili dogodke, ki se odvijajo v prostorih, je treba najti način, kako te dogodke opisati. Ta opis se imenuje kodiranje.
Sporočila je mogoče kodirati za nedoločen čas različne poti. Toda Shannon je pokazal, da najkrajša koda ne more biti manjša v bitih od entropije.
Zato je entropija sporočila merilo informacije v sporočilu. Ker je v vseh obravnavanih primerih število bitov v kodiranju enako entropiji, pomeni, da je bilo kodiranje optimalno. Skratka, v naših prostorih ni več mogoče kodirati sporočil o dogodkih.
Z optimalnim kodiranjem se v sporočilu ne more izgubiti ali popačiti niti en prenesen bit. Če se izgubi vsaj en bit, bo informacija popačena. Toda vsi resnični komunikacijski kanali ne dajejo 100-odstotne gotovosti, da bodo vsi deli sporočila dosegli prejemnika neizkrivljeni.
Da bi odpravili to težavo, je potrebno, da koda ni optimalna, ampak odvečna. Na primer, da skupaj s sporočilom pošlje svojo kontrolno vsoto - posebej izračunano vrednost, pridobljeno s pretvorbo kode sporočila, ki jo je mogoče preveriti s ponovnim izračunom ob prejemu sporočila. Če se poslana kontrolna vsota ujema z izračunano, bo verjetnost, da je prenos potekal brez napak, precej velika. In če se kontrolna vsota ne ujema, potem morate zahtevati ponoven prenos. Tako danes deluje večina komunikacijskih kanalov, na primer pri prenosu paketov informacij po internetu.
Sporočila naravnega jezika
Razmislite o prostoru dogodkov, ki je sestavljen iz sporočil v naravnem jeziku. To je poseben primer, a eden najpomembnejših. Dogodki tukaj bodo preneseni znaki (črke fiksne abecede). Ti znaki se v jeziku pojavljajo z različno verjetnostjo.
Najpogostejši simbol (to je tisti, ki ga najpogosteje najdemo v vseh besedilih, napisanih v ruščini) je presledek: od tisoč znakov se v povprečju presledek pojavi 175-krat. Drugi najpogostejši je simbol "o" - 90, sledijo mu drugi samoglasniki: "e" (ali "ё" - ne bomo jih razlikovali) - 72, "a" - 62, "i" - 62 in samo nadalje se pojavi prvi soglasnik "t" 53. In najredkejši "f" - ta simbol se pojavi le dvakrat na tisoč znakov.
Uporabili bomo 31-črkovno abecedo ruskega jezika (ne razlikuje se med "e" in "e", kot tudi "b" in "b"). Če bi bile vse črke najdene v jeziku z enako verjetnostjo, bi bila entropija na znak H = 5 bitov, če pa upoštevamo dejanske frekvence znakov, bi bila entropija manjša: H = 4,35 bitov. (To je skoraj dvakrat manj kot pri tradicionalnem kodiranju, ko se znak prenaša kot bajt - 8 bitov).
Toda entropija znaka v jeziku je še manjša. Verjetnost, da se pojavi naslednji znak, ni v celoti določena s povprečno pogostostjo znaka v vseh besedilih. Kateri znak sledi, je odvisno od že prenesenih znakov. Na primer, v sodobni ruščini za simbolom "ъ" ne more slediti simbol soglasnika. Za dvema zaporednima samoglasnikoma »e« je tretji samoglasnik »e« izjemno redek, razen v besedi »dolg vrat«. To pomeni, da je naslednji znak nekoliko vnaprej določen. Če upoštevamo takšno vnaprejšnjo določitev naslednjega simbola, bo negotovost (tj. informacija) naslednjega simbola celo manjša od 4,35. Po nekaterih ocenah je naslednji znak v ruščini vnaprej določen s strukturo jezika za več kot 50%, kar pomeni, da je z optimalnim kodiranjem mogoče vse informacije prenesti tako, da iz sporočila izbrišete polovico črk.
Druga stvar je, da vsake črke ni mogoče neboleče prečrtati. Visokofrekvenčni "o" (in samoglasnike na splošno) je na primer enostavno prečrtati, redka "f" ali "e" pa je precej problematična.
Naravni jezik, v katerem se med seboj sporazumevamo, je močno redundančen, zato zanesljiv, če smo kaj spregledali – ne bojte se, informacije se bodo vseeno prenašale.
Toda dokler Shannon ni uvedel določene mere informacij, nismo mogli razumeti, da je jezik odvečen in do kakšne mere lahko stisnemo sporočila (in zakaj arhivator tako dobro stisne besedilne datoteke).
Redundanca naravnega jezika
V članku "O tem, kako pišemo besedilo" (naslov zveni točno tako!) Fragment romana Ivana Turgenjeva " Plemiško gnezdo” in podvržen določeni preobrazbi: 34 % črk je bilo izbrisanih iz fragmenta, vendar ne naključno. Prve in zadnje črke v besedah smo pustili, samoglasnike smo izbrisali, pa še to ne vseh. Cilj ni bil le obnoviti vse informacije iz pretvorjenega besedila, ampak tudi zagotoviti, da oseba, ki bere to besedilo, ne bo imela posebnih težav zaradi izpustov črk.
Zakaj je razmeroma enostavno brati to pokvarjeno besedilo? Resnično vsebuje potrebne informacije obnoviti cele besede. Rojeni govorec ruščine ima določen niz dogodkov (besed in celih stavkov), ki jih uporablja pri prepoznavanju. Poleg tega ima prevoznik na voljo tudi standardne jezikovne konstrukte, ki mu pomagajo obnoviti informacije. na primer "Bolj blažena je"- z veliko verjetnostjo se lahko bere kot "Bila je bolj občutljiva". Ampak ena sama fraza "Bolja je", namesto tega bo obnovljen kot "Bila je bolj bela". Ker imamo v vsakdanji komunikaciji opravka s kanali, v katerih prihaja do šumov in motenj, smo precej dobri pri pridobivanju informacij, a le tistih, ki jih že vnaprej poznamo. Na primer besedna zveza "Njeni hudiči niso daleč od prijetnih, čeprav so veliko utripali in se zlivali" dobro se bere, razen zadnje besede "splls" - "združeno". Te besede ni v sodobnem leksikonu. pri hitro branje beseda "spls" bere se bolj kot "staknjen skupaj", pri počasnem pa kar bega.
Digitalizacija signala
Zvok ali akustične vibracije so sinusoida. To je na primer vidno na zaslonu urejevalnika zvoka. Če želite natančno prenesti zvok, potrebujete neskončno število vrednosti - celoten sinusoid. To je mogoče z analogno povezavo. Poje – poslušaš, stik se ne prekine, dokler traja pesem.
Z digitalno komunikacijo po kanalu lahko prenašamo le končno število vrednosti. Ali to pomeni, da zvoka ni mogoče natančno prenesti? Izkazalo se je, da ne.
Različni zvoki so različno modulirani sinusoidi. Prenašamo le diskretne vrednosti (frekvence in amplitude), samega sinusoida pa ni treba prenašati - lahko ga ustvari sprejemna naprava. Generira sinusoid in nanj se uporabi modulacija, ustvarjena iz vrednosti, ki se prenašajo po komunikacijskem kanalu. Obstajajo natančna načela, katere diskretne vrednosti je treba prenesti, tako da zvok na vhodu v komunikacijski kanal sovpada z zvokom na izhodu, kjer se te vrednosti prekrivajo z neko standardno sinusoido (to je le Kotelnikov izrek ).
Kotelnikov izrek (v angleški literaturi - Nyquist-Shannonov izrek, izrek vzorčenja)- temeljna izjava na področju digitalne obdelave signalov, ki povezuje zvezne in diskretne signale in navaja, da je "katera koli funkcija F (t), sestavljena iz frekvenc od 0 do f1, mogoče neprekinjeno prenašati s poljubno natančnostjo z uporabo številk zaporedoma do 1 /( 2*f1) sekund.
Kodiranje za popravljanje hrupa. Hammingove kode
Če kodirano besedilo Ivana Turgenjeva prenesemo po nezanesljivem kanalu, čeprav z določenim številom napak, potem dobimo popolnoma smiselno besedilo. Če pa moramo vse prenesti do bita natančno, problem ne bo rešen: ne vemo, kateri biti so napačni, ker je napaka naključna. Tudi kontrolna vsota ne reši vedno.
Zato danes pri prenosu podatkov po omrežjih ne težijo toliko k optimalnemu kodiranju, pri katerem je mogoče v kanal potisniti največjo količino informacij, temveč k takšnemu kodiranju (očitno redundantnemu), pri katerem je mogoče obnoviti napake – približno , kot smo obnovili besede pri branju fragmenta Ivana Turgenjeva.
Obstajajo posebne kode za popravljanje napak, ki vam omogočajo obnovitev informacij po napaki. Eden od njih je Hammingova koda. Recimo, da naš celoten jezik sestavljajo tri besede: 111000, 001110, 100011. Te besede poznata tako vir sporočila kot prejemnik. In vemo, da se napake pojavljajo v komunikacijskem kanalu, vendar pri prenosu ene besede ni popačen več kot en bit informacije.
Recimo, da najprej posredujemo besedo 111000. Zaradi največ ene napake (napake, ki smo jih označili), se lahko spremeni v eno od besed:
1) 111000, 0 11000, 10 1000, 110 000, 1111 00, 11101 0, 111001 .
Ko se prenese beseda 001110, je mogoče dobiti katero koli od besed:
2) 001110, 1 01110, 01 1110, 000 110, 0010 10, 00110 0, 001111 .
Končno lahko za 100011 dobimo:
3) 100011, 0 00011, 11 0011, 101 011, 1001 11, 10000 1, 100010 .
Upoštevajte, da so vsi trije seznami po parih ločeni. Povedano drugače, če se na drugi strani komunikacijskega kanala pojavi katera koli beseda s seznama 1, prejemnik zagotovo ve, da mu je bila poslana beseda 111000, če pa se pojavi katera koli beseda s seznama 2, beseda 001110, s seznama 3 pa beseda 100011. V tem primeru recimo, da je naša koda popravila eno napako.
Do popravka je prišlo zaradi dveh dejavnikov. Prvič, prejemnik pozna celoten "slovar", to pomeni, da je prostor dogodkov prejemnika sporočila enak prostoru pošiljatelja sporočila. Ko je bila koda poslana samo z eno napako, se je pojavila beseda, ki je ni bilo v slovarju.
Drugič, besede v slovarju so bile izbrane na poseben način. Tudi če je prišlo do napake, prejemnik ne more zamenjati ene besede z drugo. Na primer, če je slovar sestavljen iz besed "hči", "pika", "izboklina" in se je ob prenosu izkazalo za "vochka", potem prejemnik, vedoč, da taka beseda ne obstaja, ni mogel popraviti napaka - katera koli od treh besed se lahko izkaže za pravilno. Če so v slovarju »pika«, »črka«, »veja« in vemo, da ni dovoljena več kot ena napaka, potem je »vočka« očitno »pika« in ne »črka«. V kodah za popravljanje napak so besede izbrane tako, da so "prepoznavne" tudi po napaki. Edina razlika je v tem, da sta v kodni "abecedi" samo dve črki - nič in ena.
Redundanca takega kodiranja je zelo velika, število besed, ki jih lahko na ta način posredujemo, pa relativno majhno. Navsezadnje moramo iz slovarja izključiti vsako besedo, ki se v primeru napake lahko ujema s celotnim seznamom, ki ustreza prenesenim besedam (na primer besedi "hči" in "pika" ne moreta biti v slovarju). Toda natančen prenos sporočila je tako pomemben, da se veliko truda porabi za preučevanje kod za odpravljanje napak.
Senzacija
Koncepti entropije (ali negotovosti in nepredvidljivosti) sporočila in redundance (ali predestinacije in predvidljivosti) zelo naravno ustrezajo našim intuitivnim predstavam o meri informacij. Bolj kot je sporočilo nepredvidljivo (večja je njegova entropija, ker je verjetnost manjša), več informacij nosi. Občutek (na primer srečanje s krokodilom na Tverski) je redek dogodek, njegova predvidljivost je zelo majhna, zato je vrednost informacije visoka. Pogosto se informacije imenujejo novice - sporočila o dogodkih, ki so se pravkar zgodili, o katerih še vedno ne vemo ničesar. Če pa nam drugič in tretjič povedo o tem, kaj se je zgodilo s približno enakimi besedami, bo redundanca sporočila velika, njegova nepredvidljivost bo padla na nič in preprosto ne bomo poslušali, govorca pa bomo odvrnili z besedami » Vem, vem." Zato se mediji tako trudijo biti prvi. Prav to ujemanje z intuitivnim občutkom novosti je tisto, kar je povzročilo res nepričakovane novice in je odigralo pomembno vlogo pri tem, da je Shannonin članek, ki ni bil namenjen množičnemu bralcu, postal senzacija, ki jo je povzel tisk, ki so kot univerzalni ključ do razumevanja narave sprejeli znanstveniki različnih specialnosti - od jezikoslovcev in literarnih kritikov do biologov.
Ampak Shannonov koncept informacije je stroga matematična teorija, njegova uporaba zunaj teorije komunikacije pa je zelo nezanesljiva. Toda v sami teoriji komuniciranja igra osrednjo vlogo.
pomenske informacije
Shannon, ki je uvedel koncept entropije kot merilo informacij, je dobil priložnost delati z informacijami - najprej jih izmeriti in oceniti značilnosti, kot sta zmogljivost kanala ali optimalnost kodiranja. Toda glavna predpostavka, ki je Shannonu omogočila uspešno delovanje z informacijami, je bila predpostavka, da je generiranje informacij naključen proces, ki ga je mogoče uspešno opisati v smislu teorije verjetnosti. Če proces ni naključen, to pomeni, da sledi vzorcem (in ni vedno jasen, kot se dogaja v naravnem jeziku), potem Shannonovo sklepanje zanj ni uporabno. Vse, kar pravi Shannon, nima nobene zveze s smiselnostjo informacij.
Dokler govorimo o simbolih (ali črkah abecede), lahko razmišljamo v smislu naključnih dogodkov, a takoj ko preidemo na besede jezika, se situacija dramatično spremeni. Govor je proces, organiziran na poseben način, pri čemer struktura sporočila ni nič manj pomembna od simbolov, s katerimi se prenaša.
Do nedavnega se je zdelo, da ne moremo storiti ničesar, da bi se nekako približali merjenju smiselnosti besedila, a v Zadnja leta razmere so se začele spreminjati. In to predvsem zaradi uporabe umetnih nevronskih mrež za naloge strojnega prevajanja, samodejnega abstrahiranja besedil, pridobivanja informacij iz besedil, generiranja poročil v naravnem jeziku. Pri vseh teh nalogah poteka preoblikovanje, kodiranje in dekodiranje smiselnih informacij, ki jih vsebuje naravni jezik. In postopoma se pojavi zamisel o izgubah informacij med takšnimi transformacijami in s tem - o meri smiselnih informacij. Toda do danes v teh težkih nalogah še ni jasnosti in natančnosti, ki ju ima Shannonova teorija informacij.
koncept entropija
prvič uvedel leta 1865 R. Clausius v termodinamiki za določitev mere ireverzibilne disipacije energije. Entropija se uporablja v različnih vejah znanosti, vključno s teorijo informacij, kot merilo negotovosti katere koli izkušnje, testa, ki ima lahko različne rezultate. Te definicije entropije imajo globoko notranjo povezavo. Torej je na podlagi idej o informacijah mogoče izpeljati vse najpomembnejše določbe statistične fizike. [BES. Fizika. M: Velik Ruska enciklopedija, 1998].
Ta vrednost se imenuje tudi povprečna entropija sporočila. Entropija v Shannonovi formuli je povprečna značilnost - matematično pričakovanje distribucija naključna spremenljivka.
Na primer, v zaporedju črk, ki sestavljajo kateri koli stavek v ruščini, se različne črke pojavljajo z različnimi frekvencami, zato je negotovost pojavljanja za nekatere črke manjša kot za druge.
Leta 1948 je Claude Shannon med raziskovanjem problema racionalnega prenosa informacij prek hrupnega komunikacijskega kanala predlagal revolucionaren verjetnostni pristop k razumevanju komunikacij in ustvaril prvo resnično matematično teorijo entropije. Njegove senzacionalne ideje so hitro služile kot osnova za razvoj informacijske teorije, ki uporablja koncept verjetnosti. Koncept entropije kot merilo naključnosti je uvedel Shannon v svojem članku "Matematična teorija komunikacije", objavljenem v dveh delih v Bell System Technical Journal leta 1948.
V primeru enako verjetnih dogodkov (poseben primer), ko so vse možnosti enako verjetne, ostane odvisnost le od števila obravnavanih možnosti, Shannonova formula pa je močno poenostavljena in sovpada s Hartleyjevo formulo, ki jo je prvi predlagal ameriški inženir Ralph Hartley leta 1928 kot eden od znanstveni pristopi za ocenjevanje sporočil:
, kjer je I količina poslane informacije, p verjetnost dogodka, N možno število različnih (enakovrednih) sporočil.Naloga 1. Enako verjetni dogodki.
V kompletu je 36 kart. Koliko informacij vsebuje sporočilo, da je bila karta s portretom "asa" vzeta iz krova; "pikov as"?
Verjetnost p1 = 4/36 = 1/9 in p2 = 1/36. Z uporabo Hartleyeve formule imamo:
Odgovor: 3,17; 5,17 bit
Upoštevajte (iz drugega rezultata), da je za kodiranje vseh zemljevidov potrebnih 6 bitov.
Iz rezultatov je tudi razvidno, da manjša kot je verjetnost dogodka, več informacij vsebuje. (Ta lastnost se imenuje monotonost)
Naloga 2. O neenakih dogodkih
V kompletu je 36 kart. Od tega 12 kart s "portreti". Po drugi strani se ena od kart vzame iz krova in pokaže, da se ugotovi, ali je na njej upodobljen portret. Karta se vrne v špil. Določite količino informacij, ki se prenesejo vsakič, ko se prikaže ena kartica.
Informacijska entropija- merilo negotovosti ali nepredvidljivosti določenega sistema (v statistični fiziki ali informacijski teoriji), zlasti negotovost pojava katerega koli simbola primarne abecede. V slednjem primeru je entropija v odsotnosti izgube informacij numerično enaka količini informacij na simbol poslanega sporočila.
Na primer, v zaporedju črk, ki sestavljajo kateri koli stavek v ruščini, se različne črke pojavljajo z različnimi frekvencami, zato je negotovost pojavljanja za nekatere črke manjša kot za druge. Če upoštevamo, da nekatere kombinacije črk (v tem primeru govorimo o entropiji n (\displaystyle n) reda, glej ) so zelo redke, potem se negotovost še bolj zmanjša.
Koncept informacijske entropije lahko ponazorimo s pomočjo Maxwellovega demona. Koncepta informacije in entropije sta med seboj globoko povezana [ kateri?] , kljub temu pa je razvoj teorij v statistični mehaniki in informacijski teoriji trajal mnogo let, da sta si med seboj ustrezali [ ] .
Entropija- to je količina informacij na osnovno sporočilo vira, ki generira statistično neodvisna sporočila.
Enciklopedični YouTube
1 / 5
✪ Razumevanje entropije
✪ Kaj je entropija?
✪ Informacijska entropija
✪ Entropija in drugi zakon termodinamike (video 3) | Energija| Biologija
✪ Kaj je entropija? Jeff Phillips #TED-Ed
Podnapisi
Podali smo torej dve definiciji entropije kot spremenljivke stanja. Entropija je označena s črko S. Po termodinamični definiciji so spremembe entropije enake dodani toploti, deljeni s temperaturo, pri kateri je ta dodana toplota. Če pa se temperatura spreminja, ko se dodaja toplota (kar se ponavadi zgodi), bomo morali narediti nekaj izračunov. In to lahko obravnavate kot matematično ali statistično ali kombinatorično definicijo entropije. Po tej definiciji je entropija enaka naravnemu logaritmu števila stanj, ki jih sistem lahko prevzame, pomnoženemu s konstantnim številom. In v takem primeru imajo vsa stanja enako verjetnost. Če govorimo o nepredstavljivo velikem številu molekul, ki imajo lahko še večje število stanj, lahko domnevamo, da se bodo vse razlikovale s približno enako verjetnostjo. Obstaja tudi nekoliko bolj zapletena definicija - za primere z verjetnostjo drugačnega vrstnega reda, vendar se je zdaj ne bomo dotikali. Zdaj, ko smo obravnavali ti dve definiciji, je čas, da vam povemo o drugem zakonu termodinamike. Tukaj je. To je dokaj preprost zakon, ki hkrati pojasnjuje zelo široko paleto različnih pojavov. Po tem zakonu bodo spremembe entropije v vesolju med izvajanjem katerega koli procesa vedno večje ali enake 0. Se pravi, ko se nekaj zgodi v vesolju, je posledica tega povečanje entropije. To je zelo pomembna ugotovitev. Poglejmo, ali lahko uporabimo ta zakon specifične situacije in tako razumeti njegov pomen. Recimo, da imam dva rezervoarja, povezana med seboj. Tukaj imam T1. Naj bo to naš vroč rezervoar. In tukaj imamo T2. To bo hladilni rezervoar. No, iz izkušenj vemo ... Kaj se zgodi, če si posoda z vročo vodo deli steno s posodo z mrzlo vodo? Kaj se zgodi v takem primeru? Da, temperatura vode v njih se uravna. Če govorimo o isti snovi, potem se bo proces ustavil približno na sredini, če sta v isti fazi. Opravka imamo torej s prenosom toplote z bolj vroče snovi na hladnejšo. Imamo nekaj toplote, Q, ki se prenese iz bolj vroče snovi na hladnejšo. Seveda v vsakdanji realnosti ne boste videli prenosa toplote s hladnejše snovi na bolj vročo. Če daš kocko ledu v, recimo, vroč čaj, potem se led seveda ne ohladi in čaj ne postane bolj segret. Temperatura obeh snovi bo postala približno enaka, to pomeni, da bo čaj dejansko dal del toplote ledu. Govorimo tudi o dveh rezervoarjih in predvidevam, da njihova temperatura ostaja konstantna. To se lahko zgodi le, če sta oba neskončno velika, kar v realnem svetu seveda ne obstaja. IN resnični svet T1 se bo zmanjšal, T2 pa povečal. Toda poglejmo, ali naj bi se to zgodilo, glede na drugi zakon termodinamike. Torej, kaj se tukaj dogaja? Kakšna je neto sprememba entropije za T1? Po drugem zakonu termodinamike je sprememba entropije za vesolje večja od 0. Toda v tem primeru je enaka spremembi entropije za T1 plus sprememba entropije za ... čeprav ne ravno ... namesto T1 ga imenujemo samo 1 ... za sistem 1, to je tukaj za ta vroč sistem plus sprememba entropije za sistem 2. Torej, kakšna je sprememba entropije za sistem 1? Pri visoki temperaturi izgubi Q1. Izkazalo se je minus Q (ker sistem oddaja toploto), deljeno s T1. Potem moramo upoštevati še toploto, dodano sistemu T2. Torej prištejmo Q deljeno s T2. Dobimo spremembo entropije za sistem 2, kajne? Ta rezervoar, ki ima za 1 višjo temperaturo, izgublja toploto. In rezervoar, ki ima nižjo temperaturo 2, prejme toploto. Ali ne bi bilo višje od 0? Pomislimo malo. Če delimo... naj prepišem... Zapisal bom drugače: Q deljeno s T2, minus to. Samo preurejam števila... minus Q deljeno s T1. In kakšna je zdaj višja ocena? T2 ali T1? No, T1 je večji, kajne? Zdaj, ko imamo višji rezultat ... Ko uporabimo besedo "višji", mislimo na določeno primerjavo. T1 je torej nad tem. Poleg tega imamo v števcu v obeh primerih isto število, kajne? Se pravi, če vzamem, recimo, 1/2 minus 1/3, potem dobim indikator, večji od 0. Ta indikator je večji od tega, ker ima ta večji imenovalec. Deliš z večjim številom. O tem je vredno razmisliti. Q delite s tem številom in nato odštejete Q, deljeno z večjim številom. Torej bo imel ta ulomek nižjo absolutno vrednost. In bo večji od 0. Skladno s tem drugi zakon termodinamike potrjuje naše opazovanje, po katerem toplota prehaja z vročega telesa na hladno. Zdaj lahko rečeš, hej Sal, lahko ti dokažem, da se motiš. Veš, če sem dal klimo v sobo ... Tukaj je soba, tukaj pa je tisto, kar je zunaj. In rečete - poglejte, kaj naredi klimatska naprava! V sobi je že hladno, zunaj pa je že vroče. Toda kaj počne klimatska naprava? Mraz naredi še hladnejše, vroče pa še bolj segreto. Vzame nekaj Q in se premakne v to smer. Prav? Odvzame toploto iz hladnega prostora in jo oddaja v vroč zrak. In pravite, da krši drugi zakon termodinamike. Pravkar ste ovrgli. Zaslužiš si Nobelova nagrada! Ampak povem ti - pozabljaš eno majhno dejstvo. V notranjosti te klimatske naprave sta kompresor in motor, ki aktivno delujeta in ustvarjata tak rezultat. In ta motor, izpostavil ga bom z rožnato, tudi oddaja toploto. Recimo temu motor Q. Torej, če želite izračunati skupno entropijo, ustvarjeno za celotno vesolje, bi bila to entropija hladilne sobe in sprememba entropije za ulico. Entropija hladilnice plus sprememba entropije na prostem. Označimo sobo tukaj ... Lahko rečeš - v redu. Ta sprememba entropije za sobo, ki oddaja toploto ... recimo, da soba ohranja konstantno temperaturo vsaj eno milisekundo. Prostor odda nekaj Q pri določeni temperaturi T1. In potem ... tukaj morate dati minus ... potem se ulica ogreje pri določeni temperaturi T2. In pravite: ta številka je manjša od te. Ker je imenovalec višji. Potem bo to negativna entropija in lahko rečete, da je to v nasprotju z drugim zakonom termodinamike. ne! Pri tem moramo upoštevati še eno točko: da tudi ulica prejema toploto iz motorja. Toplota iz motorja, deljena z zunanjo temperaturo. In zagotavljam, da bo ta spremenljivka, trenutno ne bom navajal številk, naredila celoten izraz pozitiven. Ta spremenljivka bo skupno neto entropijo za vesolje spremenila v pozitivno. Zdaj pa razmislimo malo o tem, kaj je entropija v smislu terminologije. Pri pouku kemije ni nenavadno, da učitelj reče, da je entropija enaka neredu. To ni napaka. Entropija je enaka neredu. To ni napaka, saj je entropija res motnja, vendar je treba biti pri definiciji motnje zelo previden. Kajti eden najpogostejših primerov je: vzemite čisto sobo – recimo, da je vaša spalnica čista, potem pa postane umazana. In pravijo - poglejte, vesolje je postalo bolj neurejeno. Umazana soba ima več nereda kot čista. Vendar to ni povečanje entropije. To torej ni zelo dober primer. Zakaj? Da, ker čisto in umazano sta samo stanja sobe. In spomnimo se, da je entropija makro spremenljivka stanja. ga uporabljate za sistemski opisi ko nisi razpoložen, da bi sedel tukaj in mi natančno povedal, kaj vsak delec naredi. In to je makro spremenljivka, ki kaže, koliko časa je potrebno, da mi pove, kaj vsak delec naredi. Ta spremenljivka označuje, koliko stanj je v tem primeru oziroma koliko informacij o stanjih želim prejeti od vas. V primeru čiste sobe in umazane sobe imamo samo dve različni stanji iste sobe. Če je soba pri enaki temperaturi in ima enako število molekul in tako naprej, bo imela enako entropijo. Torej, ko je soba bolj umazana, se entropija ne poveča. Na primer, imam umazan hladilni prostor. Recimo, da sem stopil v to sobo in vložil veliko truda v njeno čiščenje. Tako sistemu dodam del toplote in molekule mojega znoja se razpršijo po vsej sobi - zato je v njej več vsebine in postane toplejša, spremeni se v vročo, čisto sobo s kapljicami znoja. To vsebino je mogoče urediti na veliko načinov in ker je soba vroča, lahko vsaka molekula v njej prevzame več stanj, kajne? Ker je povprečna kinetična energija visoka, lahko poskušamo ugotoviti, koliko kinetičnih energij ima lahko vsaka molekula, v potencialu pa je ta količina lahko precej velika. V bistvu gre za povečanje entropije. Iz umazane, hladne sobe v vročo in čisto. In to se zelo dobro ujema s tem, kar vemo. Se pravi, ko vstopim v prostor in ga začnem pospravljati, vanj vnesem toplino. In vesolje postaja vse več ... Mislim, da lahko rečemo, da se entropija povečuje. Kje je torej tukaj zmeda? Recimo, da imam žogo in udari ob tla in jo udari. In tu moramo zastaviti vprašanje, ki se nenehno postavlja že od odkritja prvega zakona termodinamike. Takoj, ko žoga pade na tla ... Žoga pade na tla, kajne? Vrgel sem ga: v njegovem zgornjem delu je določena potencialna energija, ki se nato spremeni v kinetična energija, in žoga udari ob tla in se nato ustavi. Tu se pojavi povsem logično vprašanje – kaj se je zgodilo z vso to energijo? Zakon o ohranjanju energije. Kam vse je izginila? Tik pred udarcem ob tla je imela žoga kinetično energijo in se nato ustavila. Zdi se, da je energija izginila. Ampak ni. Ko žoga pade, ima veliko ... kot veste, ima vse svojo toplino. Kaj pa zemlja? Njegove molekule so vibrirale z določeno kinetično in potencialno energijo. In potem so molekule naše žoge začele malo vibrirati. Toda njihovo gibanje je bilo večinoma navzdol, kajne? Gibanje večine molekul kroglice je bilo usmerjeno navzdol. Ko pade na tla, potem ... naj narišem površino žoge, ki je v stiku s tlemi. Molekule kroglice v njenem sprednjem delu bodo videti takole. In teh je kar nekaj. to trdna. Verjetno z rešetkasto strukturo. In potem žoga pade na tla. Ko se to zgodi ... Zemlja je še eno trdno telo ... Super, tukaj imamo mikrostanje. Kaj se bo zgodilo? Te molekule bodo medsebojno delovale s temi in prenesle svojo kinetično energijo navzdol ... Prenesle jo bodo na te delce zemlje. In se soočiti z njimi. In ko recimo ta delec trči s tem, se lahko premakne v to smer. In ta delec bo začel nihati tako naprej in nazaj. Ta delec tukaj se lahko odbije od tega in se premakne v to smer, nato pa trči s tem in se premakne sem. In potem, ker ta delec tukaj zadene sem, ta zadene sem in ker ta zadene sem, ta zadene sem. Z vidika žoge je gibanje relativno usmerjeno, ko pa pride v stik z molekulami zemlje, začne ustvarjati kinetično energijo in ustvarja gibanje v različnih smereh. Ta molekula tukaj bo premaknila to sem in ta se bo premaknila sem. Zdaj gibanje ne bo usmerjeno, če imamo toliko molekul ... označil jih bom z drugo barvo ... no, če imamo veliko molekul in se vse gibljejo v popolnoma isto smer, potem bo mikrostanje videti kot makrodržava. Celotno telo bo v tej smeri. Če imamo veliko v in se vsi premikajo v različne smeri, bo moja žoga kot celota ostala na mestu. Lahko imamo enako količino kinetične energije molekularni ravni , vendar bodo vsi trčili drug v drugega. In v tem primeru lahko kinetično energijo opišemo kot notranjo energijo ali kot temperaturo, ki je povprečna kinetična energija. Ko torej rečemo, da svet postaja bolj kaotičen, mislimo na vrstni red hitrosti ali energij molekul. Preden se naročijo, lahko molekule nekoliko vibrirajo, vendar bodo večinoma padle. Ko pa udarijo ob tla, vsi takoj začnejo malo bolj vibrirati v različne smeri. In tudi zemlja začne vibrirati v različnih smereh. Torej – na ravni mikrodržave – stvari postanejo veliko bolj neurejene. Obstaja še eno precej zanimivo vprašanje. Obstaja še ena možnost ... Morda si mislite: »Poglejte, ta žoga je padla in udarila ob tla. Zakaj enostavno ne naredi – ali ne bi moglo biti, da molekule zemlje same spremenijo svoj vrstni red, tako da pravilno udarijo molekule žoge? Obstaja določena verjetnost, da bodo zaradi naključnega gibanja v nekem trenutku vse molekule zemlje enostavno udarile ob molekule žoge tako, da se bo ta spet odbila. Ja res je. Vedno obstaja neskončno majhna možnost, da se bo to zgodilo. Obstaja možnost, da bo žogica samo ležala na tleh... kar je zelo zanimivo... Verjetno boste morali čakati sto milijonov let, da se to zgodi, če se sploh kdaj zgodi... in žogica bo morda samo odskočiti. Obstaja zelo majhna možnost, da bodo te molekule sekundo naključno vibrirale tako, da bodo urejene, nato pa bo žogica odskočila. Toda verjetnost za to je praktično 0. Torej, ko ljudje govorijo o redu in neredu, se nered poveča, ker se bodo zdaj te molekule premikale v različnih smereh in prevzele več potencialnih stanj. In videli smo. Kot veste, je na določeni ravni entropija videti kot nekaj magičnega, na drugih ravneh pa se zdi povsem logična. V enem videoposnetku ... mislim, da je bil to zadnji videoposnetek ... sem imel veliko molekul, nato pa je bil tukaj ta dodatni prostor, nakar sem odstranil steno. In videli smo, da te molekule... jasno je, da so bile nekatere molekule, ki so se prej odbile od te stene, ker je bil s tem povezan določen pritisk. Potem, ko odstranimo to steno, se bodo molekule, ki bi jo zadele, še naprej premikale. Nič jih ne ustavi. Gibanje bo potekalo v tej smeri. Lahko trčijo z drugimi molekulami in s temi stenami. Toda kar zadeva to smer, je verjetnost trka, zlasti za te molekule, v bistvu 0. Zato bo prišlo do širitve in polnjenja posode. Torej je vse precej logično. Najpomembneje pa je, da drugi zakon termodinamike, kot smo videli v tem videu, pravi isto. To pomeni, da se bodo molekule premikale in napolnile posodo. In zelo malo je verjetno, da se bodo vsi vrnili v urejeno stanje. Seveda obstaja določena možnost, da se z naključnim premikanjem vrnejo v ta položaj. Toda ta verjetnost je zelo, zelo majhna. Še več, in to želim poudariti, je S makro stanje. Nikoli ne govorimo o entropiji v povezavi z eno samo molekulo. Če vemo, kaj počne posamezna molekula, nam ni treba skrbeti za entropijo. Razmišljati moramo o sistemu kot celoti. Če torej pogledamo celoten sistem in zanemarimo molekule, ne bomo vedeli, kaj se je v resnici zgodilo. V tem primeru smo lahko pozorni le na statistične lastnosti molekul. Koliko molekul imamo, kakšna je njihova temperatura, njihova makrodinamika, tlak ... in veste kaj? Posoda, v kateri so te molekule, ima več stanj kot manjša posoda s steno. Tudi če se nenadoma vse molekule naključno zberejo tukaj, ne bomo vedeli, da se je to zgodilo, ker ne gledamo na mikrostanja. In tega je zelo pomembno imeti v mislih. Ko nekdo reče, da ima umazana soba večjo entropijo kot čista, moramo razumeti, da govori o mikrostanjih. In entropija je najprej pojem, povezan z makrostanjem. Lahko preprosto rečete, da ima soba določeno količino entropije. To pomeni, da je koncept entropije povezan s sobo kot celoto, vendar bo uporaben le, če ne veste točno, kaj se v njej dogaja. Imate le največ splošna ideja o tem, s čim je prostor napolnjen, kakšna je temperatura v njem, kakšen pritisk. Vse to so običajne makro lastnosti. Entropija nam bo povedala, koliko makrostanj ima lahko ta makrosistem. Ali koliko informacij navsezadnje obstaja koncept informacijske entropije, koliko informacij vam moram posredovati, da boste dobili natančno predstavo o mikrostanju sistema v ustreznem trenutku. Kot to. Upam, da vam je bila ta razprava v pomoč in vam je razjasnila nekaj napačnih predstav o entropiji ter vam pomagala razumeti, kaj v resnici je. Do naslednjega videa!
Formalne definicije
Informativno binarna entropija za neodvisne naključne dogodke x (\displaystyle x) z n (\displaystyle n) možna stanja porazdeljena z verjetnostmi ( i = 1, . . . , n (\displaystyle i=1,...,n)), se izračuna po formuli
H (x) = − ∑ i = 1 n p i log 2 p i . (\displaystyle H(x)=-\sum _(i=1)^(n)p_(i)\log _(2)p_(i).)Ta vrednost se imenuje tudi povprečna entropija sporočila. Vrednost H i = − log 2 p i (\displaystyle H_(i)=-\log _(2)(p_(i))) klical zasebna entropija samo karakterizirajo i (\displaystyle i)-e stanje. Na splošno je lahko osnova logaritma v definiciji entropije karkoli večja od 1; njegova izbira določa entropijsko enoto. Zato je pogosto (na primer pri problemih matematične statistike) morda bolj priročno uporabiti naravni logaritem.
Tako je entropija sistema x (\displaystyle x) je vsota z nasprotnim predznakom vseh relativnih frekvenc pojavljanja stanja (dogodka) s št. i (\displaystyle i), pomnoženi z lastnimi binarnimi logaritmi. To definicijo za diskretne naključne dogodke je mogoče formalno razširiti na zvezne porazdelitve podan z gostoto razporeditvijo verjetnosti, pa bo imel dobljeni funkcional nekoliko drugačne lastnosti (glej diferencialno entropijo).
Opredelitev po Shannonu
Definicija Shannonove entropije je povezana s konceptom termodinamske entropije. Boltzmann in Gibbs sta opravila odlično delo statistična termodinamika, kar je prispevalo k sprejetju besede "entropija" v teoriji informacij. Obstaja povezava med termodinamično in informacijsko entropijo. Na primer, Maxwellov demon nasprotuje tudi termodinamični entropiji informacij in pridobivanje kakršne koli količine informacij je enako izgubljeni entropiji.
Definicija z uporabo lastnih informacij
Entropijo naključne spremenljivke je mogoče določiti tudi tako, da najprej uvedemo koncepte porazdelitve naključne spremenljivke X (\displaystyle X), ki ima končno število vrednosti:
P X (x i) = p i , p i ≥ 0 , i = 1 , 2 , … , n (\displaystyle P_(X)(x_(i))=p_(i),\quad p_(i)\geqslant 0,\ ;i=1,\;2,\;\lpike ,\;n) ∑ i = 1 n p i = 1 (\displaystyle \sum _(i=1)^(n)p_(i)=1) I (X) = − log P X (X) . (\displaystyle I(X)=-\log P_(X)(X).)Potem je entropija definirana kot:
H (X) = E (I (X)) = − ∑ i = 1 n p (i) log p (i) . (\displaystyle H(X)=E(I(X))=-\sum _(i=1)^(n)p(i)\log p(i).)Merska enota količine informacije in entropije je odvisna od osnove logaritma: bit, nat, trit ali hartley.
Lastnosti
Entropija je količina, definirana v kontekstu verjetnostnega modela za vir podatkov. Na primer, met kovanca ima entropijo:
Vir, ki generira niz, sestavljen samo iz črk "A", ima ničelno entropijo: − ∑ i = 1 ∞ log 2 1 = 0 (\displaystyle -\sum _(i=1)^(\infty )\log _(2)1=0), in količino možna stanja je enako: 2 0 = 1 (\displaystyle 2^(0)=1) možno stanje(vrednost) ("A") in ni odvisna od osnove logaritma.
Tudi to je podatek, ki ga je prav tako treba upoštevati. Primer pomnilniških naprav, ki uporabljajo bite z entropijo enako nič, vendar z količino informacij enako 1 možno stanje, tj. različni od nič so podatkovni biti, zapisani v ROM, v katerih ima vsak bit samo enega možno stanje.
Tako je na primer mogoče eksperimentalno ugotoviti, da je entropija Angleško besedilo je enako 1,5 bita na znak, kar se bo seveda razlikovalo za različna besedila. Stopnja entropije podatkovnega vira pomeni povprečno število bitov na podatkovni element, ki je potrebno za njegovo šifriranje brez izgube informacij z optimalnim kodiranjem.
- Nekateri podatkovni biti morda ne prenašajo informacij. Na primer, podatkovne strukture pogosto shranjujejo odvečne informacije ali imajo enake razdelke ne glede na informacije v podatkovni strukturi.
- Količina entropije ni vedno izražena kot celo število bitov.
Matematične lastnosti
- Nenegativnost: H (X) ⩾ 0 (\displaystyle H(X)\geqslant 0).
- Omejitev: H (X) = − E (log 2 p i) = ∑ i = 1 n p i log 2 1 p i = ∑ i = 1 n p i f (g i) ⩽ f (∑ i = 1 n p i g i) = log 2 n (\displaystyle H(X)=-E(\log _(2)p_(i))=\vsota _(i=1)^(n)p_(i)\log _(2)(\frac (1)(p_ (i)))=\sum _(i=1)^(n)p_(i)f(g_(i))\leqslant f\left(\sum _(i=1)^(n)p_(i )g_(i)\desno)=\log _(2)n), ki izhaja iz Jensenove neenakosti za konkavno funkcijo f (g i) = log 2 g i (\displaystyle f(g_(i))=\log _(2)g_(i)) in g i = 1 p i (\displaystyle g_(i)=(\frac (1)(p_(i)))). Jaz padam n (\displaystyle n) elementi iz X (\displaystyle X) enako verjetno, H (X) = log 2 n (\displaystyle H(X)=\log _(2)n).
- Če je neodvisen, potem H (X ⋅ Y) = H (X) + H (Y) (\displaystyle H(X\cdot Y)=H(X)+H(Y)).
- Entropija je navzgor konveksna funkcija verjetnostne porazdelitve elementov.
- če X , Y (\displaystyle X,\;Y) imajo torej enako verjetnostno porazdelitev elementov H (X) = H (Y) (\displaystyle H(X)=H(Y)).
Učinkovitost
Verjetnostna porazdelitev abecede je lahko daleč od enotne. Če izvirna abeceda vsebuje n (\displaystyle n) znakov, potem jo lahko primerjamo z »optimizirano abecedo«, katere porazdelitev verjetnosti je enotna. Entropijsko razmerje izvirne in optimizirane abecede je učinkovitost izvorna abeceda, ki se lahko izrazi v odstotkih. Učinkovitost izvirne abecede z n (\displaystyle n) znake lahko opredelimo tudi kot svoje n (\displaystyle n)-arno entropijo.
Entropija omejuje največjo možno kompresijo brez izgub (ali skoraj brez izgub), ki jo je mogoče realizirati z uporabo teoretično tipičnega nabora ali v praksi Huffmanovega kodiranja, Lempel-Ziv-Welchovega kodiranja ali aritmetičnega kodiranja.
Različice in posplošitve
b-arno entropijo
Na splošno b-arno entropijo(Kje b je enako 2, 3, ...) virom S = (S , P) (\displaystyle (\mathcal (S))=(S,\;P)) z originalno abecedo S = ( a 1 , … , a n ) (\displaystyle S=\(a_(1),\;\ldots ,\;a_(n)\)) in diskretna porazdelitev verjetnosti P = ( p 1 , … , p n ) , (\displaystyle P=\(p_(1),\;\ldots ,\;p_(n)\),) Kje p i (\displaystyle p_(i)) je verjetnost ( p i = p (a i) (\displaystyle p_(i)=p(a_(i)))), se določi s formulo:
H b (S) = − ∑ i = 1 n p i log b p i . (\displaystyle H_(b)((\mathcal (S)))=-\sum _(i=1)^(n)p_(i)\log _(b)p_(i).)Še posebej, ko b = 2 (\displaystyle b=2), dobimo običajno binarno entropijo, merjeno v bitih. pri b = 3 (\displaystyle b=3), dobimo trinarno entropijo, merjeno v tritih (en trit ima vir informacije s tremi enako verjetnimi stanji). pri b = e (\displaystyle b=e), dobimo informacije, merjene v nats.
Pogojna entropija
Če zaporedje abecednih znakov ni neodvisno (na primer v francoščini črki "q" skoraj vedno sledi "u", za besedo "vodja" v sovjetskih časopisih pa beseda "proizvodnja" ali "delo") običajno sledi), je količina informacij, ki jih nosi zaporedje takih simbolov (in s tem entropija), očitno manjša. Za razlago takih dejstev se uporablja pogojna entropija.
Pogojna entropija Prvi red (podobno za Markov model prvega reda) imenujemo entropija za abecedo, kjer so znane verjetnosti pojavljanja ene črke za drugo (torej verjetnosti dvočrkovnih kombinacij):
H 1 (S) = − ∑ i p i ∑ j p i (j) log 2 p i (j) , (\displaystyle H_(1)((\mathcal (S)))=-\sum _(i)p_(i) \vsota _(j)p_(i)(j)\log _(2)p_(i)(j),)Kje i (\displaystyle i) je stanje odvisno od predhodnega znaka in p i (j) (\displaystyle p_(i)(j)) je verjetnost j (\displaystyle j) pod pogojem, da i (\displaystyle i) je bil prejšnji lik.
Na primer, za ruski jezik brez črke "ё" H 0 = 5, H 1 = 4,358, H 2 = 3, 52, H 3 = 3, 01 (\displaystyle H_(0)=5,\;H_(1)=4(,)358,\;H_( 2)=3(,)52,\;H_(3)=3(,)01) .
Delna in splošna pogojna entropija v celoti opisujeta izgube informacij med prenosom podatkov v šumnem kanalu. Za to se uporablja t.i kanalske matrike. Za opis izgub na izvorni strani (tj. poslani signal je znan) se upošteva pogojna verjetnost sprejema simbola s strani sprejemnika, pod pogojem, da je bil simbol poslan a i (\displaystyle a_(i)). V tem primeru ima kanalska matrika naslednjo obliko:
| b 1 (\displaystyle b_(1)) | b 2 (\displaystyle b_(2)) | … | b j (\displaystyle b_(j)) | … | b m (\displaystyle b_(m)) | |
|---|---|---|---|---|---|---|
| a 1 (\displaystyle a_(1)) | p (b 1 ∣ a 1) (\displaystyle p(b_(1)\mid a_(1))) | p (b 2 ∣ a 1) (\displaystyle p(b_(2)\mid a_(1))) | … | p (b j ∣ a 1) (\displaystyle p(b_(j)\mid a_(1))) | … | p (b m ∣ a 1) (\displaystyle p(b_(m)\mid a_(1))) |
| a 2 (\displaystyle a_(2)) | p (b 1 ∣ a 2) (\displaystyle p(b_(1)\mid a_(2))) | p (b 2 ∣ a 2) (\displaystyle p(b_(2)\mid a_(2))) | … | p (b j ∣ a 2) (\displaystyle p(b_(j)\mid a_(2))) | … | p (b m ∣ a 2) (\displaystyle p(b_(m)\mid a_(2))) |
| … | … | … | … | … | … | … |
| a i (\displaystyle a_(i)) | p (b 1 ∣ a i) (\displaystyle p(b_(1)\mid a_(i))) | p (b 2 ∣ a i) (\displaystyle p(b_(2)\mid a_(i))) | … | p (b j ∣ a i) (\displaystyle p(b_(j)\mid a_(i))) | … | p (b m ∣ a i) (\displaystyle p(b_(m)\mid a_(i))) |
| … | … | … | … | … | … | … |
| a m (\displaystyle a_(m)) | p (b 1 ∣ a m) (\displaystyle p(b_(1)\mid a_(m))) | p (b 2 ∣ a m) (\displaystyle p(b_(2)\mid a_(m))) | … | p (b j ∣ a m) (\displaystyle p(b_(j)\mid a_(m))) | … | p (b m ∣ a m) (\displaystyle p(b_(m)\mid a_(m))) |
Očitno verjetnosti, ki se nahajajo vzdolž diagonale, opisujejo verjetnost pravilnega sprejema, vsota vseh elementov katere koli vrstice pa daje 1. Izgube, ki jih je mogoče pripisati oddanemu signalu a i (\displaystyle a_(i)), so opisani v smislu delne pogojne entropije:
H (B ∣ a i) = − ∑ j = 1 m p (b j ∣ a i) log 2 p (b j ∣ a i) . (\displaystyle H(B\mid a_(i))=-\sum _(j=1)^(m)p(b_(j)\mid a_(i))\log _(2)p(b_( j)\sredi a_(i)).)Za izračun prenosne izgube vseh signalov se uporabi skupna pogojna entropija:
H (B ∣ A) = ∑ i p (a i) H (B ∣ a i) . (\displaystyle H(B\mid A)=\sum _(i)p(a_(i))H(B\mid a_(i)).)H (B ∣ A) (\displaystyle H(B\sredina A)) pomeni entropijo na strani vira, podobno obravnavano H (A ∣ B) (\displaystyle H(A\sredina B))- entropija s strani sprejemnika: namesto p (b j ∣ a i) (\displaystyle p(b_(j)\mid a_(i))) je povsod označeno p (a i ∣ b j) (\displaystyle p(a_(i)\mid b_(j)))(s seštevanjem elementov vrstice lahko dobite p (a i) (\displaystyle p(a_(i))), elementi diagonale pa pomenijo verjetnost, da je bil poslan točno tisti znak, ki je bil prejet, torej verjetnost pravilnega prenosa).
Medsebojna entropija
Medsebojna entropija oz entropija unije je zasnovan za izračun entropije medsebojno povezanih sistemov (entropija skupnega pojava statistično odvisnih sporočil) in je označen z H (A B) (\displaystyle H(AB)), Kje A (\displaystyle A) označuje oddajnik in B (\displaystyle B)- sprejemnik.
