Kā informācijas teorijā mēra entropiju. Informācijas entropija
1. Ievads.
2. Ko Klods Šenons mērīja?
3. Informācijas sistēmu evolūcijas mainīguma robežas.
4. Ierobežota bioloģisko sugu adaptācija.
5. Entropijas teorijas attīstības posmi.
6. Strukturālās informācijas apjoma un tekstu informatīvās entropijas aprēķināšanas metodes.
7. Adaptācijas un attīstības procesu informācijas-entropijas attiecības.
8. Informācija un enerģija.
9. Secinājums.
10. Bibliogrāfija.
IEVADS
20. gadsimta otrajā pusē notika divi notikumi, kas, mūsuprāt, lielā mērā nosaka tālākos pasaules zinātniskās izpratnes ceļus. Runa ir par informācijas teorijas izveidi un antientropisko procesu mehānismu izpētes sākumu, kuru pētīšanai sinerģētika izmanto visus jaunākos nelīdzsvara termodinamikas, informācijas teorijas un vispārējās sistēmu teorijas sasniegumus.
Būtiskā atšķirība starp šo zinātnes attīstības posmu un iepriekšējiem posmiem ir tāda, ka pirms uzskaitīto pētniecības jomu izveides zinātne spēja izskaidrot tikai to procesu mehānismus, kas noved pie haosa palielināšanās un entropijas palielināšanās. Kas attiecas uz bioloģiskajām un evolūcijas koncepcijām, kas izstrādātas kopš Lamarka un Darvina laikiem, tām joprojām nav stingru zinātnisku pamatojumu un tās ir pretrunā ar otro termodinamikas likumu, saskaņā ar kuru entropijas pieaugums, kas pavada visus procesus pasaulē, ir neaizstājams. fiziskais likums.
Nelīdzsvara termodinamikas nopelns slēpjas faktā, ka tā spēja atklāt antientropijas procesu mehānismus, kas nav pretrunā ar otro termodinamikas likumu, jo par lokālu entropijas samazināšanos pašorganizējošā sistēmā vienmēr ir jāmaksā. ar lielu entropijas pieaugumu absolūtajā vērtībā ārējā vide.
Vissvarīgākais solis ceļā uz antientropisko procesu būtības un mehānismu izpratni ir informācijas kvantitatīvā mēra ieviešana. Sākotnēji šis pasākums bija paredzēts tikai tīri atrisināt pielietotie uzdevumi komunikācijas tehnoloģija. Taču turpmākie pētījumi fizikas un bioloģijas jomā ļāva identificēt K. Šenona piedāvātos universālos pasākumus, kas ļauj konstatēt sakarību starp informācijas daudzumu un fizisko entropiju un galu galā noteikt jaunas zinātniskas interpretācijas būtību. jēdziens "informācija" kā pēc būtības visdažādāko sistēmu strukturālās sakārtošanas mērs.
Izmantojot metaforu, mēs varam teikt, ka pirms viena informatīvā kvantitatīvā mēra ieviešanas zinātnē pasaule, kas attēlota dabaszinātņu koncepcijās, it kā “paļāvās uz diviem vaļiem”: enerģiju un matēriju. “Trešais valis” tagad ir informācija, kas ir iesaistīta visos pasaulē notiekošajos procesos, sākot no mikrodaļiņām, atomiem un molekulām līdz pat sarežģītāko bioloģisko un sociālo sistēmu funkcionēšanai.
Dabiski, rodas jautājums: vai jaunākie mūsdienu zinātnes dati apstiprina vai atspēko dzīvības un bioloģisko sugu rašanās evolūcijas paradigmu?
Lai atbildētu uz šo jautājumu, vispirms ir jāsaprot, kādas īpašības un aspekti daudzšķautņainajā jēdzienā “informācija” atspoguļo kvantitatīvo mēru, ko K. Šenons ieviesa zinātnē.
Informācijas daudzuma mēra izmantošana ļauj analizēt vispārējos informācijas-entropijas mijiedarbības mehānismus, kas ir visu spontāno informācijas uzkrāšanās procesu pamatā apkārtējā pasaulē, kas noved pie sistēmas struktūras pašorganizēšanās.
Tajā pašā laikā informācijas entropijas analīze ļauj arī identificēt nepilnības evolūcijas koncepcijās, kas ir nekas vairāk kā neizturami mēģinājumi reducēt dzīvības un bioloģisko sugu izcelsmes problēmu līdz vienkāršiem pašorganizēšanās mehānismiem, neņemot vērā fakts, ka šāda sarežģītības līmeņa sistēmas var izveidot, tikai pamatojoties uz šo informāciju. , kas sākotnēji tika noteikts plānā pirms to izveides.
Noturēts mūsdienu zinātne Informācijas sistēmu īpašību pētījumi dod pamatu apgalvot, ka visas sistēmas var veidot tikai saskaņā ar noteikumiem, kas nāk no augšējiem hierarhijas līmeņiem, un paši šie noteikumi pastāvēja pirms pašām sistēmām sākotnējā plāna veidā (ideja par radīšana).
KO MĒRĪJA KLODS ŠENONS?
Informācijas teorijas pamatā ir K. Šenona piedāvātā metode jaunās (neprognozējamās) un liekās (prognozējamās) informācijas apjoma aprēķināšanai, ko satur ziņojumi, kas tiek pārraidīti pa tehnisko sakaru kanāliem.
Šenona piedāvātā metode informācijas apjoma mērīšanai izrādījās tik universāla, ka tās pielietojums vairs neaprobežojas tikai ar šaurām tīri tehnisku pielietojumu robežām.
Pretēji paša K. Šenona viedoklim, kurš brīdināja zinātniekus no viņa piedāvātās metodes pārsteidzīgas izplatības ārpus komunikācijas tehnoloģiju lietišķo problēmu robežām, šī metode sāka atrast arvien plašāku pielietojumu fizikālo, bioloģisko un sociālās sistēmas.
Atslēga jaunai izpratnei par informācijas fenomena būtību un informācijas procesu mehānismu bija L.Brilluina noteiktās attiecības starp informāciju un fizisko entropiju. Šīs attiecības sākotnēji tika liktas pašā informācijas teorijas pamatos, jo Šenons ierosināja izmantot iespējamās entropijas funkciju, kas aizgūta no statistiskās termodinamikas, lai aprēķinātu informācijas daudzumu.
Daudzi zinātnieki (sākot ar pašu K. Šenonu) sliecās šādu aizņēmumu uzskatīt par tīri formālu līdzekli. L.Brilluins parādīja, ka starp informācijas apjomu, kas aprēķināts pēc Šenona un fizisko entropiju, pastāv nevis formāla, bet gan jēgpilna saistība.
Statistiskajā fizikā, izmantojot entropijas varbūtības funkciju, tiek pētīti procesi, kas noved pie termodinamiskā līdzsvara, kurā visi molekulu stāvokļi (to enerģijas, ātrumi) tuvojas līdzsvarotiem un entropijai ir tendence uz maksimālo vērtību.
Pateicoties informācijas teorijai, kļuva skaidrs, ka ar vienas un tās pašas funkcijas palīdzību ir iespējams izpētīt sistēmas, kas ir tālu no maksimālās entropijas stāvokļa, piemēram, rakstītu tekstu.
Vēl viens svarīgs secinājums ir tāds
izmantojot entropijas varbūtības funkciju, var analizēt visus sistēmas pārejas posmus no pilnīga haosa stāvokļa, kas atbilst vienādām vērtībām varbūtības un entropijas maksimālā vērtība, līdz galējās kārtības stāvoklim (stingrā noteikšana), kas atbilst vienīgajam iespējamajam tā elementu stāvoklim.
Šis secinājums vienlīdz attiecas uz tādām atšķirīgām dabas sistēmām kā gāzes, kristāli, rakstīti teksti, bioloģiskie organismi vai kopienas utt.
Tajā pašā laikā, ja gāzei vai kristālam, aprēķinot entropiju, salīdzina tikai šo sistēmu mikrostāvokli (t.i., atomu un molekulu stāvokli) un makrostāvokli (t.i., gāzi vai kristālu kopumā), tad dažāda rakstura sistēmām (bioloģiskai, intelektuālai, sociālai) entropiju var aprēķināt vienā vai citā patvaļīgi izvēlētā līmenī. Šajā gadījumā aplūkojamās sistēmas aprēķinātā entropijas vērtība un informācijas apjoms, kas raksturo šīs sistēmas sakārtotības pakāpi un vienāds ar starpību starp maksimālo un reālo entropijas vērtību, būs atkarīgs no stāvokļu varbūtības sadalījuma. no pamatā esošā līmeņa elementiem, t.i. elementi, kas kopā veido šīs sistēmas.
Citiem vārdiem sakot,
sistēmas struktūrā uzkrātās informācijas apjoms ir proporcionāls sistēmas novirzes pakāpei no līdzsvara stāvokļa, pateicoties sistēmas struktūrā saglabātajai kārtībai.
Nedomājot par to, Šenona apbruņoja zinātni ar universālu mēru, kas principā ir piemērots (ar nosacījumu, ka tiek atklātas visu varbūtību vērtības), lai novērtētu visu pasaulē pastāvošo sistēmu sakārtotības pakāpi.
Pēc Šenona ieviestā informācijas pasākuma definēšanas kā kustības kārtības mērs, iespējams noteikt attiecības starp informāciju un enerģiju, ņemot vērā enerģija ir satiksmes intensitātes mērs. Tajā pašā laikā sistēmu struktūrā uzkrātās informācijas apjoms ir proporcionāls šo sistēmu iekšējo savienojumu kopējai enerģijai.
Vienlaikus ar atklāšanu kopīgas īpašības informācija kā parādība, pastāv arī fundamentālas atšķirības saistībā ar dažādiem informācijas sistēmu sarežģītības līmeņiem.
Tā, piemēram, visiem fiziskajiem objektiem atšķirībā no bioloģiskajiem nav īpašu atmiņas orgānu, no ārpasaules nākošo signālu pārkodēšanas, informācijas komunikācijas kanālu. Tajos glabātā informācija ir it kā "izsmērēta" visā to struktūrā. Tajā pašā laikā, ja kristāli nespētu uzglabāt informāciju iekšējās saitēs, kas nosaka to secību, nebūtu iespējams izveidot mākslīgo atmiņu un tehniskās ierīces, kas paredzētas informācijas apstrādei, pamatojoties uz kristāliskām struktūrām.
Vienlaikus jāņem vērā, ka šādu ierīču radīšana kļuva iespējama, tikai pateicoties cilvēka prātam, kurš spēja izmantot kristālu elementārās informācijas īpašības sarežģītu informācijas sistēmu veidošanai.
Vienšūņi bioloģiskā sistēma savā sarežģītībā pārspēj vismodernāko no cilvēka radītajām informācijas sistēmām. Jau vienkāršāko vienšūnu organismu līmenī tiek aktivizēts vissarežģītākais informācijas ģenētiskais mehānisms, kas nepieciešams to pavairošanai. Daudzšūnu organismos papildus informācijas sistēma iedzimtība, ir specializēti orgāni informācijas glabāšanai un apstrādei (piemēram, sistēmas, kas pārkodē vizuālos un dzirdes signālus, kas nāk no ārpasaules pirms to nosūtīšanas uz smadzenēm, sistēmas šo signālu apstrādei smadzenēs). Sarežģītākais informācijas sakaru tīkls ( nervu sistēma) caurstrāvo un pārvērš visu daudzšūnu organismu veselumā.
Informācija un entropija
Apspriežot informācijas jēdzienu, nav iespējams nepieskarties citam radniecīgam jēdzienam - entropijai. Pirmo reizi entropijas un informācijas jēdzienus savienoja K. Šenons.
| Klods Elvuds Šenons ( Klods Elvuds Šenons), 1916-2001 - tāls radinieks Tomasam Edisonam, amerikāņu inženierim un matemātiķim, bija Bell Laboratories darbinieks no 1941. līdz 1972. gadam. Savā darbā "Mathematical Theory of Communication" (http://cm.bell-labs. com/cm/ms /what/shannonday/), kas publicēts 1948. gadā, bija pirmais, kas noteica jebkura ziņojuma informācijas satura mēru un informācijas kvanta jēdzienu - mazliet. Šīs idejas veidoja mūsdienu digitālās komunikācijas teorijas pamatu. Otrs Šenona darbs "Slepenības sistēmu komunikācijas teorija", kas publicēts 1949. gadā, veicināja kriptogrāfijas pārveidi par zinātniskā disciplīna. Viņš ir dibinātājs informācijas teorija, kas ir atradis pielietojumu mūsdienu augsto tehnoloģiju sakaru sistēmās. Šenons sniedza milzīgu ieguldījumu varbūtības shēmu teorijā, automātu teorijā un vadības sistēmu teorijā - zinātnēs, kuras vieno jēdziens "kibernētika". |
Entropijas fiziskā definīcija
Pirmo reizi entropijas jēdzienu ieviesa Klausijs 1865. gadā kā sistēmas termodinamiskā stāvokļa funkciju.
kur Q ir siltums, T ir temperatūra.
Entropijas fiziskā nozīme izpaužas kā daļa no sistēmas iekšējās enerģijas, kuru nevar pārvērst darbā. Clausius empīriski ieguva šo funkciju, eksperimentējot ar gāzēm.
L. Bolcmans (1872) pēc metodēm statistiskā fizika atvasināja entropijas teorētisko izteiksmi
kur K ir konstante; W ir termodinamiskā varbūtība (ideālu gāzes molekulu permutāciju skaits, kas neietekmē sistēmas makrostāvokli).
Bolcmana entropija tika iegūta ideālai gāzei un tiek uzskatīta par nekārtības mēru, sistēmas haosa mēru. Ideālai gāzei Bolcmaņa un Klausiusa entropijas ir identiskas. Bolcmana formula kļuva tik slavena, ka tā ir ierakstīta kā epitāfija uz viņa kapa. Pastāv uzskats, ka entropija un haoss ir viens un tas pats. Lai gan entropija apraksta tikai ideālās gāzes, to sāka nekritiski izmantot, lai aprakstītu sarežģītākus objektus.
Pats Bolcmans 1886. gadā. mēģināja izmantot entropiju, lai izskaidrotu, kas ir dzīve. Pēc Bolcmana domām, dzīvība ir parādība, kas spēj samazināt tās entropiju. Pēc Bolcmana un viņa sekotāju domām, visi procesi Visumā mainās haosa virzienā. Visums virzās uz karstuma nāvi. Šī drūmā prognoze zinātnē dominēja ilgu laiku. Taču zināšanu padziļināšanās par apkārtējo pasauli pamazām satricināja šo dogmu.
Klasika nesaistīja entropiju ar informāciju.
Entropija kā informācijas mērs
Ņemiet vērā, ka jēdziens "informācija" bieži tiek interpretēts kā "informācija", un informācijas nodošana tiek veikta ar saziņas palīdzību. K. Šenons uzskatīja entropiju par mērauklu noderīga informācija signāla pārraides procesos pa vadiem.
Lai aprēķinātu entropiju, Šenons ierosināja vienādojumu, kas līdzinās klasiskajai entropijas izteiksmei, ko atrada Bolcmans. Mēs uzskatām par neatkarīgu nejaušu notikumu x ar N iespējamiem stāvokļiem un p i -i-tā stāvokļa varbūtību. Tad notikuma entropija x
Šo lielumu sauc arī par vidējo entropiju. Piemēram, mēs varam runāt par ziņojuma nodošanu dabiskajā valodā. Pārraidot dažādus burtus, mēs nododam atšķirīgu informācijas apjomu. Informācijas apjoms uz vienu vēstuli ir saistīts ar šīs vēstules lietošanas biežumu visos valodā veidotajos ziņojumos. Jo retāku vēstuli mēs pārsūtām, jo vairāk informācijas tajā ir.
Vērtība
H i = P i log 2 1/P i = -P i log 2 P i ,
tiek saukta par privāto entropiju, kas raksturo tikai i-to stāvokli.
Paskaidrosim ar piemēriem. Metot monētu, izkrīt galvas vai astes, tā ir noteikta informācija par mešanas rezultātiem.
Monētai līdzvērtīgo iespēju skaits ir N = 2. Varbūtība iegūt galviņas (astes) ir 1/2.
Metot kauliņu, mēs iegūstam informāciju par noteikta punktu skaita (piemēram, trīs) zaudēšanu. Kad mēs saņemsim vairāk informācijas?
Metiņam līdzvērtīgo iespēju skaits ir N = 6. Varbūtība iegūt trīs kauliņa punktus ir 1/6. Entropija ir 2,58. Mazāk ticama notikuma īstenošana sniedz vairāk informācijas. Jo lielāka ir nenoteiktība pirms ziņas saņemšanas par notikumu (monētas, kauliņu mešana), jo vairāk informācijas nāk, kad tiek saņemta ziņa.
Šī pieeja informācijas kvantitatīvajai izpausmei nebūt nav universāla, jo pieņemtajās vienībās nav ņemtas vērā tādas svarīgas informācijas īpašības kā tās vērtība un nozīme. Abstrakcija no informācijas specifiskajām īpašībām (tās nozīmes, vērtības) par reāliem objektiem, kā vēlāk izrādījās, ļāva identificēt vispārīgi modeļi informāciju. Šenona piedāvātās mērvienības (biti) informācijas apjoma mērīšanai ir piemērotas jebkādu ziņojumu (dēla dzimšana, sporta mača rezultāti u.c.) izvērtēšanai. Pēc tam tika mēģināts atrast tādus informācijas apjoma mērus, kas ņemtu vērā tās vērtību un nozīmi. Tomēr universālums uzreiz tika zaudēts: dažādiem procesiem vērtības un nozīmes kritēriji ir atšķirīgi. Turklāt informācijas nozīmes un vērtības definīcijas ir subjektīvas, savukārt Šenona piedāvātais informācijas mērs ir objektīvs. Piemēram, smarža nes dzīvniekam milzīgu informācijas daudzumu, bet cilvēkiem tā ir nenotverama. Cilvēka auss neuztver ultraskaņas signālus, bet tie nes daudz informācijas delfīnam utt. Tāpēc Šenona piedāvātais informācijas mērs ir piemērots visu veidu informācijas procesu pētīšanai neatkarīgi no informācijas "gašas" patērētājs.
Mērīšanas informācija
No fizikas kursa jūs to zināt, pirms izmērāt jebkuru vērtību fiziskais daudzums, ievadiet mērvienību. Informācijai ir arī šāda vienība - mazliet, bet tās nozīme ir atšķirīga dažādām pieejām jēdziena "informācija" definīcijai.
Ir vairākas dažādas pieejas informācijas mērīšanas problēmai.
"Informācija ir dzīves veids," rakstīja amerikāņu dzejnieks un esejists Džons Perijs Bārlovs. Patiešām, mēs pastāvīgi sastopamies ar vārdu "informācija" - tā tiek saņemta, pārraidīta un saglabāta. Uzzini laika prognozi vai futbola spēles rezultātu, filmas vai grāmatas saturu, runā pa telefonu – vienmēr ir skaidrs, ar kādu informāciju mums ir darīšana. Bet kas ir pati informācija, un galvenais – kā to var izmērīt, neviens parasti nedomā. Tikmēr informācija un tās pārraides veidi ir svarīga lieta, kas lielā mērā nosaka mūsu dzīvi, kuras neatņemama sastāvdaļa ir kļuvusi informāciju tehnoloģijas. Laba.Media zinātniskais redaktors Vladimirs Gubailovskis skaidro, kas ir informācija, kā to izmērīt un kāpēc visgrūtāk ir pārraidīt informāciju bez kropļojumiem.
Nejaušo notikumu telpa
1946. gadā amerikāņu statistiķis Džons Tukijs ierosināja nosaukumu BIT (BIT, Binary digiT — "binārais skaitlis" - "Hi-tech") - vienu no galvenajiem 20. gadsimta jēdzieniem. Tūkijs izvēlējās mazliet apzīmēt vienu bināro ciparu, kas spēj iegūt vērtību 0 vai 1. Klods Šenons savā pamatrakstā "Komunikācijas matemātiskā teorija" ierosināja izmērīt informācijas daudzumu bitos. Bet tas nav vienīgais jēdziens, ko Šenons savā dokumentā ieviesa un izpētīja.
Iedomājieties nejaušu notikumu telpu, kas sastāv no vienas viltotas monētas mētāšanas ar galvām abās pusēs. Kad ērglis nokrīt? Skaidrs, ka vienmēr. Mēs to zinām jau iepriekš, jo tā ir iekārtota mūsu telpa. Galvu iegūšana ir noteikts notikums, tas ir, tā varbūtība ir 1. Cik daudz informācijas mēs ziņosim, ja teiksim par nokritušajām galvām? Nē. Mēs uzskatīsim, ka informācijas apjoms šādā ziņojumā ir 0.
Tagad metīsim pareizo monētu: tai vienā pusē ir galviņas un otrā pusē astes, kā tam vajadzētu būt. Galvu vai astes iegūšana būs divi dažādi notikumi, kas veido mūsu nejaušo notikumu telpu. Ja ziņosim par viena metiena iznākumu, tad tā patiešām būs jauna informācija. Uz galvām mēs ziņosim 0, bet uz astēm ziņosim 1. Lai ziņotu par šo informāciju, mums ir nepieciešams tikai 1 bits.
Kas mainījās? Mūsu pasākumu telpā ir parādījusies neskaidrība. Mums par to ir ko pastāstīt kādam, kurš pats nemet monētu un neredz metiena iznākumu. Bet, lai pareizi saprastu mūsu vēstījumu, tai precīzi jāzina, ko mēs darām, ko nozīmē 0 un 1. Mūsu notikumu laukumiem ir jāsakrīt, un dekodēšanas procesam viennozīmīgi jāatgūst metiena rezultāts. Ja raidītāja un saņemšanas notikumu telpa nesakrīt vai nav iespējama ziņojuma viennozīmīga atkodēšana, informācija komunikācijas kanālā paliks tikai troksnis.
Ja divas monētas tiek izmestas neatkarīgi un vienlaikus, tad būs četri vienlīdz iespējami iznākumi: galvas-galvas, galvas-astes, astes-galvas un astes-astes. Lai pārsūtītu informāciju, mums jau ir nepieciešami 2 biti, un mūsu ziņojumi būs šādi: 00, 01, 10 un 11. Informācija ir kļuvusi divreiz lielāka. Tas notika tāpēc, ka pieauga nenoteiktība. Ja mēģinām uzminēt šāda dubultmetiena iznākumu, kļūdīšanās iespēja ir divreiz lielāka.
Jo lielāka ir notikumu telpas nenoteiktība, jo vairāk informācijas satur ziņas par tās stāvokli.
Nedaudz sarežģīsim savu pasākumu telpu. Līdz šim visi notikušie notikumi bijuši vienlīdz iespējami. Bet reālās telpās ne visiem notikumiem ir vienāda iespējamība. Teiksim, varbūtība, ka vārna, ko ieraudzīsim, būs melna, ir tuvu 1. Varbūtība, ka pirmais garāmgājējs, ko satiksim uz ielas, būs vīrietis, ir aptuveni 0,5. Bet sastapt krokodilu Maskavas ielās ir gandrīz neticami. Intuitīvi saprotam, ka ziņai par tikšanos ar krokodilu ir daudz lielāka informatīva vērtība nekā par melno vārnu. Jo mazāka notikuma iespējamība, jo vairāk informācijas ziņojumā par šādu notikumu.
Lai notikumu telpa nav tik eksotiska. Mēs vienkārši stāvam pie loga un skatāmies uz garāmbraucošajām mašīnām. Garām brauc četru krāsu mašīnas, par kurām mums jāziņo. Lai to izdarītu, mēs iekodējam krāsas: melns - 00, balts - 01, sarkans - 10, zils - 11. Lai ziņotu, kura automašīna ir pagājusi garām, mums vienkārši jāpārraida 2 informācijas biti.
Bet, vērojot automašīnas diezgan ilgu laiku, mēs novērojam, ka automašīnu krāsa ir sadalīta nevienmērīgi: melna - 50% (katra otrā), balta - 25% (katra ceturtā), sarkanā un zilā - 12,5% katra ( katrs astotais). Pēc tam varat optimizēt pārsūtīto informāciju.
Lielākā daļa automašīnu ir melnas, tāpēc nosauksim melno — 0 — par īsāko kodu, bet visu pārējo kodu sāksim ar 1. No atlikušās puses baltais — 10, bet pārējās krāsas sākas ar 11. Visbeidzot, pieņemsim zvaniet sarkanajam - 110 un zilajam - 111.
Tagad, nododot informāciju par automašīnu krāsu, mēs varam to iekodēt blīvāk.
Entropija saskaņā ar Šenonu
Lai mūsu pasākumu telpa sastāv no n dažādiem pasākumiem. Metot monētu ar divām galvām, ir tieši viens šāds notikums, iemetot vienu pareizu monētu - 2, metot divas monētas vai vērojot automašīnas - 4. Katrs notikums atbilst tā rašanās varbūtībai. Kad monētu met ar divām galvām, ir tikai viens notikums (galvas) un tā varbūtība ir p1 = 1. Kad tiek izmesta pareiza monēta, ir divi notikumi, tie ir vienādi ticami un katra iespējamība ir 0,5: p1 = 0,5, p2 = 0,5. Metot divas pareizas monētas, ir četri notikumi, tie visi ir vienādi iespējami un katra iespējamība ir 0,25: p1 = 0,25, p2 = 0,25, p3 = 0,25, p4 = 0,25. Vērojot automašīnas, ir četri notikumi, un tiem ir dažādas varbūtības: melns - 0,5, balts - 0,25, sarkans - 0,125, zils - 0,125: p1 = 0,5, p2 = 0,25, p3 = 0,125, p4 = 0,125.
Tā nav nejaušība. Šenons izvēlējās entropiju (notikuma telpas nenoteiktības mēru) tādā veidā, ka tika izpildīti trīs nosacījumi:
- 1Noteikta notikuma entropija ar varbūtību 1 ir 0.
- Divu neatkarīgu notikumu entropija ir vienāda ar šo notikumu entropiju summu.
- Entropija ir maksimāla, ja visi notikumi ir vienādi iespējami.
Visas šīs prasības diezgan saskan ar mūsu priekšstatiem par pasākuma telpas nenoteiktību. Ja ir tikai viens notikums (pirmais piemērs), nenoteiktības nav. Ja notikumi ir neatkarīgi - summas nenoteiktība ir vienāda ar nenoteiktību summu - tie vienkārši summējas (piemēram, divu monētu mešana). Un, visbeidzot, ja visi notikumi ir vienādi iespējami, tad sistēmas nenoteiktības pakāpe ir maksimālā. Tāpat kā divu monētu mešanas gadījumā, visi četri notikumi ir vienādi iespējami un entropija ir 2, kas ir lielāka nekā automašīnu gadījumā, kad ir arī četri notikumi, bet tiem ir atšķirīga varbūtība - šajā gadījumā entropija ir 1,75.
H vērtībai ir galvenā loma informācijas teorijā kā informācijas apjoma, izvēles un nenoteiktības mēraukla.
Klods Šenons
Klods Elvuds Šenons- amerikāņu inženieris, kriptanalītiķis un matemātiķis. Tiek uzskatīts par "informācijas laikmeta tēvu". Informācijas teorijas pamatlicējs, kas atradis pielietojumu mūsdienu augsto tehnoloģiju sakaru sistēmās. Viņš sniedza fundamentālas koncepcijas, idejas un to matemātiskus formulējumus, kas šobrīd veido mūsdienu komunikācijas tehnoloģiju pamatu.
1948. gadā viņš ierosināja lietot vārdu "bits", lai apzīmētu mazāko informācijas vienību. Viņš arī pierādīja, ka viņa ieviestā entropija ir līdzvērtīga pārraidītajā ziņojumā esošās informācijas nenoteiktības mēraukla. Šenona raksti "Komunikācijas matemātiskā teorija" un "Komunikācijas teorija slepenās sistēmās" tiek uzskatīti par informācijas teorijas un kriptogrāfijas pamatelementiem.
Otrā pasaules kara laikā Šenons izstrādāja kriptogrāfijas sistēmas Bell Laboratories, kas vēlāk palīdzēja viņam atklāt metodes kļūdu labošanai.
Šenons sniedza galveno ieguldījumu varbūtības shēmu teorijā, spēļu teorijā, automātu teorijā un vadības sistēmu teorijā - zinātnes jomās, kas iekļautas jēdzienā "kibernētika".
Kodēšana
Gan mētātās monētas, gan garāmbraucošās automašīnas nav kā cipari 0 un 1. Lai komunicētu telpās notiekošos notikumus, ir jāizdomā veids, kā šos notikumus aprakstīt. Šo aprakstu sauc par kodējumu.
Ziņojumus var kodēt bezgalīgi Dažādi ceļi. Bet Šenons parādīja, ka īsākais kods nevar būt mazāks bitos par entropiju.
Tāpēc ziņojuma entropija ir ziņojumā esošās informācijas mērs. Tā kā visos aplūkotajos gadījumos bitu skaits kodējumā ir vienāds ar entropiju, tas nozīmē, ka kodējums bija optimāls. Īsāk sakot, vairs nav iespējams kodēt ziņojumus par notikumiem mūsu telpās.
Ar optimālu kodēšanu nevar pazaudēt vai izkropļot ziņojumā nevienu pārraidīto bitu. Ja tiek zaudēts vismaz viens bits, informācija tiks izkropļota. Taču visi reālie komunikācijas kanāli nedod 100% pārliecību, ka visi ziņojuma biti adresātu sasniegs neizkropļoti.
Lai novērstu šo problēmu, kods ir jāpadara nevis optimāls, bet gan lieks. Piemēram, lai kopā ar ziņojumu pārsūtītu arī tās kontrolsummu - speciāli aprēķinātu vērtību, kas iegūta, pārvēršot ziņojuma kodu, un kuru var pārbaudīt, pārrēķinot, saņemot ziņojumu. Ja nosūtītā kontrolsumma sakrīt ar aprēķināto, varbūtība, ka pārraide noritēja bez kļūdām, būs diezgan augsta. Un, ja kontrolsumma nesakrīt, jums ir jāpieprasa atkārtota pārraide. Tā mūsdienās darbojas lielākā daļa komunikācijas kanālu, piemēram, pārraidot informācijas paketes internetā.
Ziņojumi dabiskajā valodā
Apsveriet notikumu telpu, kas sastāv no ziņojumiem dabiskā valodā. Šis ir īpašs gadījums, bet viens no svarīgākajiem. Notikumi šeit būs pārraidītās rakstzīmes (fiksēta alfabēta burti). Šīs rakstzīmes valodā parādās ar dažādu varbūtību.
Visbiežāk sastopamais simbols (tas ir, tas, kas visbiežāk sastopams visos krievu valodā rakstītajos tekstos) ir atstarpe: no tūkstoš rakstzīmēm vidēji atstarpe notiek 175 reizes. Otrs biežākais ir simbols “o” - 90, kam seko citi patskaņi: “e” (vai “ё” - mēs tos neatšķirsim) - 72, “a” - 62, “i” - 62 un tikai tālāk notiek pirmais līdzskaņs "t" ir 53. Un retākais "f" - šis simbols sastopams tikai divas reizes uz tūkstoš rakstzīmēm.
Mēs izmantosim krievu valodas 31 burta alfabētu (tas neatšķiras starp "e" un "e", kā arī "b" un "b"). Ja valodā tiktu atrasti visi burti ar vienādu varbūtību, tad entropija uz vienu rakstzīmi būtu H = 5 biti, bet, ja ņemam vērā faktiskās rakstzīmju frekvences, tad entropija būs mazāka: H = 4,35 biti. (Tas ir gandrīz divas reizes mazāk nekā ar tradicionālo kodējumu, kad rakstzīme tiek pārraidīta kā baits - 8 biti).
Bet rakstzīmes entropija valodā ir vēl zemāka. Nākamās rakstzīmes parādīšanās varbūtību pilnībā nenosaka rakstzīmes vidējais biežums visos tekstos. Tālāk norādītā rakstzīme ir atkarīga no jau pārsūtītajām rakstzīmēm. Piemēram, mūsdienu krievu valodā pēc simbola "ъ" nevar sekot līdzskaņas skaņas simbols. Pēc diviem secīgiem patskaņiem "e" trešais patskaņis "e" ir ārkārtīgi reti sastopams, izņemot vārdu "garais kakls". Tas ir, nākamais raksturs ir nedaudz iepriekš noteikts. Ja ņemam vērā šādu nākamā simbola iepriekšēju noteikšanu, tad nākamā simbola nenoteiktība (t.i. informācija) būs pat mazāka par 4,35. Pēc dažām aplēsēm, nākamo rakstzīmi krievu valodā valodas struktūra nosaka vairāk nekā par 50%, tas ir, ar optimālu kodējumu visu informāciju var pārsūtīt, no ziņojuma izdzēšot pusi burtu.
Cita lieta, ka ne katru burtu var nesāpīgi izsvītrot. Piemēram, augstfrekvences "o" (un patskaņus kopumā) ir viegli izsvītrot, bet reti sastopamais "f" vai "e" ir diezgan problemātisks.
Dabiskā valoda, kurā mēs sazināmies viens ar otru, ir ļoti lieka un tāpēc uzticama, ja kaut ko esam palaiduši garām - nebaidieties, informācija joprojām tiks pārraidīta.
Bet līdz brīdim, kad Šenons ieviesa informāciju, mēs nevarējām saprast, ka valoda ir lieka un cik lielā mērā mēs varam saspiest ziņojumus (un kāpēc arhivētājs tik labi saspiež teksta failus).
Dabiskās valodas dublēšana
Rakstā “Par to, kā mēs rakstām tekstu” (nosaukums izklausās tieši tā!) Ivana Turgeņeva romāna fragments “ Noble Nest” un tika pakļauti zināmai transformācijai: no fragmenta tika izdzēsti 34% burtu, bet ne nejauši. Vārdos tika atstāti pirmie un pēdējie burti, dzēsti tikai patskaņi, un ne visi. Mērķis bija ne tikai atgūt visu informāciju no konvertētā teksta, bet arī nodrošināt, lai šī teksta lasītājam nebūtu īpašas grūtības burtu izlaišanas dēļ.
Kāpēc ir salīdzinoši viegli lasīt šo bojāto tekstu? Tas patiešām satur nepieciešamo informāciju lai atgūtu veselus vārdus. Krievu valodas runātājam ir noteikts notikumu kopums (vārdi un veseli teikumi), ko viņš izmanto atpazīšanai. Turklāt pārvadātāja rīcībā ir arī standarta valodas konstrukcijas, kas palīdz viņam atgūt informāciju. Piemēram, "Viņa ir svētlaimīgāka"- ar lielu varbūtību var lasīt kā "Viņa bija jūtīgāka". Bet viena frāze "Viņai ir labāk", drīzāk tiks atjaunots kā "Viņa bija baltāka". Tā kā ikdienas komunikācijā mēs saskaramies ar kanāliem, kuros ir trokšņi un traucējumi, mēs diezgan labi spējam atgūt informāciju, bet tikai to, ko jau zinām iepriekš. Piemēram, frāze "Viņas velni nav tālu no patīkamiem, lai gan tie daudz mirgoja un saplūda" labi lasa, izņemot pēdējo vārdu "spls" - "apvienots". Šī vārda mūsdienu leksikā nav. Plkst ātrlasīšana vārdu "spls" tas vairāk skan kā "salipts kopā", ar lēnu tas vienkārši mulsina.
Signālu digitalizācija
Skaņa vai akustiskās vibrācijas ir sinusoīds. To var redzēt, piemēram, skaņas redaktora ekrānā. Lai precīzi pārraidītu skaņu, ir nepieciešams bezgalīgs skaits vērtību - viss sinusoīds. Tas ir iespējams ar analogo savienojumu. Viņš dzied – tu klausies, kontakts nepārtrūkst, kamēr vien dziesma.
Izmantojot digitālo saziņu pa kanālu, mēs varam pārraidīt tikai ierobežotu skaitu vērtību. Vai tas nozīmē, ka skaņu nevar precīzi pārraidīt? Izrādās, ka nē.
Dažādas skaņas ir atšķirīgi modulētas sinusoīdas. Mēs pārraidām tikai atsevišķas vērtības (frekvences un amplitūdas), un pats sinusoīds nav jāpārraida - to var ģenerēt uztverošā ierīce. Tas ģenerē sinusoīdu, un tam tiek piemērota modulācija, kas izveidota no vērtībām, kas tiek pārraidītas pa sakaru kanālu. Ir precīzi principi, kuri diskrētās vērtības jāpārraida, lai skaņa komunikācijas kanāla ieejā sakristu ar skaņu izejā, kur šīs vērtības tiek uzliktas uz kāda standarta sinusoīda (tā ir tikai Koteļņikova teorēma ).
Koteļņikova teorēma (angļu literatūrā - Nikvista-Šenona teorēma, izlases teorēma)- fundamentāls paziņojums digitālo signālu apstrādes jomā, kas attiecas uz nepārtrauktiem un diskrētiem signāliem un kurā teikts, ka "jebkuru funkciju F (t), kas sastāv no frekvencēm no 0 līdz f1, var nepārtraukti pārraidīt ar jebkādu precizitāti, izmantojot skaitļus pēc kārtas līdz 1 /( 2*f1) sekundes.
Trokšņu koriģējoša kodēšana. Haminga kodi
Ja Ivana Turgeņeva kodētais teksts tiek pārraidīts pa neuzticamu kanālu, kaut arī ar noteiktu kļūdu skaitu, tad tiks iegūts pilnīgi jēgpilns teksts. Bet, ja mums viss ir jāpārraida uz bitu, problēma nebūs atrisināta: mēs nezinām, kuri biti ir nepareizi, jo kļūda ir nejauša. Pat kontrolsumma ne vienmēr saglabā.
Tāpēc mūsdienās, pārraidot datus pa tīkliem, viņi tiecas ne tik daudz uz optimālu kodēšanu, kurā kanālā var iebīdīt maksimālo informācijas daudzumu, bet gan uz tādu kodēšanu (acīmredzami lieku), kurā var atjaunot kļūdas - aptuveni , kā mēs atjaunojām vārdus lasot, kad Ivana Turgeņeva fragments.
Ir īpaši kļūdu labošanas kodi, kas ļauj atgūt informāciju pēc kļūmes. Viens no tiem ir Haminga kods. Pieņemsim, ka visa mūsu valoda sastāv no trim vārdiem: 111000, 001110, 100011. Šos vārdus zina gan ziņojuma avots, gan saņēmējs. Un mēs zinām, ka komunikācijas kanālā rodas kļūdas, bet, pārraidot vienu vārdu, tiek sagrozīts ne vairāk kā viens informācijas bits.
Pieņemsim, ka mēs vispirms nododam vārdu 111000. Ne vairāk kā vienas kļūdas rezultātā (kļūdas, kuras esam izceltas), tas var pārvērsties par vienu no vārdiem:
1) 111000, 0 11000, 10 1000, 110 000, 1111 00, 11101 0, 111001 .
Kad tiek pārraidīts vārds 001110, var iegūt jebkuru no vārdiem:
2) 001110, 1 01110, 01 1110, 000 110, 0010 10, 00110 0, 001111 .
Visbeidzot, par 100011 mēs varam iegūt:
3) 100011, 0 00011, 11 0011, 101 011, 1001 11, 10000 1, 100010 .
Ņemiet vērā, ka visi trīs saraksti ir sadalīti pa pāriem. Citiem vārdiem sakot, ja saziņas kanāla otrā galā parādās kāds vārds no 1. saraksta, saņēmējs noteikti zina, ka viņam tika pārsūtīts vārds 111000, un, ja parādās kāds vārds no 2. saraksta, vārds 001110 un no 3. saraksta, vārds 100011. Šajā gadījumā sakiet, ka mūsu kods ir izlabojis vienu kļūdu.
Labojums radās divu faktoru dēļ. Pirmkārt, saņēmējs zina visu "vārdnīcu", tas ir, ziņojuma saņēmēja notikumu telpa ir tāda pati kā ziņojuma sūtītāja vieta. Kad kods tika pārsūtīts tikai ar vienu kļūdu, iznāca vārds, kura vārdnīcā nebija.
Otrkārt, vārdi vārdnīcā tika izvēlēti īpašā veidā. Pat ja radās kļūda, adresāts nevarēja sajaukt vienu vārdu ar citu. Piemēram, ja vārdnīca sastāv no vārdiem "meita", "punkts", "pucis", un pārsūtot tas izrādījās "vochka", tad adresāts, zinot, ka šāds vārds neeksistē, nevarēja izlabot. kļūda - jebkurš no trim vārdiem varētu izrādīties pareizs. Ja vārdnīcā ir “punkts”, “daw”, “branch” un mēs zinām, ka ir pieļaujama ne vairāk kā viena kļūda, tad “vochka” acīmredzami ir “punkts”, nevis “daw”. Kļūdu labošanas kodos vārdi tiek izvēlēti tā, lai tie būtu "atpazīstami" arī pēc kļūdas. Vienīgā atšķirība ir tā, ka kodā "alfabēts" ir tikai divi burti - nulle un viens.
Šādas kodēšanas dublēšanās ir ļoti liela, un vārdu skaits, ko mēs varam nodot šādā veidā, ir salīdzinoši mazs. Galu galā mums ir jāizslēdz no vārdnīcas jebkurš vārds, kas kļūdas gadījumā var atbilst visam sarakstam, kas atbilst pārsūtītajiem vārdiem (piemēram, vārdnīcā nevar atrasties vārdi “meita” un “punkts”). Bet precīza ziņojuma pārsūtīšana ir tik svarīga, ka kļūdu labošanas kodu izpētei tiek veltīts daudz pūļu.
Sensācija
Ziņojuma entropijas (vai nenoteiktības un neparedzamības) jēdzieni un dublēšana (vai iepriekšēja nolemšana un paredzamība) ļoti dabiski atbilst mūsu intuitīvajiem priekšstatiem par informācijas mērauklu. Jo neparedzamāks ir ziņojums (jo lielāka tā entropija, jo varbūtība ir mazāka), jo vairāk informācijas tas nes. Sensācija (piemēram, tikšanās ar krokodilu Tverskā) ir rets notikums, tās paredzamība ir ļoti maza, un tāpēc informācijas vērtība ir augsta. Bieži vien informāciju sauc par ziņām – ziņas par tikko notikušiem notikumiem, par kuriem mēs joprojām neko nezinām. Bet, ja par notikušo mums pastāstīs otro un trešo reizi ar aptuveni vienādiem vārdiem, ziņojuma liekums būs liels, tā neparedzamība nokritīsies līdz nullei, un mēs vienkārši neklausīsimies, noslaucot runātāju ar vārdiem “ Es zinu, es zinu." Tāpēc mediji tik ļoti cenšas būt pirmie. Tieši šī atbilstība intuitīvajai novitātes sajūtai rada patiesi negaidītas ziņas, un tai bija liela nozīme tajā, ka Šenonas raksts, kas nebija paredzēts plašam lasītājam, kļuva par sensāciju, ko pārņēma prese, kā universālu dabas izpratnes atslēgu pieņēma dažādu specialitāšu zinātnieki – no valodniekiem un literatūrkritiķiem līdz biologiem.
Bet Šenona informācijas jēdziens ir stingra matemātiska teorija, un tā pielietojums ārpus komunikācijas teorijas ir ļoti neuzticams. Bet pašā komunikācijas teorijā tai ir galvenā loma.
semantiskā informācija
Šenons, ieviešot entropijas kā informācijas mēra jēdzienu, ieguva iespēju strādāt ar informāciju - pirmkārt, to izmērīt un novērtēt tādas īpašības kā kanāla kapacitāte vai kodēšanas optimizācija. Bet galvenais pieņēmums, kas ļāva Šenonam veiksmīgi darboties ar informāciju, bija pieņēmums, ka informācijas ģenerēšana ir nejaušs process, ko var veiksmīgi aprakstīt ar varbūtību teoriju. Ja process nav nejaušs, tas ir, tas pakļaujas modeļiem (un ne vienmēr ir skaidrs, kā tas notiek dabiskajā valodā), tad Šenona argumentācija tam nav piemērojama. Visam, ko Šenons saka, nav nekāda sakara ar informācijas jēgpilnību.
Kamēr mēs runājam par simboliem (vai alfabēta burtiem), mēs varam domāt par nejaušiem notikumiem, bet, tiklīdz mēs pārejam pie valodas vārdiem, situācija krasi mainās. Runa ir īpašā veidā organizēts process, un šeit ne mazāk svarīga ir ziņojuma struktūra kā simboli, ar kuriem tas tiek pārraidīts.
Vēl nesen šķita, ka mēs neko nevaram darīt, lai kaut kā pietuvotos teksta jēgpilnības mērīšanai, bet pēdējie gadi situācija sāka mainīties. Un tas galvenokārt ir saistīts ar mākslīgo neironu tīklu izmantošanu mašīntulkošanai, automātiskai tekstu abstrahēšanai, informācijas iegūšanai no tekstiem, atskaišu ģenerēšanai dabiskā valodā. Visos šajos uzdevumos notiek dabiskajā valodā ietvertās jēgpilnas informācijas transformācija, kodēšana un atkodēšana. Un pamazām rodas priekšstats par informācijas zudumiem šādu transformāciju laikā, līdz ar to – par jēgpilnas informācijas mēru. Taču līdz šim Šenona informācijas teorijas skaidrība un precizitāte šajos sarežģītajos uzdevumos vēl nav klāt.
koncepcija entropija
pirmo reizi 1865. gadā ieviesa R. Klausiuss termodinamikā, lai noteiktu neatgriezeniskas enerģijas izkliedes mēru. Entropiju izmanto dažādās zinātnes nozarēs, tostarp informācijas teorijā, kā jebkuras pieredzes, testa, kam var būt dažādi rezultāti, nenoteiktības mēru. Šīm entropijas definīcijām ir dziļa iekšēja saikne. Tātad, pamatojoties uz priekšstatiem par informāciju, var izsecināt visus svarīgākos statistiskās fizikas noteikumus. [BES. Fizika. M: Liels Krievu enciklopēdija, 1998].
Šo vērtību sauc arī par vidējā entropija ziņas. Entropija Šenona formulā ir vidējais raksturlielums - matemātiskās cerības izplatīšana nejaušais mainīgais.
Piemēram, burtu secībā, kas veido jebkuru teikumu krievu valodā, dažādi burti parādās dažādās frekvencēs, tāpēc dažu burtu rašanās nenoteiktība ir mazāka nekā citiem.
1948. gadā, pētot problēmu par informācijas racionālu pārraidi pa trokšņainu sakaru kanālu, Klods Šenons ierosināja revolucionāru varbūtības pieeju komunikācijas izpratnei un radīja pirmo patiesi matemātisko entropijas teoriju. Viņa sensacionālās idejas ātri kalpoja par pamatu informācijas teorijas attīstībai, kas izmanto varbūtības jēdzienu. Entropijas jēdzienu kā nejaušības mēru ieviesa Šenons savā rakstā "A Mathematical Theory of Communication", kas divās daļās tika publicēts Bell System Technical Journal 1948. gadā.
Vienlīdz ticamu notikumu gadījumā (īpašs gadījums), kad visas iespējas ir vienādi iespējamas, atkarība paliek tikai no apsvērto variantu skaita, un Šenona formula ir ievērojami vienkāršota un sakrīt ar Hārtlija formulu, kuru pirmo reizi ierosināja amerikāņu inženieris Ralfs Hārtlijs 1928. gadā kā viens no zinātniskās pieejas lai novērtētu ziņojumus:
, kur I ir pārraidītās informācijas apjoms, p ir notikuma iespējamība, N ir iespējamais dažādu (ekvivalenciālo) ziņojumu skaits.1. uzdevums. Vienlīdz iespējami notikumi.
Kādā ir 36 kārtis. Cik daudz informācijas ir ziņojumā, ka no klāja paņemta kārts ar “dūza” portretu; "pīķa dūzis"?
Varbūtība p1 = 4/36 = 1/9 un p2 = 1/36. Izmantojot Hārtlija formulu, mums ir:
Atbilde: 3,17; 5,17 biti
Ņemiet vērā (no otrā rezultāta), ka visu karšu kodēšanai ir nepieciešami 6 biti.
No rezultātiem ir arī skaidrs, ka jo mazāka ir notikuma iespējamība, jo vairāk informācijas tas satur. (Šo īpašumu sauc vienmuļība)
2. uzdevums. Par nevienlīdzīgiem notikumiem
Kādā ir 36 kārtis. No tām 12 kartītes ar "portretiem". Savukārt vienu no kārtīm paņem no klāja un parāda, lai noteiktu, vai uz tās ir attēlots portrets. Karte tiek atgriezta klājā. Nosakiet pārsūtītās informācijas apjomu katru reizi, kad tiek parādīta viena karte.
Informācijas entropija- noteiktas sistēmas nenoteiktības vai neparedzamības mērs (statistikas fizikā vai informācijas teorijā), jo īpaši jebkura primārā alfabēta simbola izskata nenoteiktība. Pēdējā gadījumā, ja nav informācijas zuduma, entropija ir skaitliski vienāda ar informācijas daudzumu uz vienu pārraidītā ziņojuma simbolu.
Piemēram, burtu secībā, kas veido jebkuru teikumu krievu valodā, dažādi burti parādās dažādās frekvencēs, tāpēc dažu burtu rašanās nenoteiktība ir mazāka nekā citiem. Ja ņemam vērā, ka dažas burtu kombinācijas (šajā gadījumā mēs runājam par entropiju n (\displaystyle n) kārtu, skat. ) ir ļoti reti, tad nenoteiktība samazinās vēl vairāk.
Informatīvās entropijas jēdzienu var ilustrēt ar Maksvela dēmona palīdzību. Informācijas un entropijas jēdzieniem ir dziļa saikne vienam ar otru [ kuru?] , taču neskatoties uz to, statistikas mehānikas un informācijas teorijas teoriju attīstība prasīja daudzus gadus, lai tās atbilstu viena otrai [ ] .
Entropija- tas ir informācijas apjoms uz vienu avota elementāru ziņojumu, kas ģenerē statistiski neatkarīgus ziņojumus.
Enciklopēdisks YouTube
1 / 5
✪ Izpratne par entropiju
✪ Kas ir entropija?
✪ Informācijas entropija
✪ Entropija un otrais termodinamikas likums (3. video) | Enerģija| Bioloģija
✪ Kas ir entropija? Džefs Filipss #TED-Red
Subtitri
Tātad, mēs esam devuši divas entropijas kā stāvokļa mainīgā definīcijas. Entropiju apzīmē ar burtu S. Saskaņā ar termodinamisko definīciju entropijas izmaiņas ir vienādas ar pievienoto siltumu, kas dalīts ar temperatūru, kurā šis siltums tiek pievienots. Tomēr, ja temperatūra mainās, pievienojot siltumu (kas parasti notiek), mums būs jāveic daži aprēķini. Un jūs varat to uzskatīt par matemātisko, statistisko vai kombinatorisko entropijas definīciju. Saskaņā ar šo definīciju entropija ir vienāda ar dabisko logaritmu stāvokļu skaitam, ko sistēma var uzņemt, reizinot ar konstantu skaitli. Un šādā gadījumā visiem stāvokļiem ir vienāda varbūtība. Ja mēs runājam par neiedomājami lielu skaitu molekulu, kurām var būt vēl lielāks stāvokļu skaits, varam pieņemt, ka tās visas atšķirsies aptuveni vienādi. Ir arī nedaudz sarežģītāka definīcija - gadījumiem, kuru varbūtība ir citāda secība, bet tagad mēs to neskarsim. Tagad, kad esam aplūkojuši šīs divas definīcijas, ir pienācis laiks pastāstīt par otro termodinamikas likumu. Šeit viņš ir. Tas ir diezgan vienkāršs likums, kas vienlaikus izskaidro ļoti plašu dažādu parādību loku. Saskaņā ar šo likumu entropijas izmaiņas Visumā jebkura procesa īstenošanas laikā vienmēr būs lielākas vai vienādas ar 0. Tas ir, kad Visumā kaut kas notiek, tā rezultātā palielinās entropija. Tas ir ļoti svarīgs secinājums. Paskatīsimies, vai mēs varam piemērot šo likumu konkrētas situācijas un tādējādi izprast tā nozīmi. Pieņemsim, ka man ir divas tvertnes, kas savienotas viena ar otru. Šeit man ir T1. Lai šī ir mūsu karstā tvertne. Un šeit mums ir T2. Šī būs aukstā tvertne. Nu, mēs zinām no pieredzes... Kas notiek, ja karstā ūdens trauks dala sienu ar auksta ūdens trauku? Kas notiek šādā gadījumā? Jā, ūdens temperatūra tajos izlīdzinās. Ja mēs runājam par vienu un to pašu vielu, tad process apstāsies aptuveni vidū, ja tie atrodas vienā fāzē. Tādējādi mums ir darīšana ar siltuma pārnesi no karstākas vielas uz aukstāku. Mums ir daļa siltuma, Q, kas tiek pārnesta no karstākas vielas uz aukstāku. Protams, ikdienas realitātē jūs neredzēsiet, ka siltums tiek pārnests no aukstākas vielas uz karstāku. Ja jūs ieliekat ledus kubiņu, teiksim, karstā tējā, tad ledus, protams, nekļūst aukstāks un tēja nekļūst karstāka. Abu vielu temperatūra kļūs aptuveni vienāda, tas ir, faktiski tēja atdos daļu siltuma ledus. Runa ir arī par divām tvertnēm, un pieļauju, ka to temperatūra paliek nemainīga. Tas var notikt tikai tad, ja abi ir bezgala lieli, kas, protams, neeksistē reālajā pasaulē. IN īstā pasaule T1 samazināsies un T2 palielināsies. Bet paskatīsimies, vai tam vajadzētu notikt saskaņā ar otro termodinamikas likumu. Kas tad te notiek? Kādas ir neto entropijas izmaiņas T1? Saskaņā ar otro termodinamikas likumu Visuma entropijas izmaiņas ir lielākas par 0. Bet šajā gadījumā tās ir vienādas ar entropijas izmaiņām T1 plus entropijas izmaiņas ... lai gan ne gluži ... T1 vietā sauksim to tikai par 1 ... sistēmai 1, tas ir, šeit par šo karsto sistēmu plus entropijas izmaiņas 2. sistēmai. Tātad, kādas ir 1. sistēmas entropijas izmaiņas? Tas zaudē Q1 augstā temperatūrā. Izrādās mīnus Q (jo sistēma izdala siltumu), dalīts ar T1. Tad mums jāņem vērā T2 sistēmai pievienotais siltums. Tātad pievienosim Q dalītu ar T2. Mēs iegūstam entropijas izmaiņas sistēmai 2, vai ne? Šis rezervuārs, kura temperatūra ir par 1 augstāka, zaudē siltumu. Un rezervuārs, kura temperatūra ir zemāka 2, saņem siltumu. Vai tas nebūtu augstāks par 0? Mazliet padomāsim. Ja mēs sadalām... ļaujiet man to pārrakstīt... es uzrakstīšu citādi: Q dalīts ar T2, atskaitot šo. Es tikai pārkārtoju skaitļus... mīnus Q dalīts ar T1. Un kāds tagad ir augstāks rādītājs? T2 vai T1? Nu, T1 ir lielāks, vai ne? Tagad, kad mums ir augstāks rādītājs... Lietojot vārdu "augstāks", mēs domājam noteiktu salīdzinājumu. Tātad T1 ir virs šī. Turklāt skaitītājā abos gadījumos mums ir vienāds skaitlis, vai ne? Tas ir, ja es ņemu, teiksim, 1/2 mīnus 1/3, tad es saņemu rādītāju, kas ir lielāks par 0. Šis rādītājs ir lielāks par šo, jo šim ir lielāks saucējs. Jūs dalāt ar lielāku skaitli. Par to ir vērts padomāt. Jūs dalāt Q ar šo skaitli un pēc tam atņemat Q, dalītu ar lielāku skaitli. Tātad šai daļai šeit būs zemāka absolūtā vērtība. Un tas būs lielāks par 0. Attiecīgi otro termodinamikas likumu apstiprina mūsu novērojums, saskaņā ar kuru siltums pāriet no karsta ķermeņa uz aukstu. Tagad jūs varat teikt: Sveiki, Sal, es varu pierādīt, ka jūs kļūdāties. Var saprast, vai es ieliku istabā gaisa kondicionētāju... Šeit ir istaba, un šeit ir tas, kas ir ārpusē. Un tu saki – paskaties, ko dara kondicionieris! Istabā jau auksts, bet ārā jau karsts. Bet ko dara gaisa kondicionieris? Tas padara aukstu vēl vēsāku un karsto vēl karstāku. Viņš paņem kādu Q un virzās šajā virzienā. Pa labi? Tas ņem siltumu no aukstās telpas un izdala to karstā gaisā. Un jūs sakāt, ka tas pārkāpj otro termodinamikas likumu. Jūs to tikko atspēkojāt. Tu esi pelnījis Nobela prēmija! Bet es jums teikšu - jūs aizmirstat vienu mazu faktu. Šī gaisa kondicionētāja iekšpusē ir kompresors un dzinējs, kas aktīvi strādā un rada šādu rezultātu. Un šis dzinējs, izcelšu rozā krāsā, arī izdala siltumu. Sauksim to par Q dzinēju. Tādējādi, ja vēlaties aprēķināt kopējo entropiju, kas ģenerēta visam Visumam, tā būtu aukstās telpas entropija plus ielas entropijas izmaiņas. Aukstās telpas entropija plus āra entropijas maiņa. Atzīmēsim šeit istabu... Var teikt – labi. Šīs entropijas izmaiņas telpai, kas izdala siltumu... pieņemsim, ka telpa uztur nemainīgu temperatūru vismaz vienu milisekundi. Telpā pie noteiktas temperatūras T1 izdalās nedaudz Q. Un tad... te jāliek mīnuss... tad iela dabū siltumu pie noteiktas temperatūras T2. Un jūs sakāt: šis skaitlis ir mazāks par šo. Jo saucējs ir lielāks. Tad tā būs negatīva entropija, un jūs varat teikt, ka tas pārkāpj otro termodinamikas likumu. Nē! Šeit jāņem vērā vēl viens moments: arī iela saņem siltumu no dzinēja. Dzinēja siltums dalīts ar āra temperatūru. Un es garantēju, ka šis mainīgais, es šobrīd nesniegšu skaitļus, padarīs visu šo izteiksmi pozitīvu. Šis mainīgais pārvērtīs Visuma kopējo neto entropiju pozitīvā. Tagad nedaudz padomāsim par to, kas terminoloģijas ziņā ir entropija. Ķīmijas stundā nereti skolotājs saka, ka entropija ir vienāda ar nekārtību. Tā nav kļūda. Entropija ir vienāda ar traucējumiem. Tā nav kļūda, jo entropija patiešām ir traucējumi, taču jums ir jābūt ļoti uzmanīgiem ar traucējumu definīciju. Jo viens no visizplatītākajiem piemēriem ir: paņemiet tīru istabu – pieņemsim, ka jūsu guļamistaba ir tīra, bet pēc tam tā kļūst netīra. Un saka – skat, visums ir kļuvis nesakārtotāks. Netīrā telpā ir vairāk nekārtības nekā tīrā. Bet tas nav entropijas pieaugums. Tāpēc šis nav ļoti labs piemērs. Kāpēc? Jā, jo tīrs un netīrs ir tikai telpas stāvokļi. Un mēs atceramies, ka entropija ir stāvokļa makro mainīgais. jūs to izmantojat sistēmas apraksti kad jums nav noskaņojuma sēdēt šeit un pastāstīt man, ko tieši katra daļiņa dara. Un tas ir makro mainīgais, kas parāda, cik ilgs laiks nepieciešams, lai man pateiktu, ko dara katra daļiņa. Šis mainīgais norāda, cik štatu ir šajā gadījumā vai cik daudz informācijas par štatiem es vēlētos saņemt no jums. Tīras telpas un netīras telpas gadījumā mums ir tikai divi dažādi vienas telpas stāvokļi. Ja telpā tiek uzturēta tāda pati temperatūra un tajā ir vienāds molekulu skaits un tā tālāk, tad tai būs tāda pati entropija. Tātad, telpai kļūstot netīrākai, entropija nepalielinās. Piemēram, man ir netīra aukstā telpa. Pieņemsim, ka es iegāju šajā telpā un pieliku daudz pūļu, lai to iztīrītu. Tāpēc es pievienoju sistēmai daļu siltuma, un manas sviedru molekulas izkliedējas pa visu istabu - attiecīgi tajā ir vairāk satura, un tā kļūst siltāka, pārvēršoties karstā, tīrā telpā ar sviedru pilieniņām. Šo saturu var sakārtot daudzos veidos, un, tā kā telpa ir karsta, katra molekula tajā var iegūt vairāk stāvokļu, vai ne? Tā kā vidējā kinētiskā enerģija ir augsta, var mēģināt noskaidrot, cik kinētiskās enerģijas var būt katrai molekulai, un potenciālā šis daudzums var būt diezgan liels. Būtībā tas ir entropijas pieaugums. No netīras, aukstas telpas uz karstu un tīru. Un tas diezgan labi saskan ar to, ko mēs zinām. Tas ir, kad es ieeju istabā un sāku to tīrīt, es ienesu tajā siltumu. Un visums kļūst arvien vairāk... Var teikt, ka entropija palielinās. Tātad, kur šeit ir neskaidrības? Pieņemsim, ka man ir bumba, un tā atsitas pret zemi un atsitās pret to. Un šeit mums jāuzdod jautājums, kas tiek pastāvīgi uzdots kopš pirmā termodinamikas likuma atklāšanas. Tiklīdz bumba atsitas pret zemi... Bumba atsitas pret zemi, vai ne? Es to iemetu: tā augšējā daļā ir noteikta potenciālā enerģija, kas pēc tam pārvēršas kinētiskā enerģija, un bumba atsitās pret zemi un pēc tam apstājas. Šeit rodas pilnīgi loģisks jautājums – kas noticis ar visu šo enerģiju? Enerģijas nezūdamības likums. Kur viņa pazuda? Tieši pirms sitiena pret zemi bumbai bija kinētiskā enerģija un tad tā apstājās. Šķiet, ka enerģija ir pazudusi. Bet tā nav. Kad bumba krīt, tajā ir daudz... kā zināms, visam ir savs siltums. Bet kā ir ar zemi? Tās molekulas vibrēja ar noteiktu kinētisko enerģiju un potenciālo enerģiju. Un tad mūsu bumbas molekulas sāka nedaudz vibrēt. Bet viņu kustība galvenokārt bija uz leju, vai ne? Lielākās daļas bumbiņas molekulu kustība bija vērsta uz leju. Kad tā atsitās pret zemi, tad... ļaujiet man uzzīmēt bumbiņas virsmu, kas saskaras ar zemi. Bumbiņas molekulas tās priekšējā daļā izskatīsies šādi. Un tādu ir diezgan daudz. Šis ciets. Droši vien ar režģa struktūru. Un tad bumba atsitās pret zemi. Kad tas notiek... Zeme ir vēl viens ciets ķermenis... Lieliski, šeit mums ir mikrostāvoklis. Kas notiks? Šīs molekulas mijiedarbosies ar tām un nodos to lejupvērsto kinētisko enerģiju... Tās nodos to šīm zemes daļiņām. Un saskarieties ar viņiem. Un kad, teiksim, šī daļiņa saduras ar šo, tā var virzīties šajā virzienā. Un šī daļiņa sāks šādi svārstīties uz priekšu un atpakaļ. Šī daļiņa šeit var atlēkt no šīs un pārvietoties šajā virzienā, un pēc tam saduras ar šo un pārvietoties šeit. Un tad, jo šī daļiņa šeit trāpa šeit, šī trāpa šeit, un tāpēc, ka šī trāpa šeit, šī trāpa šeit. No bumbiņas viedokļa ir nosacīti virzīta kustība, bet, saskaroties ar zemes molekulām, tā sāk ģenerēt kinētisko enerģiju un radīt kustību visdažādākajos virzienos. Šī molekula šeit pārvietos šo šeit, un šī pārvietosies šeit. Tagad kustība netiks virzīta, ja mums būs tik daudz molekulu... iezīmēšu tās ar citu krāsu... nu, ja mums ir daudz molekulu un tās visas kustas tieši vienā virzienā, tad mikrostāvoklis izskatīsies tā makrostāvoklis. Viss ķermenis būs šajā virzienā. Ja mums ir daudz v un tie visi kustas dažādos virzienos, tad mana bumba kopumā paliks savā vietā. Mums var būt tāds pats kinētiskās enerģijas daudzums molekulārais līmenis , bet tie visi sadursies savā starpā. Un šajā gadījumā mēs varam aprakstīt kinētisko enerģiju kā iekšējo enerģiju vai kā temperatūru, kas ir vidējā kinētiskā enerģija. Tādējādi, kad mēs sakām, ka pasaule kļūst haotiskāka, mēs domājam par molekulu ātrumu vai enerģiju secību. Pirms to pasūtīšanas molekulas var nedaudz vibrēt, bet pārsvarā tās nokritīs. Bet, atsitoties pret zemi, tie visi uzreiz sāk nedaudz vairāk vibrēt dažādos virzienos. Un arī zeme sāk vibrēt dažādos virzienos. Tātad mikrovalstu līmenī lietas kļūst daudz nekārtīgākas. Ir vēl viens diezgan interesants jautājums. Ir vēl viena iespēja… Jūs varētu domāt: “Lūk, šī bumba ir nokritusi un atsitusies pret zemi. Kāpēc viņš vienkārši nevarētu būt tā, ka pašas zemes molekulas maina savu kārtību, lai tās pareizi trāpītu pret bumbas molekulām? Pastāv zināma varbūtība, ka nejaušas kustības dēļ kādā brīdī visas zemes molekulas vienkārši atsitīsies pret bumbiņas molekulām tā, ka tā atkal atlec uz augšu. Jā, tā ir. Vienmēr pastāv bezgalīgi maza iespēja, ka tas notiks. Pastāv iespēja, ka bumba vienkārši gulēs uz zemes... kas ir diezgan interesanti... Jums, iespējams, būs jāgaida simts miljoni gadu, lai tas notiktu, ja tas kādreiz notiks... un bumba var vienkārši atlec uz augšu. Pastāv ļoti maza iespēja, ka šīs molekulas nejauši vibrēs tā, lai uz sekundi tiktu pasūtītas, un tad bumbiņa atleks. Bet tā varbūtība ir praktiski 0. Tātad, kad cilvēki runā par kārtību un nekārtību, nekārtība palielinās, jo tagad šīs molekulas pārvietosies dažādos virzienos un iegūs vairāk potenciālo stāvokļu. Un mēs to redzējām. Kā zināms, noteiktā līmenī entropija izskatās pēc kaut kā maģiska, bet citos līmeņos tā šķiet diezgan loģiska. Vienā video... Es domāju, ka tas bija pēdējais video... Man bija daudz molekulu, un tad šeit bija šī papildu vieta, pēc kuras es noņēmu sienu. Un mēs redzējām, ka šīs molekulas... skaidrs, ka bija dažas molekulas, kas iepriekš tika atgrūstas no šīs sienas, jo ar to bija saistīts zināms spiediens. Tad, tiklīdz mēs noņemsim šo sienu, molekulas, kas tai būtu skārušas, turpinās kustēties. Viņus nekas nevar apturēt. Kustība tiks veikta šajā virzienā. Tie var sadurties ar citām molekulām un ar šīm sienām. Bet, kas attiecas uz šo virzienu, tad sadursmes iespējamība, īpaši šīm molekulām, pamatā ir 0. Līdz ar to notiks tvertnes izplešanās un piepildīšana. Tātad viss ir diezgan loģiski. Bet vissvarīgākais ir tas, ka otrais termodinamikas likums, kā mēs redzējām šajā video, saka to pašu. Tas ir, ka molekulas pārvietosies un piepildīs trauku. Un maz ticams, ka viņi visi atgriezīsies sakārtotā stāvoklī. Protams, pastāv zināma iespēja, ka, nejauši pārvietojoties, viņi atgriezīsies šajā pozīcijā. Bet šī varbūtība ir ļoti, ļoti maza. Turklāt, un es vēlos to uzsvērt, S ir makro stāvoklis. Mēs nekad nerunājam par entropiju attiecībā uz vienu molekulu. Ja mēs zinām, ko dara atsevišķa molekula, mums nav jāuztraucas par entropiju. Mums ir jādomā par sistēmu kopumā. Tātad, ja mēs skatāmies uz visu sistēmu un ignorēsim molekulas, mēs neuzzināsim, kas īsti notika. Šajā gadījumā mēs varam pievērst uzmanību tikai molekulu statistiskajām īpašībām. Cik mums ir molekulu, kāda ir to temperatūra, makrodinamika, spiediens... un ziniet kas? Tvertnei, kurā ievietotas šīs molekulas, ir vairāk stāvokļu nekā mazākam traukam ar sienu. Pat ja pēkšņi visas molekulas nejauši šeit pulcēsies, mēs neuzzināsim, ka tas notika, jo mēs neskatāmies uz mikrostāvokļiem. Un tas ir ļoti svarīgi paturēt prātā. Kad kāds saka, ka netīrai telpai ir lielāka entropija nekā tīrai, mums jāsaprot, ka runa ir par mikrostāvokļiem. Un entropija, pirmkārt, ir jēdziens, kas saistīts ar makrostāvokli. Jūs varat vienkārši teikt, ka telpai ir noteikta entropija. Tas ir, entropijas jēdziens ir saistīts ar telpu kopumā, bet tas noderēs tikai tad, ja jūs precīzi nezināt, kas tajā notiek. Jums ir tikai visvairāk vispārēja ideja par to, ar ko telpa ir piepildīta, kāda temperatūra tajā ir, kāds spiediens. Tās visas ir izplatītas makro īpašības. Entropija mums pateiks, cik daudz makrostāvokļu var būt šai makrosistēmai. Vai arī cik daudz informācijas, galu galā, ir informācijas entropijas jēdziens, cik daudz informācijas man jums ir jāsniedz, lai jūs iegūtu precīzu priekšstatu par sistēmas mikrostāvokli attiecīgajā brīdī. Tādi. Es ceru, ka šī diskusija jums ir palīdzējusi un noskaidrojusi dažus nepareizus priekšstatus par entropiju, kā arī palīdzējusi jums iegūt priekšstatu par to, kas tā patiesībā ir. Līdz nākamajam video!
Formālās definīcijas
Informatīvs binārā entropija neatkarīgiem nejaušiem notikumiem x (\displaystyle x) Ar n (\displaystyle n) iespējamie stāvokļi, kas sadalīti ar varbūtībām ( i = 1 , . . . , n (\displaystyle i=1,...,n)), aprēķina pēc formulas
H (x) = − ∑ i = 1 n p i log 2 p i . (\displaystyle H(x)=-\sum _(i=1)^(n)p_(i)\log _(2)p_(i).)Šo vērtību sauc arī par vidējā ziņojumu entropija. Vērtība H i = − log 2 p i (\displaystyle H_(i)=-\log _(2)(p_(i))) sauca privātā entropija tikai raksturojoši i (\displaystyle i)-e valsts. Parasti logaritma bāze entropijas definīcijā var būt jebkas, kas lielāks par 1; tā izvēle nosaka entropijas vienību. Tāpēc bieži vien (piemēram, matemātiskās statistikas uzdevumos) var būt ērtāk izmantot naturālo logaritmu.
Tādējādi sistēmas entropija x (\displaystyle x) ir visu stāvokļa (notikuma) relatīvo rašanās biežumu summa ar pretēju zīmi ar skaitli i (\displaystyle i), reizināts ar saviem binārajiem logaritmiem . Šo definīciju diskrētiem nejaušiem notikumiem var formāli paplašināt līdz nepārtrauktas sadales ko nosaka varbūtību blīvums sadalījums , tomēr iegūtajai funkcijai būs nedaudz atšķirīgas īpašības (sk. diferenciāl entropiju).
Definīcija saskaņā ar Šenonu
Šenona entropijas definīcija ir saistīta ar termodinamiskās entropijas jēdzienu. Bolcmans un Gibss paveica lielisku darbu statistiskā termodinamika, kas veicināja vārda "entropija" pārņemšanu informācijas teorijā. Pastāv saikne starp termodinamisko un informatīvo entropiju. Piemēram, Maksvela dēmons arī kontrastē informācijas termodinamisko entropiju, un jebkura informācijas daudzuma iegūšana ir vienāda ar zaudēto entropiju.
Definīcija, izmantojot savu informāciju
Ir iespējams arī noteikt nejaušā lieluma entropiju, vispirms ieviešot nejaušā lieluma sadalījuma jēdzienus X (\displaystyle X), kam ir ierobežots vērtību skaits:
P X (x i) = p i , p i ≥ 0 , i = 1 , 2 , … , n (\displaystyle P_(X)(x_(i))=p_(i),\quad p_(i)\geqslant 0,\ ;i=1,\;2,\;\ldots ,\;n) ∑ i = 1 n p i = 1 (\displeja stils \summa _(i=1)^(n)p_(i)=1) I (X) = − log P X (X) . (\displaystyle I(X)=-\log P_(X)(X).)Tad entropiju definē šādi:
H (X) = E (I (X)) = − ∑ i = 1 n p (i) log p (i) . (\displaystyle H(X)=E(I(X))=-\sum _(i=1)^(n)p(i)\log p(i).)Informācijas apjoma un entropijas mērvienība ir atkarīga no logaritma bāzes: bits, nat, trit vai Hartley.
Īpašības
Entropija ir lielums, kas definēts datu avota varbūtības modeļa kontekstā. Piemēram, monētas mešanai ir entropija:
Avotam, kas ģenerē virkni, kas sastāv tikai no burtiem "A", ir nulle entropija: − ∑ i = 1 ∞ log 2 1 = 0 (\displaystyle -\sum _(i=1)^(\infty )\log _(2)1=0) un daudzums iespējamie stāvokļi vienāds: 2 0 = 1 (\displaystyle 2^(0)=1) iespējamais stāvoklis(vērtība) ("A") un nav atkarīga no logaritma bāzes.
Tā arī ir informācija, kas arī jāņem vērā. Piemērs uzglabāšanas ierīcēm, kurās tiek izmantoti biti ar entropiju, kas vienāda ar nulli, bet ar informācijas apjoms vienāds ar 1 iespējamais stāvoklis, t.i. nulles nav nulles ir datu biti, kas ierakstīti ROM, kuros katram bitam ir tikai viens iespējamais stāvoklis.
Tā, piemēram, eksperimentāli var noteikt, ka entropija Teksts angļu valodā ir vienāds ar 1,5 bitiem uz rakstzīmi, kas, protams, dažādiem tekstiem atšķiras. Datu avota entropijas pakāpe nozīmē vidējo bitu skaitu uz datu elementu, kas nepieciešams, lai to šifrētu, nezaudējot informāciju, ar optimālu kodējumu.
- Daži datu biti var nenest informāciju. Piemēram, datu struktūrās bieži tiek glabāta lieka informācija vai tām ir identiskas sadaļas neatkarīgi no informācijas datu struktūrā.
- Entropijas apjoms ne vienmēr tiek izteikts kā vesels bitu skaits.
Matemātiskās īpašības
- Nenegatīvisms: H (X) ⩾ 0 (\displaystyle H(X)\geqslant 0).
- Ierobežojums: H (X) = − E (log 2 p i) = ∑ i = 1 n p i log 2 1 p i = ∑ i = 1 n p i f (g i) ⩽ f (∑ i = 1 n p i g i) = log n 2 H(X)=-E(\log _(2)p_(i))=\sum _(i=1)^(n)p_(i)\log _(2)(\frac (1)(p_ (i)))=\summa _(i=1)^(n)p_(i)f(g_(i))\leqslant f\left(\sum _(i=1)^(n)p_(i )g_(i)\right)=\log _(2)n), kas izriet no Jensena nevienādības ieliektajai funkcijai f (g i) = log 2 g i (\displaystyle f(g_(i))=\log _(2)g_(i)) Un g i = 1 p i (\displaystyle g_(i)=(\frac (1)(p_(i)))). ES krītu n (\displaystyle n) elementi no X (\displaystyle X) līdzvērtīgs, H (X) = log 2 n (\displeja stils H(X)=\log _(2) n).
- Ja neatkarīgs, tad H (X ⋅ Y) = H (X) + H (Y) (\displeja stils H(X\cpunkts Y) = H(X)+H(Y)).
- Entropija ir elementu varbūtības sadalījuma uz augšu izliekta funkcija.
- Ja X , Y (\displaystyle X,\;Y) ir vienāds elementu varbūtības sadalījums, tad H (X) = H (Y) (\displeja stils H(X) = H(Y)).
Efektivitāte
Alfabēta varbūtības sadalījums var nebūt vienāds. Ja sākotnējā alfabētā ir n (\displaystyle n) rakstzīmes, tad to var salīdzināt ar “optimizēto alfabētu”, kura varbūtības sadalījums ir vienmērīgs. Sākotnējā un optimizētā alfabēta entropijas attiecība ir efektivitāti avota alfabēts, ko var izteikt procentos. Oriģinālā alfabēta efektivitāte ar n (\displaystyle n) rakstzīmes var arī definēt kā tās n (\displaystyle n)-āra entropija.
Entropija ierobežo maksimālo iespējamo bezzudumu (vai gandrīz bezzudumu) saspiešanu, ko var realizēt, izmantojot teorētiski tipisku kopu vai praksē Hafmena kodēšanu, Lempel-Ziv-Welch kodēšanu vai aritmētisko kodēšanu.
Variācijas un vispārinājumi
b-āra entropija
Vispār b-āra entropija(Kur b vienāds ar 2, 3, ...) avotiem S = (S , P) (\displaystyle (\mathcal (S))=(S,\;P)) ar oriģinālo alfabētu S = ( a 1 , … , a n ) (\displaystyle S=\(a_(1),\;\ldots ,\;a_(n)\)) Un diskrēts sadalījums varbūtības P = ( p 1 , … , p n ) , (\displaystyle P=\(p_(1),\;\ldots ,\;p_(n)\),) Kur p i (\displaystyle p_(i)) ir varbūtība ( p i = p (a i) (\displaystyle p_(i)=p(a_(i)))), nosaka pēc formulas:
H b (S) = − ∑ i = 1 n p i log b p i . (\displaystyle H_(b)((\mathcal (S)))=-\sum _(i=1)^(n)p_(i)\log _(b)p_(i).)Jo īpaši, kad b = 2 (\displaystyle b=2), mēs iegūstam parasto bināro entropiju, ko mēra bitos. Plkst b = 3 (\displaystyle b=3), mēs iegūstam trīskāršu entropiju, ko mēra tritos (vienam tritam ir informācijas avots ar trim līdzvērtīgiem stāvokļiem). Plkst b = e (\displaystyle b=e), iegūstam informāciju, kas mērīta nats.
Nosacītā entropija
Ja alfabēta rakstzīmju secība nav neatkarīga (piemēram, franču valodā burtam “q” gandrīz vienmēr seko “u”, bet pēc vārda “vadītājs” padomju laikrakstos – vārds “ražošana” vai “darbs”. parasti tika ievērots), informācijas apjoms, kas satur šādu simbolu secību (un līdz ar to arī entropija), ir acīmredzami mazāks. Lai ņemtu vērā šādus faktus, tiek izmantota nosacītā entropija.
Nosacītā entropija Pirmā secība (līdzīgi pirmās kārtas Markova modelim) tiek saukta par alfabēta entropiju, kur ir zināmas viena burta parādīšanās varbūtības pēc otra (tas ir, divu burtu kombināciju varbūtības):
H 1 (S) = − ∑ i p i ∑ j p i (j) log 2 p i (j) , (\displaystyle H_(1)((\mathcal (S)))=-\sum _(i)p_(i) \summa _(j)p_(i)(j)\log _(2)p_(i)(j),)Kur i (\displaystyle i) ir stāvoklis, kas ir atkarīgs no iepriekšējās rakstzīmes, un p i (j) (\displaystyle p_(i)(j)) ir varbūtība j (\displaystyle j) ar nosacījumu, ka i (\displaystyle i) bija iepriekšējais varonis.
Piemēram, krievu valodai bez burta "ё" H0 = 5, H1 = 4,358, H2 = 3, 52, H3 = 3, 01 (\displeja stils H_(0)=5,\;H_(1)=4(,)358,\;H_( 2)=3(,)52,\;H_(3)=3(,)01) .
Daļējā un vispārējā nosacītā entropija pilnībā apraksta informācijas zudumus datu pārraides laikā trokšņainā kanālā. Šim nolūkam ts kanālu matricas. Lai aprakstītu zaudējumus avota pusē (tas ir, nosūtītais signāls ir zināms), tiek ņemta vērā nosacītā varbūtība, ka saņēmējs saņems simbolu, ja simbols ir nosūtīts. a i (\displaystyle a_(i)). Šajā gadījumā kanālu matricai ir šāda forma:
| b 1 (\displaystyle b_(1)) | b 2 (\displaystyle b_(2)) | … | b j (\displaystyle b_(j)) | … | b m (\displaystyle b_(m)) | |
|---|---|---|---|---|---|---|
| a 1 (\displaystyle a_(1)) | p (b 1 ∣ a 1) (\displaystyle p(b_(1)\mid a_(1))) | p (b 2 ∣ a 1) (\displaystyle p(b_(2)\mid a_(1))) | … | p (b j ∣ a 1) (\displaystyle p(b_(j)\mid a_(1))) | … | p (b m ∣ a 1) (\displaystyle p(b_(m)\mid a_(1))) |
| a 2 (\displaystyle a_(2)) | p (b 1 ∣ a 2) (\displaystyle p(b_(1)\mid a_(2))) | p (b 2 ∣ a 2) (\displaystyle p(b_(2)\mid a_(2))) | … | p (b j ∣ a 2) (\displaystyle p(b_(j)\mid a_(2))) | … | p (b m ∣ a 2) (\displaystyle p(b_(m)\mid a_(2))) |
| … | … | … | … | … | … | … |
| a i (\displaystyle a_(i)) | p (b 1 ∣ a i) (\displaystyle p(b_(1)\mid a_(i))) | p (b 2 ∣ a i) (\displaystyle p(b_(2)\mid a_(i))) | … | p (b j ∣ a i) (\displaystyle p(b_(j)\mid a_(i))) | … | p (b m ∣ a i) (\displaystyle p(b_(m)\mid a_(i))) |
| … | … | … | … | … | … | … |
| a m (\displaystyle a_(m)) | p (b 1 ∣ a m) (\displeja stils p(b_(1)\mid a_(m))) | p (b 2 ∣ a m) (\displaystyle p(b_(2)\mid a_(m))) | … | p (b j ∣ a m) (\displaystyle p(b_(j)\mid a_(m))) | … | p (b m ∣ a m) (\displaystyle p(b_(m)\mid a_(m))) |
Acīmredzot, varbūtības, kas atrodas pa diagonāli, raksturo pareizas uztveršanas varbūtību, un jebkuras rindas visu elementu summa dod 1. Uz pārraidīto signālu attiecināmie zaudējumi a i (\displaystyle a_(i)), ir aprakstīti daļējas nosacītas entropijas izteiksmē:
H (B ∣ a i) = − ∑ j = 1 m p (b j ∣ a i) log 2 p (b j ∣ a i) . (\displaystyle H(B\mid a_(i))=-\sum _(j=1)^(m)p(b_(j)\mid a_(i))\log _(2)p(b_( j)\mid a_(i)).)Lai aprēķinātu visu signālu pārraides zudumus, tiek izmantota kopējā nosacītā entropija:
H (B ∣ A) = ∑ i p (a i) H (B ∣ a i) . (\displaystyle H(B\mid A)=\sum _(i)p(a_(i))H(B\mid a_(i)).)H (B ∣ A) (\displaystyle H(B\mid A)) nozīmē entropiju avota pusē, līdzīgi aplūkojot H (A ∣ B) (\displaystyle H(A\mid B))- entropija no uztvērēja puses: vietā p (b j ∣ a i) (\displaystyle p(b_(j)\mid a_(i))) ir norādīts visur p (a i ∣ b j) (\displaystyle p(a_(i)\mid b_(j)))(summējot rindas elementus, var iegūt p (a i) (\displaystyle p(a_(i))), un diagonāles elementi nozīmē varbūtību, ka tika nosūtīta tieši tā rakstzīme, kas tika nosūtīta, tas ir, pareizas pārraides varbūtība).
Savstarpējā entropija
Savstarpēja entropija vai savienības entropija ir paredzēts, lai aprēķinātu savstarpēji savienotu sistēmu entropiju (statistiski atkarīgu ziņojumu kopīgās parādīšanās entropiju) un ir apzīmēts H (A B) (\displaystyle H(AB)), Kur A (\displaystyle A) raksturo raidītāju, un B (\displeja stils B)- uztvērējs.
