Comment l'entropie est-elle mesurée dans la théorie de l'information. Entropie des informations
1. Introduction.
2. Qu'est-ce que Claude Shannon a mesuré?
3. Limites de la variabilité évolutive des systèmes d'information.
4. Adaptation limitée des espèces biologiques.
5. Stades de développement de la théorie de l'entropie.
6. Méthodes de calcul de la quantité d'informations structurelles et de l'entropie informationnelle des textes.
7. Rapports information-entropie des processus d'adaptation et de développement.
8. Informations et énergie.
9. Conclusion.
10. Bibliographie.
INTRODUCTION
Dans la seconde moitié du XXe siècle, deux événements ont eu lieu qui, à notre avis, déterminent en grande partie les voies ultérieures de la compréhension scientifique du monde. Nous parlons de la création de la théorie de l'information et du début de la recherche sur les mécanismes des processus antientropiques, pour l'étude desquels la synergétique utilise toutes les dernières réalisations de la thermodynamique hors d'équilibre, de la théorie de l'information et de la théorie générale des systèmes.
La différence fondamentale entre cette étape du développement de la science et les étapes précédentes est qu'avant la création des domaines de recherche répertoriés, la science ne pouvait expliquer que les mécanismes des processus conduisant à une augmentation du chaos et à une augmentation de l'entropie. Quant aux concepts biologiques et évolutifs développés depuis l'époque de Lamarck et Darwin, ils n'ont toujours pas de justifications scientifiques strictes et contredisent la deuxième loi de la thermodynamique, selon laquelle l'augmentation de l'entropie accompagnant tous les processus se produisant dans le monde est une condition indispensable. loi physique.
Le mérite de la thermodynamique hors équilibre réside dans le fait qu'elle a pu révéler des mécanismes de processus anti-entropiques qui ne contredisent pas la deuxième loi de la thermodynamique, puisqu'une diminution locale de l'entropie au sein d'un système auto-organisateur est toujours payante par une forte augmentation de l'entropie en valeur absolue environnement externe.
L'étape la plus importante vers la compréhension de la nature et des mécanismes des processus antientropiques est l'introduction d'une mesure quantitative de l'information. Initialement, cette mesure ne visait qu'à résoudre des problèmes purement tâches appliquées technologie de communication. Cependant, des recherches ultérieures dans le domaine de la physique et de la biologie ont permis d'identifier les mesures universelles proposées par K. Shannon, qui permettent d'établir la relation entre la quantité d'informations et l'entropie physique et, finalement, de déterminer l'essence d'une nouvelle interprétation scientifique. du concept d'"information" comme mesure de l'ordre structurel des systèmes les plus divers par nature .
En utilisant une métaphore, nous pouvons dire qu'avant l'introduction d'une seule mesure quantitative informationnelle dans la science, le monde présenté dans les concepts scientifiques naturels, pour ainsi dire, « reposait sur deux baleines » : l'énergie et la matière. La « troisième baleine » est désormais l'information, impliquée dans tous les processus qui se déroulent dans le monde, depuis les microparticules, les atomes et les molécules jusqu'au fonctionnement des systèmes biologiques et sociaux les plus complexes.
Naturellement, la question se pose : les dernières données de la science moderne confirment-elles ou infirment-elles le paradigme évolutif de l'origine de la vie et des espèces biologiques ?
Pour répondre à cette question, il faut d'abord comprendre quelles propriétés et quels aspects du concept multiforme d'« information » reflètent la mesure quantitative que K. Shannon a introduite dans la science.
L'utilisation de la mesure de la quantité d'information permet d'analyser les mécanismes généraux des interactions information-entropie qui sous-tendent tous les processus spontanés d'accumulation d'information dans le monde environnant, qui conduisent à l'auto-organisation de la structure du système.
Parallèlement, l'analyse de l'entropie de l'information permet également d'identifier des lacunes dans les concepts évolutifs, qui ne sont que des tentatives insoutenables de réduire le problème de l'origine de la vie et des espèces biologiques à de simples mécanismes d'auto-organisation sans tenir compte le fait que des systèmes d'un tel niveau de complexité ne peuvent être créés que sur la base de ces informations, initialement prévues dans le plan précédant leur création.
Détenu science moderne les études des propriétés des systèmes d'information donnent tout lieu d'affirmer que tous les systèmes ne peuvent être formés que selon les règles issues des niveaux hiérarchiques supérieurs, et ces règles elles-mêmes existaient avant les systèmes eux-mêmes sous la forme du plan originel (idée de création).
QU'EST-CE QUE CLAUD SHANNON A MESURE ?
La théorie de l'information est basée sur la méthode proposée par K. Shannon pour calculer la quantité d'informations nouvelles (imprévisibles) et redondantes (prévisibles) contenues dans les messages transmis par les canaux de communication techniques.
La méthode proposée par Shannon pour mesurer la quantité d'informations s'est avérée si universelle que son application ne se limite plus aux limites étroites des applications purement techniques.
Contrairement à l'opinion de K. Shannon lui-même, qui a mis en garde les scientifiques contre la diffusion précipitée de la méthode qu'il proposait au-delà des limites des problèmes appliqués de la technologie de la communication, cette méthode a commencé à trouver une utilisation de plus en plus répandue dans les études physiques, biologiques et systèmes sociaux.
La clé d'une nouvelle compréhension de l'essence du phénomène de l'information et du mécanisme des processus d'information était la relation entre l'information et l'entropie physique établie par L. Brillouin. Cette relation était à l'origine posée au fondement même de la théorie de l'information, puisque Shannon a proposé d'utiliser une fonction d'entropie probable empruntée à la thermodynamique statistique pour calculer la quantité d'informations.
De nombreux scientifiques (à commencer par K. Shannon lui-même) étaient enclins à considérer cet emprunt comme un dispositif purement formel. L. Brillouin a montré qu'entre la quantité d'information calculée selon Shannon et l'entropie physique, il n'y a pas de relation formelle, mais significative.
En physique statistique, en utilisant la fonction probabiliste de l'entropie, on étudie les processus qui conduisent à l'équilibre thermodynamique, dans lequel tous les états des molécules (leurs énergies, vitesses) s'approchent de l'équiprobabilité, et l'entropie tend vers une valeur maximale.
Grâce à la théorie de l'information, il est devenu évident qu'à l'aide de la même fonction, il est possible d'étudier des systèmes éloignés de l'état d'entropie maximale, comme, par exemple, un texte écrit.
Une autre conclusion importante est que
en utilisant la fonction probabiliste d'entropie, on peut analyser toutes les étapes de la transition du système depuis l'état de chaos complet, ce qui correspond à valeurs égales probabilités et la valeur maximale de l'entropie, à l'état d'ordre ultime (détermination rigide), qui correspond au seul état possible de ses éléments.
Cette conclusion s'avère également vraie pour des systèmes naturels aussi dissemblables que les gaz, les cristaux, les textes écrits, les organismes ou communautés biologiques, etc.
En même temps, si pour un gaz ou un cristal, lors du calcul de l'entropie, seuls le micro-état (c'est-à-dire l'état des atomes et des molécules) et le macro-état de ces systèmes (c'est-à-dire le gaz ou le cristal dans son ensemble) sont comparés, alors pour des systèmes de nature différente (biologique, intellectuelle, sociale) l'entropie peut être calculée à tel ou tel niveau choisi arbitrairement. Dans ce cas, la valeur calculée de l'entropie du système considéré et la quantité d'informations caractérisant le degré d'ordre de ce système et égale à la différence entre la valeur maximale et la valeur réelle de l'entropie dépendront de la distribution de probabilité des états des éléments du niveau sous-jacent, c'est-à-dire les éléments qui forment ensemble ces systèmes.
Autrement dit,
la quantité d'informations stockées dans la structure du système est proportionnelle au degré d'écart du système par rapport à l'état d'équilibre, en raison de l'ordre conservé dans la structure du système.
Sans s'en douter, Shannon a armé la science d'une mesure universelle, apte en principe (à condition que les valeurs de toutes les probabilités soient révélées) pour évaluer le degré d'ordre de tous les systèmes existant dans le monde.
Après avoir défini la mesure d'information introduite par Shannon comme une mesure de l'ordre du mouvement, on peut établir la relation entre l'information et l'énergie, en considérant l'énergie est une mesure de l'intensité du trafic. Dans le même temps, la quantité d'informations stockées dans la structure des systèmes est proportionnelle à l'énergie totale des connexions internes de ces systèmes.
Parallèlement à la découverte propriétés communes l'information en tant que phénomène, il existe également des différences fondamentales liées aux différents niveaux de complexité des systèmes d'information.
Ainsi, par exemple, tous les objets physiques, contrairement aux objets biologiques, n'ont pas d'organes spéciaux de mémoire, de recodage de signaux provenant du monde extérieur, de canaux de communication d'informations. Les informations qui y sont stockées sont, pour ainsi dire, "étalées" dans toute leur structure. Dans le même temps, si les cristaux n'étaient pas capables de stocker des informations dans les liens internes qui déterminent leur ordre, il ne serait pas possible de créer une mémoire artificielle et des dispositifs techniques destinés au traitement de l'information basés sur des structures cristallines.
Dans le même temps, il faut tenir compte du fait que la création de tels dispositifs n'est devenue possible que grâce à l'esprit d'une personne capable d'utiliser les propriétés d'information élémentaires des cristaux pour construire des systèmes d'information complexes.
Protozoaires système biologique surpasse dans sa complexité le plus avancé des systèmes d'information créés par l'homme. Déjà au niveau des organismes unicellulaires les plus simples, le mécanisme génétique informationnel le plus complexe nécessaire à leur reproduction est activé. Dans les organismes multicellulaires, en plus de Système d'Information l'hérédité, il existe des organes spécialisés pour stocker l'information et la traiter (par exemple, des systèmes qui recodent les signaux visuels et auditifs provenant du monde extérieur avant de les envoyer au cerveau, des systèmes de traitement de ces signaux dans le cerveau). Le réseau le plus complexe de communications d'information ( système nerveux) imprègne et transforme tout l'organisme multicellulaire en un tout.
Information et entropie
En discutant du concept d'information, il est impossible de ne pas aborder un autre concept connexe - l'entropie. Pour la première fois, les concepts d'entropie et d'information ont été reliés par K. Shannon.
| Claude Elwood Shannon ( Claude Elwood Shannon), 1916-2001 - un parent éloigné de Thomas Edison, ingénieur et mathématicien américain, a été employé des laboratoires Bell de 1941 à 1972. Dans son ouvrage "Mathematical Theory of Communication" (http://cm.bell-labs. com/cm/ms /what/shannonday/), publié en 1948, a été le premier à déterminer la mesure du contenu informatif de tout message et le concept d'un quantum d'information - un peu. Ces idées ont formé la base de la théorie de la communication numérique moderne. L'autre ouvrage de Shannon "Communication Theory of Secrecy Systems", publié en 1949, a contribué à la transformation de la cryptographie en discipline scientifique. Il est le fondateur théorie de l'information, qui a trouvé une application dans les systèmes de communication modernes de haute technologie. Shannon a apporté une énorme contribution à la théorie des schémas probabilistes, à la théorie des automates et à la théorie des systèmes de contrôle - sciences unies par le concept de "cybernétique". |
Définition physique de l'entropie
Pour la première fois le concept d'entropie a été introduit par Clausius en 1865 en fonction de l'état thermodynamique du système
où Q est la chaleur, T est la température.
La signification physique de l'entropie se manifeste comme faisant partie de l'énergie interne du système, qui ne peut pas être convertie en travail. Clausius a obtenu empiriquement cette fonction en expérimentant avec des gaz.
L. Boltzmann (1872) par méthodes physique statistique dérivé d'une expression théorique pour l'entropie
où K est une constante ; W est la probabilité thermodynamique (le nombre de permutations de molécules de gaz parfait qui n'affecte pas le macro-état du système).
L'entropie de Boltzmann a été dérivée pour un gaz parfait et est traitée comme une mesure de désordre, une mesure du chaos d'un système. Pour un gaz parfait, les entropies de Boltzmann et de Clausius sont identiques. La formule de Boltzmann est devenue si célèbre qu'elle est inscrite en épitaphe sur sa tombe. Il y a une opinion que l'entropie et le chaos sont une seule et même chose. Bien que l'entropie ne décrive que gaz parfaits, il a commencé à être utilisé sans critique pour décrire des objets plus complexes.
Boltzmann lui-même en 1886. essayé d'utiliser l'entropie pour expliquer ce qu'est la vie. Selon Boltzmann, la vie est un phénomène capable de réduire son entropie. Selon Boltzmann et ses partisans, tous les processus de l'Univers évoluent dans le sens du chaos. L'univers se dirige vers la mort par la chaleur. Cette sombre prévision a longtemps dominé la science. Cependant, l'approfondissement des connaissances sur le monde environnant a peu à peu ébranlé ce dogme.
Les classiques n'associaient pas l'entropie à l'information.
L'entropie comme mesure de l'information
Notez que le concept d '"information" est souvent interprété comme "information" et que le transfert d'informations s'effectue à l'aide de la communication. K. Shannon considérait l'entropie comme une mesure informations utiles dans les processus de transmission du signal sur les fils.
Pour calculer l'entropie, Shannon a proposé une équation qui ressemble à l'expression classique de l'entropie trouvée par Boltzmann. On considère un événement aléatoire indépendant X avec N états possibles et p i -probabilité du i-ième état. Alors l'entropie de l'événement X
Cette quantité est aussi appelée entropie moyenne. Par exemple, on peut parler de la transmission d'un message en langage naturel. Lors de la transmission de lettres différentes, nous transmettons une quantité différente d'informations. La quantité d'informations par lettre est liée à la fréquence d'utilisation de cette lettre dans tous les messages formés dans la langue. Plus la lettre que nous transmettons est rare, plus elle contient d'informations.
Valeur
H je = P je log 2 1/P je = -P je log 2 P je ,
est appelée entropie privée ne caractérisant que le ième état.
Expliquons avec des exemples. Lorsque vous lancez une pièce de monnaie, pile ou face tombe, il s'agit de certaines informations sur les résultats du tirage au sort.
Pour une pièce de monnaie, le nombre de possibilités équiprobables est N = 2. La probabilité d'obtenir pile (pile) est 1/2.
En lançant un dé, nous obtenons des informations sur la perte d'un certain nombre de points (par exemple, trois). Quand recevons-nous plus d'informations ?
Pour le dé, le nombre de possibilités équiprobables est N = 6. La probabilité d'obtenir trois points du dé est de 1/6. L'entropie est de 2,58. La mise en œuvre d'un événement moins probable fournit plus d'informations. Plus l'incertitude est grande avant de recevoir un message sur un événement (lancer une pièce de monnaie, un dé), plus d'informations arrivent lorsque le message est reçu.
Cette approche de l'expression quantitative de l'information est loin d'être universelle, puisque les unités adoptées ne tiennent pas compte de propriétés aussi importantes de l'information que sa valeur et sa signification. L'abstraction des propriétés spécifiques de l'information (sa signification, sa valeur) sur des objets réels, comme il s'est avéré plus tard, a permis d'identifier modèles généraux information. Les unités (bits) proposées par Shannon pour mesurer la quantité d'informations conviennent pour évaluer n'importe quel message (la naissance d'un fils, les résultats d'un match de sport, etc.). Par la suite, des tentatives ont été faites pour trouver de telles mesures de la quantité d'informations qui tiendraient compte de sa valeur et de sa signification. Cependant, l'universalité a été immédiatement perdue : pour des processus différents, les critères de valeur et de sens sont différents. De plus, les définitions du sens et de la valeur de l'information sont subjectives, alors que la mesure de l'information proposée par Shannon est objective. Par exemple, l'odeur est porteuse d'une énorme quantité d'informations pour l'animal, mais est insaisissable pour l'homme. L'oreille humaine ne perçoit pas les signaux ultrasonores, mais ils véhiculent beaucoup d'informations pour un dauphin, etc. Par conséquent, la mesure de l'information proposée par Shannon est adaptée à l'étude de tous les types de processus d'information, quels que soient les "goûts" de l'information. consommateur.
Informations de mesure
Du cours de physique, vous savez qu'avant de mesurer la valeur de n'importe quel quantité physique, entrez l'unité de mesure. L'information a également une telle unité - un peu, mais sa signification est différente pour différentes approches de la définition du concept d '"information".
Il existe plusieurs approches différentes au problème de la mesure de l'information.
« L'information est une forme de vie », a écrit le poète et essayiste américain John Perry Barlow. En effet, nous rencontrons constamment le mot "information" - elle est reçue, transmise et stockée. Découvrez les prévisions météo ou le résultat d'un match de football, le contenu d'un film ou d'un livre, parlez au téléphone - il est toujours clair de quel type d'informations nous traitons. Mais quelle est l'information elle-même, et surtout - comment elle peut être mesurée, personne ne pense généralement. Pendant ce temps, l'information et les moyens de sa transmission sont une chose importante qui détermine largement notre vie, dont une partie intégrante est devenue informatique. Le rédacteur scientifique de Laba.Media, Vladimir Gubailovsky, explique ce qu'est l'information, comment la mesurer et pourquoi le plus difficile est de transmettre l'information sans distorsion.
L'espace des événements aléatoires
En 1946, le statisticien américain John Tukey proposa le nom BIT (BIT, BInary digiT - "binary number" - "Hi-tech") - l'un des principaux concepts du 20e siècle. Tukey a choisi un bit pour désigner un seul chiffre binaire capable de prendre la valeur 0 ou 1. Claude Shannon, dans son discours d'ouverture "The Mathematical Theory of Communication", a proposé de mesurer la quantité d'informations en bits. Mais ce n'est pas le seul concept introduit et exploré par Shannon dans son article.
Imaginez un espace d'événements aléatoires consistant à lancer une seule fausse pièce avec des têtes des deux côtés. Quand l'aigle tombe-t-il ? Il est clair que toujours. Nous le savons d'avance, car c'est ainsi que notre espace est aménagé. Obtenir des têtes est un événement certain, c'est-à-dire que sa probabilité est de 1. Quelle quantité d'informations rapporterons-nous si nous parlons des têtes tombées ? Non. Nous considérerons la quantité d'informations dans un tel message comme étant 0.
Maintenant, lançons la bonne pièce : elle a pile d'un côté et pile de l'autre, comme il se doit. Obtenir pile ou face sera deux événements différents qui composent notre espace d'événements aléatoires. Si nous rapportons le résultat d'un lancer, alors ce sera en effet une nouvelle information. Sur pile, nous rapporterons 0 et sur pile, nous rapporterons 1. Afin de rapporter cette information, nous n'avons besoin que de 1 bit.
Qu'est ce qui a changé? L'incertitude est apparue dans notre espace événementiel. Nous avons quelque chose à dire à ce sujet à quelqu'un qui ne lance pas lui-même une pièce et ne voit pas le résultat du lancer. Mais pour bien comprendre notre message, il doit savoir exactement ce que nous faisons, ce que signifient 0 et 1. Nos espaces événementiels doivent correspondre, et le processus de décodage doit récupérer sans ambiguïté le résultat du lancer. Si l'espace événementiel de l'émission et de la réception ne correspond pas ou s'il n'y a pas de possibilité de décodage sans ambiguïté du message, l'information ne restera que du bruit dans le canal de communication.
Si deux pièces sont lancées indépendamment et simultanément, il y aura quatre résultats également probables : pile-face, pile-face, pile-face et pile-face. Pour transmettre des informations, nous avons déjà besoin de 2 bits, et nos messages seront les suivants : 00, 01, 10 et 11. L'information est devenue double. Cela s'est produit parce que l'incertitude a augmenté. Si nous essayons de deviner le résultat d'un tel double lancer, nous sommes deux fois plus susceptibles de faire une erreur.
Plus l'incertitude de l'espace d'événements est grande, plus le message sur son état contient d'informations.
Compliquons un peu notre espace événementiel. Jusqu'à présent, tous les événements qui se sont produits ont été également probables. Mais dans les espaces réels, tous les événements n'ont pas la même probabilité. Disons que la probabilité que le corbeau que nous voyons soit noir est proche de 1. La probabilité que le premier passant que nous rencontrons dans la rue soit un homme est d'environ 0,5. Mais rencontrer un crocodile dans les rues de Moscou est presque incroyable. Intuitivement, on comprend qu'un message sur une rencontre avec un crocodile a une valeur informationnelle beaucoup plus importante que sur un corbeau noir. Plus la probabilité d'un événement est faible, plus le message contient d'informations sur un tel événement.
Que l'espace des événements ne soit pas si exotique. Nous nous tenons juste à la fenêtre et regardons les voitures qui passent. Des voitures de quatre couleurs passent, qu'il faut signaler. Pour cela, on encode les couleurs : noir - 00, blanc - 01, rouge - 10, bleu - 11. Pour signaler quelle voiture est passée, il suffit de transmettre 2 bits d'information.
Mais en regardant les voitures assez longtemps, nous remarquons que la couleur des voitures est inégalement répartie: noir - 50% (toutes les secondes), blanc - 25% (tous les quarts), rouge et bleu - 12,5% chacun ( tous les huit). Ensuite, vous pouvez optimiser les informations transmises.
La plupart des voitures sont noires, appelons donc noir - 0 - le code le plus court, et laissons le code de tous les autres commencer à 1. De la moitié restante, blanc - 10, et les couleurs restantes commencent à 11. Enfin, disons appelez le rouge - 110 et le bleu - 111.
Maintenant, en transmettant des informations sur la couleur des voitures, nous pouvons l'encoder plus densément.
Entropie selon Shannon
Laissez notre espace événementiel se composer de n événements différents. Lorsque vous lancez une pièce à deux têtes, il y a exactement un événement de ce type, lorsque vous lancez une pièce correcte - 2, lorsque vous lancez deux pièces ou regardez des voitures - 4. Chaque événement correspond à la probabilité de son apparition. Lorsqu'une pièce est lancée avec deux faces, il n'y a qu'un seul événement (faces) et sa probabilité est p1 = 1. Lorsqu'une pièce correcte est lancée, il y a deux événements, ils sont également probables et la probabilité de chacun est de 0,5 : p1 = 0,5, p2 = 0,5. Lorsque vous lancez deux pièces correctes, il y a quatre événements, tous sont également probables et la probabilité de chacun est de 0,25 : p1 = 0,25, p2 = 0,25, p3 = 0,25, p4 = 0,25. Lors de l'observation des voitures, il y a quatre événements, et ils ont des probabilités différentes : noir - 0,5, blanc - 0,25, rouge - 0,125, bleu - 0,125 : p1 = 0,5, p2 = 0,25, p3 = 0,125, p4 = 0,125.
Ce n'est pas une coïncidence. Shannon a choisi l'entropie (une mesure de l'incertitude dans l'espace des événements) de manière à ce que trois conditions soient remplies :
- 1L'entropie d'un certain événement avec une probabilité de 1 est 0.
- L'entropie de deux événements indépendants est égale à la somme des entropies de ces événements.
- L'entropie est maximale si tous les événements sont également probables.
Toutes ces exigences sont assez cohérentes avec nos idées sur l'incertitude de l'espace événementiel. S'il n'y a qu'un seul événement (le premier exemple), il n'y a pas d'incertitude. Si les événements sont indépendants - l'incertitude de la somme est égale à la somme des incertitudes - ils s'additionnent (exemple avec lancer deux pièces). Et, enfin, si tous les événements sont également probables, alors le degré d'incertitude du système est maximum. Comme dans le cas du lancer de deux pièces, les quatre événements sont également probables et l'entropie est de 2, ce qui est plus grand que dans le cas des voitures, lorsqu'il y a aussi quatre événements, mais ils ont des probabilités différentes - dans ce cas, l'entropie est de 1,75.
La valeur de H joue un rôle central dans la théorie de l'information en tant que mesure de la quantité d'informations, du choix et de l'incertitude.
Claude Shanon
Claude Elwood Shannon- Ingénieur, cryptanalyste et mathématicien américain. Considéré comme le "père de l'ère de l'information". Fondateur de la théorie de l'information, qui a trouvé une application dans les systèmes de communication modernes de haute technologie. Il a fourni des concepts fondamentaux, des idées et leurs formulations mathématiques, qui constituent actuellement la base des technologies de communication modernes.
En 1948, il proposa d'utiliser le mot "bit" pour désigner la plus petite unité d'information. Il a également démontré que l'entropie qu'il a introduite équivaut à une mesure de l'incertitude de l'information contenue dans le message transmis. Les articles de Shannon "Théorie mathématique de la communication" et "La théorie de la communication dans les systèmes secrets" sont considérés comme fondamentaux pour la théorie de l'information et la cryptographie.
Pendant la Seconde Guerre mondiale, Shannon a développé des systèmes cryptographiques aux laboratoires Bell, qui l'ont ensuite aidé à découvrir des méthodes de codage de correction d'erreurs.
Shannon a apporté des contributions clés à la théorie des schémas probabilistes, à la théorie des jeux, à la théorie des automates et à la théorie des systèmes de contrôle - domaines scientifiques inclus dans le concept de «cybernétique».
Codage
Les pièces lancées et les voitures qui passent ne sont pas comme les chiffres 0 et 1. Afin de communiquer les événements qui se déroulent dans les espaces, il faut trouver un moyen de décrire ces événements. Cette description est appelée encodage.
Les messages peuvent être encodés indéfiniment différentes façons. Mais Shannon a montré que le code le plus court ne pouvait pas être inférieur en bits à l'entropie.
C'est pourquoi l'entropie d'un message est une mesure de l'information contenue dans un message. Puisque dans tous les cas considérés le nombre de bits dans le codage est égal à l'entropie, cela signifie que le codage était optimal. Bref, il n'est plus possible d'encoder des messages sur des événements dans nos espaces.
Avec un codage optimal, pas un seul bit transmis ne peut être perdu ou déformé dans le message. Si au moins un bit est perdu, alors l'information sera déformée. Mais tous les canaux de communication réels ne donnent pas la certitude à 100 % que tous les éléments du message parviendront au destinataire sans être déformés.
Pour éliminer ce problème, il est nécessaire de rendre le code non pas optimal, mais redondant. Par exemple, pour transmettre avec le message sa somme de contrôle - une valeur spécialement calculée obtenue en convertissant le code du message et qui peut être vérifiée en recalculant lors de la réception du message. Si la somme de contrôle transmise correspond à celle calculée, la probabilité que la transmission se soit déroulée sans erreur sera assez élevée. Et si la somme de contrôle ne correspond pas, vous devez demander une retransmission. C'est ainsi que fonctionnent la plupart des canaux de communication aujourd'hui, par exemple lors de la transmission de paquets d'informations sur Internet.
Messages en langage naturel
Considérez l'espace événementiel, qui se compose de messages en langage naturel. C'est un cas particulier, mais l'un des plus importants. Les événements ici seront les caractères transmis (lettres d'un alphabet fixe). Ces caractères apparaissent dans la langue avec une probabilité différente.
Le symbole le plus fréquent (c'est-à-dire celui que l'on retrouve le plus souvent dans tous les textes écrits en russe) est un espace : sur mille caractères, un espace moyen apparaît 175 fois. Le deuxième plus fréquent est le symbole "o" - 90, suivi d'autres voyelles: "e" (ou "ё" - nous ne les distinguerons pas) - 72, "a" - 62, "i" - 62, et seulement se produit en outre la première consonne "t" est 53. Et le "f" le plus rare - ce symbole n'apparaît que deux fois par millier de caractères.
Nous utiliserons l'alphabet de 31 lettres de la langue russe (il ne diffère pas entre "e" et "e", ainsi que "b" et "b"). Si toutes les lettres étaient trouvées dans la langue avec la même probabilité, alors l'entropie par caractère serait H = 5 bits, mais si l'on tient compte des fréquences réelles des caractères, alors l'entropie sera inférieure : H = 4,35 bits. (C'est presque deux fois moins qu'avec l'encodage traditionnel, lorsqu'un caractère est transmis sous la forme d'un octet - 8 bits).
Mais l'entropie d'un caractère dans une langue est encore plus faible. La probabilité d'apparition du caractère suivant n'est pas entièrement déterminée par la fréquence moyenne du caractère dans tous les textes. Le caractère suivant dépend des caractères déjà transmis. Par exemple, en russe moderne, après le symbole "ъ", le symbole d'un son de consonne ne peut pas suivre. Après deux voyelles "e" consécutives, la troisième voyelle "e" est extrêmement rare, sauf dans le mot "long cou". C'est-à-dire que le caractère suivant est quelque peu prédéterminé. Si nous prenons en compte une telle prédétermination du symbole suivant, l'incertitude (c'est-à-dire l'information) du symbole suivant sera encore inférieure à 4,35. Selon certaines estimations, le caractère suivant en russe est prédéterminé par la structure de la langue à plus de 50%, c'est-à-dire qu'avec un codage optimal, toutes les informations peuvent être transmises en supprimant la moitié des lettres du message.
Une autre chose est que toutes les lettres ne peuvent pas être barrées sans douleur. Le "o" à haute fréquence (et les voyelles en général), par exemple, est facile à rayer, mais les "f" ou "e" rares sont assez problématiques.
Le langage naturel dans lequel nous communiquons les uns avec les autres est hautement redondant, et donc fiable, si nous avons raté quelque chose - n'ayez crainte, l'information sera toujours transmise.
Mais jusqu'à ce que Shannon introduise une mesure d'information, nous ne pouvions pas comprendre que le langage est redondant, et dans quelle mesure nous pouvons compresser les messages (et pourquoi les fichiers texte sont si bien compressés par l'archiveur).
Redondance du langage naturel
Dans l'article «À propos de la façon dont nous écrivons du texte» (le titre sonne exactement comme ça!) Un fragment du roman d'Ivan Tourgueniev « Nid Noble" et soumis à une certaine transformation : 34 % des lettres ont été supprimées du fragment, mais pas au hasard. Les premières et dernières lettres des mots ont été laissées, seules les voyelles ont été supprimées, et pas toutes. Le but n'était pas seulement de pouvoir récupérer toutes les informations du texte converti, mais aussi de faire en sorte que la personne lisant ce texte ne rencontre pas de difficultés particulières dues à des omissions de lettres.
Pourquoi est-il relativement facile de lire ce texte corrompu ? Il contient vraiment information nécessaire récupérer des mots entiers. Un locuteur natif russe a un certain ensemble d'événements (mots et phrases entières) qu'il utilise en reconnaissance. De plus, le transporteur a également à sa disposition des constructions de langage standard qui l'aident à récupérer des informations. Par exemple, "Elle est plus heureuse"- avec une forte probabilité peut être lu comme "Elle était plus sensible". Mais une seule phrase "Elle va mieux", sera plutôt restauré comme "Elle était plus blanche". Étant donné que dans la communication quotidienne, nous traitons des canaux dans lesquels il y a du bruit et des interférences, nous sommes assez bons pour récupérer des informations, mais seulement celles que nous connaissons déjà à l'avance. Par exemple, l'expression "Ses démons ne sont pas loin d'être agréables, même s'ils s'évasent et fusionnent beaucoup" se lit bien sauf le dernier mot "spls" - "fusionné". Ce mot n'est pas dans le lexique moderne. À lecture rapide mot "spls" il se lit plus comme "collé ensemble", avec un lent, il déconcerte juste.
Numérisation du signal
Le son, ou vibrations acoustiques, est une sinusoïde. Cela peut être vu, par exemple, sur l'écran de l'éditeur de son. Pour transmettre avec précision le son, vous avez besoin d'un nombre infini de valeurs - la sinusoïde entière. Ceci est possible avec une connexion analogique. Il chante - tu écoutes, le contact n'est pas interrompu tant que dure la chanson.
Avec la communication numérique sur un canal, nous ne pouvons transmettre qu'un nombre fini de valeurs. Cela signifie-t-il que le son ne peut pas être transmis avec précision ? Il s'avère que non.
Des sons différents sont des sinusoïdes modulés différemment. Nous ne transmettons que des valeurs discrètes (fréquences et amplitudes), et la sinusoïde elle-même n'a pas besoin d'être transmise - elle peut être générée par l'appareil récepteur. Il génère une sinusoïde, et une modulation lui est appliquée, créée à partir des valeurs transmises sur le canal de communication. Il existe des principes exacts dont les valeurs discrètes doivent être transmises pour que le son à l'entrée du canal de communication coïncide avec le son à la sortie, où ces valeurs sont superposées à une sinusoïde standard (ce n'est que le théorème de Kotelnikov ).
Théorème de Kotelnikov (dans la littérature anglaise - le théorème de Nyquist-Shannon, le théorème d'échantillonnage)- une déclaration fondamentale dans le domaine du traitement numérique du signal, reliant les signaux continus et discrets et déclarant que "toute fonction F (t), composée de fréquences de 0 à f1, peut être transmise en continu avec n'importe quelle précision en utilisant des nombres consécutifs jusqu'à 1 /( 2*f1) secondes.
Codage correcteur de bruit. Codes Hamming
Si le texte codé d'Ivan Tourgueniev est transmis sur un canal non fiable, bien qu'avec un certain nombre d'erreurs, un texte complètement significatif sera obtenu. Mais si nous devons tout transmettre à un bit près, le problème ne sera pas résolu : nous ne savons pas quels bits sont faux, car l'erreur est aléatoire. Même la somme de contrôle n'enregistre pas toujours.
C'est pourquoi aujourd'hui, lors de la transmission de données sur des réseaux, ils ne recherchent pas tant un codage optimal, dans lequel le maximum d'informations peut être poussé dans le canal, mais un tel codage (évidemment redondant) dans lequel les erreurs peuvent être restaurées - environ , comme nous avons restauré les mots dans la lecture quand fragment d'Ivan Tourgueniev.
Il existe des codes spéciaux de correction d'erreur qui vous permettent de récupérer des informations après une panne. L'un d'eux est le code de Hamming. Disons que notre langue entière se compose de trois mots : 111000, 001110, 100011. La source du message et le récepteur connaissent ces mots. Et nous savons que des erreurs se produisent dans le canal de communication, mais lors de la transmission d'un mot, pas plus d'un bit d'information est déformé.
Supposons que nous passions d'abord le mot 111000. À la suite d'au plus une erreur (erreurs que nous avons mises en évidence), il peut se transformer en l'un des mots :
1) 111000, 0 11000, 10 1000, 110 000, 1111 00, 11101 0, 111001 .
Lorsque le mot 001110 est transmis, n'importe lequel des mots peut être obtenu :
2) 001110, 1 01110, 01 1110, 000 110, 0010 10, 00110 0, 001111 .
Enfin, pour 100011 nous pouvons obtenir :
3) 100011, 0 00011, 11 0011, 101 011, 1001 11, 10000 1, 100010 .
Notez que les trois listes sont disjointes deux à deux. En d'autres termes, si un mot de la liste 1 apparaît à l'autre bout du canal de communication, le destinataire sait avec certitude que le mot 111000 lui a été transmis, et si un mot de la liste 2 apparaît, le mot 001110, et de la liste 3, mot 100011. Dans ce cas, disons que notre code a corrigé un bogue.
Le correctif est dû à deux facteurs. Tout d'abord, le destinataire connaît l'intégralité du "dictionnaire", c'est-à-dire que l'espace événementiel du destinataire du message est le même que l'espace de l'expéditeur du message. Lorsque le code a été transmis avec une seule erreur, un mot est sorti qui n'était pas dans le dictionnaire.
Deuxièmement, les mots du dictionnaire ont été choisis d'une manière spéciale. Même si une erreur survenait, le destinataire ne pouvait pas confondre un mot avec un autre. Par exemple, si le dictionnaire se compose des mots «fille», «point», «bosse» et qu'il s'est avéré être «vochka» lors de sa transmission, le destinataire, sachant qu'un tel mot n'existe pas, ne pourrait pas corriger l'erreur - n'importe lequel des trois mots pourrait s'avérer correct. Si le dictionnaire comprend "point", "daw", "branche" et que nous savons qu'une seule erreur est autorisée, alors "vochka" est évidemment un "point" et non un "daw". Dans les codes correcteurs d'erreurs, les mots sont choisis de telle sorte qu'ils soient "reconnaissables" même après une erreur. La seule différence est qu'il n'y a que deux lettres dans le code "alphabet" - zéro et un.
La redondance d'un tel encodage est très importante, et le nombre de mots que l'on peut véhiculer de cette manière est relativement faible. Après tout, nous devons exclure du dictionnaire tout mot qui, en cas d'erreur, peut correspondre à toute la liste correspondant aux mots transmis (par exemple, les mots "fille" et "point" ne peuvent pas figurer dans le dictionnaire). Mais la transmission exacte du message est si importante que beaucoup d'efforts sont consacrés à l'étude des codes correcteurs d'erreurs.
Sensation
Les concepts d'entropie (ou d'incertitude et d'imprévisibilité) d'un message et de redondance (ou de prédestination et de prévisibilité) correspondent très naturellement à nos idées intuitives sur la mesure de l'information. Plus le message est imprévisible (plus son entropie est grande, car la probabilité est moindre), plus il contient d'informations. Une sensation (par exemple, une rencontre avec un crocodile sur Tverskaya) est un événement rare, sa prévisibilité est très faible et, par conséquent, la valeur de l'information est élevée. Souvent, les informations sont appelées nouvelles - des messages sur des événements qui viennent de se produire, dont nous ne savons toujours rien. Mais si on nous raconte ce qui s'est passé une deuxième et une troisième fois dans à peu près les mêmes mots, la redondance du message sera grande, son imprévisibilité tombera à zéro, et nous n'écouterons tout simplement pas, balayant l'orateur avec les mots " Je sais je sais." C'est pourquoi les médias essaient si fort d'être les premiers. C'est cette correspondance avec le sens intuitif de la nouveauté qui donne lieu à des nouvelles vraiment inattendues, et a joué un rôle majeur dans le fait que l'article de Shannon, complètement non conçu pour le lecteur de masse, est devenu une sensation qui a été reprise par la presse, ce qui a été acceptée comme une clé universelle pour comprendre la nature par des scientifiques de diverses spécialités - des linguistes et des critiques littéraires aux biologistes.
Mais Le concept d'information de Shannon est une théorie mathématique rigoureuse, et son application en dehors de la théorie de la communication est très peu fiable. Mais dans la théorie de la communication elle-même, elle joue un rôle central.
informations sémantiques
Shannon, ayant introduit le concept d'entropie comme mesure de l'information, a eu l'opportunité de travailler avec l'information - tout d'abord, de la mesurer et d'évaluer des caractéristiques telles que la capacité du canal ou l'optimalité du codage. Mais l'hypothèse principale qui a permis à Shannon de fonctionner avec succès avec des informations était l'hypothèse que la génération d'informations est un processus aléatoire qui peut être décrit avec succès en termes de théorie des probabilités. Si le processus n'est pas aléatoire, c'est-à-dire qu'il obéit à des modèles (et pas toujours clairs, comme c'est le cas dans le langage naturel), alors le raisonnement de Shannon ne lui est pas applicable. Tout ce que dit Shannon n'a rien à voir avec la signification de l'information.
Tant qu'on parle de symboles (ou de lettres de l'alphabet), on peut bien penser en termes d'événements aléatoires, mais dès qu'on passe aux mots de la langue, la situation change radicalement. La parole est un processus organisé d'une manière particulière, et ici la structure du message n'est pas moins importante que les symboles avec lesquels il est transmis.
Jusqu'à récemment, il semblait que nous ne pouvions rien faire pour nous rapprocher d'une manière ou d'une autre de la mesure de la signification d'un texte, mais en dernières années la situation a commencé à changer. Et cela est principalement dû à l'utilisation de réseaux de neurones artificiels pour les tâches de traduction automatique, d'abstraction automatique de textes, d'extraction d'informations à partir de textes, de génération de rapports en langage naturel. Dans toutes ces tâches, la transformation, l'encodage et le décodage d'informations significatives contenues dans le langage naturel ont lieu. Et progressivement, il y a une idée des pertes d'informations lors de telles transformations, et donc - de la mesure des informations significatives. Mais à ce jour, la clarté et la précision de la théorie de l'information de Shannon ne sont pas encore présentes dans ces tâches difficiles.
concept entropie
introduit pour la première fois en 1865 par R. Clausius en thermodynamique pour déterminer la mesure de la dissipation d'énergie irréversible. L'entropie est utilisée dans diverses branches de la science, y compris la théorie de l'information, comme mesure de l'incertitude de toute expérience, test, qui peut avoir des résultats différents. Ces définitions de l'entropie ont un lien interne profond. Ainsi, sur la base des idées sur l'information, toutes les dispositions les plus importantes de la physique statistique peuvent être déduites. [BES. La physique. M : Grand Encyclopédie russe, 1998].
Cette valeur est aussi appelée entropie moyenne messages. L'entropie dans la formule de Shannon est la caractéristique moyenne - espérance mathématique distribution Variable aléatoire.
Par exemple, dans la séquence de lettres qui composent une phrase en russe, différentes lettres apparaissent à des fréquences différentes, de sorte que l'incertitude d'occurrence pour certaines lettres est moindre que pour d'autres.
En 1948, alors qu'il enquêtait sur le problème de la transmission rationnelle de l'information à travers un canal de communication bruyant, Claude Shannon proposa une approche probabiliste révolutionnaire pour comprendre les communications et créa la première véritable théorie mathématique de l'entropie. Ses idées sensationnelles ont rapidement servi de base au développement de la théorie de l'information, qui utilise le concept de probabilité. Le concept d'entropie, comme mesure du caractère aléatoire, a été introduit par Shannon dans son article "A Mathematical Theory of Communication", publié en deux parties dans le Bell System Technical Journal en 1948.
Dans le cas d'événements également probables (un cas particulier), lorsque toutes les options sont également probables, la dépendance ne reste que sur le nombre d'options considérées, et la formule de Shannon est grandement simplifiée et coïncide avec la formule de Hartley, qui a d'abord été proposée par un ingénieur américain Ralph Hartley en 1928 comme l'un des approches scientifiques pour évaluer les messages :
, où I est la quantité d'informations transmises, p est la probabilité d'un événement, N est le nombre possible de messages différents (équiprobables).Tâche 1. Événements également probables.
Il y a 36 cartes dans un jeu. Combien d'informations sont contenues dans le message indiquant qu'une carte avec un portrait d'"as" a été prise du jeu ; "as de pique"?
Probabilité p1 = 4/36 = 1/9 et p2 = 1/36. En utilisant la formule de Hartley, nous avons :
Réponse : 3.17 ; 5,17 bits
Notez (à partir du deuxième résultat) que 6 bits sont nécessaires pour coder toutes les cartes.
Il ressort également des résultats que plus la probabilité d'un événement est faible, plus il contient d'informations. (Cette propriété est appelée monotonie)
Tâche 2. Sur des événements inégaux
Il y a 36 cartes dans un jeu. Parmi celles-ci, 12 cartes avec des "portraits". À son tour, l'une des cartes est retirée du jeu et montrée pour déterminer si un portrait y est représenté. La carte est remise dans le paquet. Déterminez la quantité d'informations transmises chaque fois qu'une carte est affichée.
Entropie des informations- une mesure de l'incertitude ou de l'imprévisibilité d'un certain système (en physique statistique ou en théorie de l'information), en particulier l'incertitude de l'apparition de tout symbole de l'alphabet primaire. Dans ce dernier cas, en l'absence de perte d'information, l'entropie est numériquement égale à la quantité d'information par symbole du message transmis.
Par exemple, dans la séquence de lettres qui composent une phrase en russe, différentes lettres apparaissent à des fréquences différentes, de sorte que l'incertitude d'occurrence pour certaines lettres est moindre que pour d'autres. Si l'on tient compte du fait que certaines combinaisons de lettres (dans ce cas on parle d'entropie n (\displaystyle n)ème ordre, voir ) sont très rares, alors l'incertitude diminue encore plus.
Le concept d'entropie informationnelle peut être illustré à l'aide du démon de Maxwell. Les concepts d'information et d'entropie ont des liens profonds entre eux [ qui?] , mais malgré cela, le développement des théories en mécanique statistique et en théorie de l'information a mis de nombreuses années à les faire correspondre [ ] .
Entropie- c'est la quantité d'information par message élémentaire de la source qui génère des messages statistiquement indépendants.
YouTube encyclopédique
1 / 5
✪ Comprendre l'entropie
✪ Qu'est-ce que l'entropie ?
✪ Entropie de l'information
✪ Entropie et deuxième loi de la thermodynamique (vidéo 3) | Énergie | La biologie
✪ Qu'est-ce que l'entropie ? Jeff Phillips #ED-TED
Les sous-titres
Ainsi, nous avons donné deux définitions de l'entropie comme variable d'état. L'entropie est désignée par la lettre S. Selon la définition thermodynamique, les changements d'entropie sont égaux à la chaleur ajoutée divisée par la température à laquelle cette chaleur est ajoutée. Cependant, si la température change lorsque de la chaleur est ajoutée (ce qui se produit généralement), nous devrons faire quelques calculs. Et vous pouvez considérer cela comme une définition mathématique, statistique ou combinatoire de l'entropie. Selon cette définition, l'entropie est égale au logarithme naturel du nombre d'états qu'un système peut prendre, multiplié par un nombre constant. Et dans un tel cas, tous les états ont la même probabilité. Si nous parlons d'un nombre inimaginable de molécules qui peuvent avoir un nombre encore plus grand d'états, nous pouvons supposer qu'elles différeront toutes avec une probabilité à peu près égale. Il existe également une définition légèrement plus compliquée - pour les cas avec une probabilité d'un ordre différent, mais nous n'y toucherons pas maintenant. Maintenant que nous avons couvert ces deux définitions, il est temps de vous parler de la deuxième loi de la thermodynamique. Il est la. Il s'agit d'une loi assez simple, qui explique en même temps un très large éventail de phénomènes différents. Selon cette loi, les changements d'entropie dans l'Univers lors de la mise en œuvre de tout processus seront toujours supérieurs ou égaux à 0. Autrement dit, lorsque quelque chose se passe dans l'Univers, le résultat en est une augmentation de l'entropie. C'est une conclusion très importante. Voyons si nous pouvons appliquer cette loi à situations particulières et ainsi comprendre sa signification. Disons que j'ai deux réservoirs connectés l'un à l'autre. Ici, j'ai T1. Que ce soit notre réservoir chaud. Et ici nous avons T2. Ce sera le réservoir froid. Eh bien, nous savons par expérience... Que se passe-t-il si un récipient d'eau chaude partage un mur avec un récipient d'eau froide ? Que se passe-t-il dans un tel cas ? Oui, la température de l'eau en eux se stabilise. Si nous parlons de la même substance, le processus s'arrêtera approximativement au milieu s'ils sont dans la même phase. Ainsi, nous traitons du transfert de chaleur d'une substance plus chaude à une plus froide. Nous avons de la chaleur, Q, qui est transférée d'une substance plus chaude à une plus froide. Bien sûr, dans la réalité quotidienne, vous ne verrez pas la chaleur être transférée d'une substance plus froide à une plus chaude. Si vous mettez un glaçon dans, disons, du thé chaud, alors bien sûr la glace ne refroidit pas et le thé ne chauffe pas. La température des deux substances deviendra approximativement égale, c'est-à-dire qu'en fait, le thé donnera une partie de la chaleur à la glace. Nous parlons également de deux réservoirs, et je suppose que leur température reste constante. Cela ne peut se produire que si les deux sont infiniment grands, ce qui bien sûr n'existe pas dans le monde réel. DANS monde réel T1 diminuera et T2 augmentera. Mais voyons si cela devrait se produire, selon la deuxième loi de la thermodynamique. Alors que se passe-t-il ici ? Quelle est la variation nette d'entropie pour T1 ? Selon la deuxième loi de la thermodynamique, le changement d'entropie pour l'univers est supérieur à 0. Mais dans ce cas, il est égal au changement d'entropie pour T1, plus le changement d'entropie pour ... bien que pas exactement ... au lieu de T1, appelons-le simplement 1 ... pour le système 1, c'est-à-dire ici pour ce système chaud plus le changement d'entropie pour le système 2. Alors, quel est le changement d'entropie pour le système 1 ? Il perd Q1 à haute température. Il s'avère que moins Q (parce que le système dégage de la chaleur) divisé par T1. Ensuite, nous devons prendre en compte la chaleur ajoutée au système T2. Ajoutons donc Q divisé par T2. Nous obtenons le changement d'entropie pour le système 2, n'est-ce pas ? Ce réservoir, qui a une température supérieure de 1, perd de la chaleur. Et le réservoir, qui a une température inférieure 2, reçoit de la chaleur. Ne serait-il pas supérieur à 0 ? Réfléchissons un peu. Si nous divisons... laissez-moi le réécrire... Je l'écrirai d'une autre manière : Q divisé par T2, moins ceci. Je réorganise juste les nombres... moins Q divisé par T1. Et quel est le score le plus élevé maintenant ? T2 ou T1 ? Eh bien, T1 est plus grand, non ? Maintenant que nous avons un score plus élevé... Lorsque nous utilisons le mot "plus élevé", nous entendons une certaine comparaison. Donc T1 est au-dessus de celui-ci. De plus, au numérateur dans les deux cas, nous avons le même nombre, n'est-ce pas ? Autrement dit, si je prends, disons, 1/2 moins 1/3, alors j'obtiens un indicateur supérieur à 0. Cet indicateur est supérieur à celui-ci, car celui-ci a un dénominateur plus grand. Vous divisez par un nombre plus grand. Cela mérite réflexion. Vous divisez Q par ce nombre, puis soustrayez Q divisé par le plus grand nombre. Donc, cette fraction ici aura une valeur absolue inférieure. Et il sera supérieur à 0. En conséquence, la deuxième loi de la thermodynamique est confirmée par notre observation, selon laquelle la chaleur passe d'un corps chaud à un corps froid. Maintenant tu peux dire, hey Sal, je peux te prouver le contraire. Vous pouvez voir si j'ai mis l'air conditionné dans la chambre... Voici la chambre, et voici ce qu'il y a dehors. Et vous dites - regardez ce que fait le climatiseur ! Il fait déjà froid dans la pièce, mais il fait déjà chaud dehors. Mais à quoi sert un climatiseur ? Il rend le froid encore plus froid et le chaud encore plus chaud. Il prend quelques Q et se déplace dans cette direction. Droite? Il prend la chaleur d'une pièce froide et la libère dans l'air chaud. Et vous dites que cela viole la deuxième loi de la thermodynamique. Vous venez de le réfuter. Tu mérites prix Nobel! Mais je vais vous dire - vous oubliez un petit fait. À l'intérieur de ce climatiseur, il y a un compresseur et un moteur qui fonctionnent activement et créent un tel résultat. Et ce moteur, je le surlignerai en rose, dégage aussi de la chaleur. Appelons-le le moteur Q. Ainsi, si vous voulez calculer l'entropie totale générée pour l'univers entier, ce serait l'entropie d'une chambre froide, plus le changement d'entropie pour la rue. Entropie de chambre froide plus changement d'entropie extérieure. Marquons une pièce ici... Vous pouvez dire - d'accord. Ce changement d'entropie pour une pièce qui dégage de la chaleur... disons que la pièce maintient une température constante pendant au moins une milliseconde. La pièce dégage du Q à une certaine température T1. Et puis... vous devez mettre un moins ici... alors la rue devient un peu chaude à une certaine température T2. Et vous dites : ce chiffre est inférieur à cela. Parce que le dénominateur est plus élevé. Ensuite, ce sera une entropie négative, et vous pouvez dire que cela viole la deuxième loi de la thermodynamique. Non! Ici, nous devons tenir compte d'un autre point : que la rue reçoit également la chaleur du moteur. Chaleur du moteur divisée par la température extérieure. Et je vous garantis que cette variable, je ne donnerai pas de chiffres pour l'instant, rendra toute cette expression positive. Cette variable transformera l'entropie nette totale de l'univers en une valeur positive. Réfléchissons maintenant un peu à ce qu'est l'entropie en termes de terminologie. Dans un cours de chimie, il n'est pas rare qu'un enseignant dise que l'entropie équivaut au désordre. Ce n'est pas une erreur. L'entropie est synonyme de désordre. Ce n'est pas une erreur, car l'entropie est vraiment un désordre, mais il faut être très prudent avec la définition du désordre. Parce que l'un des exemples les plus courants est : prenez une pièce propre - disons que votre chambre est propre, mais qu'elle devient ensuite sale. Et ils disent - regardez, l'univers est devenu plus désordonné. Une pièce sale est plus encombrée qu'une pièce propre. Mais ce n'est pas une augmentation de l'entropie. Ce n'est donc pas un très bon exemple. Pourquoi? Oui, car propre et sale ne sont que les états de la pièce. Et rappelons que l'entropie est une macro variable d'état. vous l'utilisez pour descriptions du système quand vous n'êtes pas d'humeur à vous asseoir ici et à me dire exactement ce que fait chaque particule. Et c'est une macro-variable qui montre combien de temps il faut pour me dire ce que fait chaque particule. Cette variable indique le nombre d'états dans ce cas ou la quantité d'informations sur les états que j'aimerais recevoir de votre part. Dans le cas d'une pièce propre et d'une pièce sale, nous n'avons que deux états différents d'une même pièce. Si la pièce est maintenue à la même température et contient le même nombre de molécules, etc., elle aura la même entropie. Ainsi, à mesure que la pièce devient plus sale, l'entropie n'augmente pas. Par exemple, j'ai une chambre froide sale. Disons que je suis entré dans cette pièce et que j'ai fait beaucoup d'efforts pour la nettoyer. J'ajoute donc une partie de la chaleur au système et les molécules de ma sueur se dispersent dans toute la pièce - en conséquence, il y a plus de contenu et il devient plus chaud, se transformant en une pièce chaude et propre avec des gouttelettes de sueur. Ce contenu peut être arrangé de nombreuses façons, et comme la pièce est chaude, chaque molécule qu'elle contient peut prendre plus d'états, n'est-ce pas ? Étant donné que l'énergie cinétique moyenne est élevée, on peut essayer de savoir combien d'énergies cinétiques chaque molécule peut avoir, et dans le potentiel, cette quantité peut être assez grande. Il s'agit essentiellement d'une augmentation de l'entropie. D'une pièce sale et froide à une pièce chaude et propre. Et cela correspond assez bien à ce que nous savons. C'est-à-dire que lorsque j'entre dans une pièce et que je commence à la nettoyer, j'y apporte de la chaleur. Et l'univers devient de plus en plus... Je suppose que nous pouvons dire que l'entropie augmente. Alors où est la confusion ici ? Disons que j'ai une balle et qu'elle touche le sol et la touche. Et ici, nous devons poser une question qui n'a cessé de se poser depuis la découverte de la première loi de la thermodynamique. Dès que la balle touche le sol... La balle touche le sol, n'est-ce pas ? Je l'ai jeté: dans sa partie supérieure, il y a une certaine énergie potentielle, qui se transforme ensuite en énergie cinétique, et la balle touche le sol puis s'arrête. C'est là qu'une question tout à fait logique se pose : qu'est-il arrivé à toute cette énergie ? Loi de conservation de l'énergie. Où est-elle allée ? Juste avant de toucher le sol, la balle avait de l'énergie cinétique puis s'est arrêtée. Il semble que l'énergie a disparu. Mais ce n'est pas. Quand la balle tombe, elle a beaucoup... comme vous le savez, tout a sa propre chaleur. Mais qu'en est-il de la terre ? Ses molécules vibraient avec une certaine énergie cinétique et énergie potentielle. Et puis les molécules de notre boule se sont mises à vibrer un peu. Mais leur mouvement était principalement vers le bas, n'est-ce pas ? Le mouvement de la plupart des molécules de la balle était dirigé vers le bas. Quand il touche le sol, alors... laissez-moi dessiner la surface du ballon qui est en contact avec le sol. Les molécules de la balle dans sa partie avant ressembleront à ceci. Et il y en a pas mal. Ce solide. Probablement avec une structure en treillis. Et puis le ballon touche le sol. Lorsque cela se produit… la terre est un autre corps solide… Génial, nous avons ici un micro-état. Que va-t-il se passer ? Ces molécules vont interagir avec celles-ci et transférer leur énergie cinétique vers le bas... Elles vont la transférer à ces particules de la terre. Et les affronter. Et quand, disons, cette particule entre en collision avec celle-ci, elle peut se déplacer dans cette direction. Et cette particule va commencer à osciller comme ça, d'avant en arrière. Cette particule ici peut rebondir sur celle-ci et se déplacer dans cette direction, puis entrer en collision avec celle-ci et se déplacer ici. Et puis, parce que cette particule ici frappe ici, celle-ci frappe ici, et parce que celle-ci frappe ici, celle-ci frappe ici. Du point de vue de la balle, il y a un mouvement relativement directionnel, mais lorsqu'elle entre en contact avec les molécules de la terre, elle commence à générer de l'énergie cinétique et à créer un mouvement dans diverses directions. Cette molécule-ci déplacera celle-ci ici, et celle-ci se déplacera ici. Maintenant, le mouvement ne sera pas dirigé si nous avons autant de molécules ... je les marquerai d'une couleur différente ... eh bien, si nous avons beaucoup de molécules et qu'elles se déplacent toutes exactement dans la même direction, alors le micro-état ressemblera à un macro-état. Tout le corps sera dans cette direction. Si nous avons beaucoup de v et qu'ils se déplacent tous dans des directions différentes, alors ma balle dans son ensemble restera en place. Nous pouvons avoir la même quantité d'énergie cinétique sur niveau moléculaire , mais ils vont tous se heurter. Et dans ce cas, nous pouvons décrire l'énergie cinétique comme énergie interne ou comme température, qui est l'énergie cinétique moyenne. Ainsi, lorsque nous disons que le monde devient de plus en plus chaotique, nous pensons à l'ordre des vitesses ou des énergies des molécules. Avant qu'elles ne soient commandées, les molécules peuvent vibrer un peu, mais la plupart du temps elles tomberont. Mais lorsqu'ils touchent le sol, ils se mettent tous immédiatement à vibrer un peu plus dans des directions différentes. Et la terre commence aussi à vibrer dans différentes directions. Ainsi, au niveau des micro-états, les choses deviennent beaucoup plus compliquées. Il y a une autre question assez intéressante. Il y a une autre possibilité… Vous pourriez penser : « Regardez, cette balle est tombée et a touché le sol. Pourquoi ne se contente-t-il pas de... ne se pourrait-il pas que les molécules de la terre elles-mêmes changent d'ordre pour toucher correctement les molécules de la balle ? Il y a une certaine probabilité qu'en raison du mouvement aléatoire, à un moment donné, toutes les molécules de la terre frappent simplement les molécules de la balle de telle sorte qu'elle rebondisse à nouveau. Oui c'est le cas. Il y a toujours une chance infinitésimale que cela se produise. Il y a une possibilité que la balle repose simplement sur le sol... ce qui est assez intéressant... Vous devrez probablement attendre cent millions d'années pour que cela se produise, si jamais cela arrive... et la balle peut juste rebondir. Il y a une très faible possibilité que ces molécules vibrent au hasard de manière à être ordonnées pendant une seconde, puis la balle rebondira. Mais la probabilité que cela soit pratiquement 0. Ainsi, lorsque les gens parlent d'ordre et de désordre, le désordre augmente, car maintenant ces molécules se déplaceront dans des directions différentes et prendront plus d'états potentiels. Et nous l'avons vu. Comme vous le savez, à un certain niveau, l'entropie ressemble à quelque chose de magique, mais à d'autres niveaux, cela semble assez logique. Dans une vidéo... Je pense que c'était la dernière vidéo... J'avais beaucoup de molécules, et puis il y avait cet espace supplémentaire juste ici, après quoi j'ai enlevé le mur. Et nous avons vu que ces molécules... il est clair qu'il y avait des molécules qui ont été repoussées de ce mur avant, parce qu'il y avait une certaine pression qui lui était associée. Ensuite, dès qu'on enlèvera cette paroi, les molécules qui l'auraient heurtée continueront à bouger. Il n'y a rien pour les arrêter. Le mouvement s'effectuera dans ce sens. Ils peuvent entrer en collision avec d'autres molécules et avec ces parois. Mais en ce qui concerne cette direction, la probabilité de collision, en particulier pour ces molécules, est fondamentalement de 0. Il y aura donc une expansion et un remplissage du récipient. Tout est donc assez logique. Mais surtout, la deuxième loi de la thermodynamique, comme nous l'avons vu dans cette vidéo, dit la même chose. C'est-à-dire que les molécules se déplaceront et rempliront le récipient. Et il est très peu probable qu'ils reviennent tous à un état ordonné. Bien sûr, il y a une certaine possibilité qu'en se déplaçant au hasard, ils reviennent à cette position. Mais cette probabilité est très, très faible. De plus, et je tiens à le souligner, S est un état macro. On ne parle jamais d'entropie par rapport à une seule molécule. Si nous savons ce que fait une molécule individuelle, nous n'avons pas à nous soucier de l'entropie. Il faut penser le système dans son ensemble. Donc, si nous regardons l'ensemble du système et ignorons les molécules, nous ne saurons pas ce qui s'est réellement passé. Dans ce cas, nous ne pouvons prêter attention qu'aux propriétés statistiques des molécules. Combien avons-nous de molécules, quelle est leur température, leur macrodynamique, leur pression... et vous savez quoi ? Le récipient dans lequel ces molécules sont placées a plus d'états qu'un récipient plus petit avec une paroi. Même si soudainement toutes les molécules se rassemblent au hasard ici, nous ne saurons pas que cela s'est produit, car nous ne regardons pas les micro-états. Et ceci est très important à garder à l'esprit. Quand quelqu'un dit qu'une pièce sale a une entropie plus élevée qu'une pièce propre, nous devons comprendre qu'il parle de micro-états. Et l'entropie est avant tout un concept associé à un macro-état. Vous pouvez simplement dire qu'une pièce a une certaine quantité d'entropie. Autrement dit, le concept d'entropie est lié à la pièce dans son ensemble, mais il ne sera utile que si vous ne savez pas exactement ce qui s'y passe. Vous n'avez que le plus idée générale de quoi la pièce est remplie, quelle température y est, quelle pression. Ce sont toutes des propriétés de macro courantes. L'entropie nous dira combien de macro-états ce macrosystème peut avoir. Ou combien d'informations, après tout, il y a le concept d'entropie de l'information, combien d'informations je dois vous fournir pour que vous ayez une idée précise du micro-état du système au moment opportun. Comme ça. J'espère que cette discussion vous a été utile et a dissipé certaines idées fausses sur l'entropie, tout en vous aidant à vous faire une idée de ce qu'elle est réellement. Jusqu'à la prochaine vidéo !
Définitions formelles
Informationnel entropie binaire pour les événements aléatoires indépendants x (\displaystyle x) Avec n (\displaystyle n)états possibles distribués avec probabilités ( je = 1 , . . . , n (\displaystyle i=1,...,n)), est calculé par la formule
H (x) = - ∑ je = 1 n p je journal 2 p je . (\displaystyle H(x)=-\sum _(i=1)^(n)p_(i)\log _(2)p_(i).)Cette valeur est aussi appelée entropie moyenne des messages. Valeur H je = - log 2 p je (\displaystyle H_(i)=-\log _(2)(p_(i))) appelé entropie privée caractérisant seulement je (\displaystyle je)-domaine. En général, la base du logarithme dans la définition de l'entropie peut être supérieure à 1 ; son choix détermine l'unité d'entropie. Ainsi, souvent (par exemple, dans les problèmes de statistiques mathématiques), il peut être plus pratique d'utiliser le logarithme naturel.
Ainsi, l'entropie du système x (\displaystyle x) est la somme de signe opposé de toutes les fréquences relatives d'occurrence de l'état (événement) au nombre je (\displaystyle je), multipliés par leurs propres logarithmes binaires . Cette définition des événements aléatoires discrets peut être formellement étendue à distributions continues donnée par la densité distribution des probabilités , cependant, la fonctionnelle résultante aura des propriétés quelque peu différentes (voir différentiel entropie).
Définition selon Shannon
La définition de l'entropie de Shannon est liée au concept d'entropie thermodynamique . Boltzmann et Gibbs ont fait un excellent travail de thermodynamique statistique, qui a contribué à l'adoption du mot "entropie" dans la théorie de l'information. Il existe un lien entre la thermodynamique et l'entropie informationnelle. Par exemple, le démon de Maxwell contraste également l'entropie thermodynamique de l'information, et gagner n'importe quelle quantité d'information est égal à l'entropie perdue.
Définition utilisant ses propres informations
Il est également possible de déterminer l'entropie d'une variable aléatoire en introduisant d'abord les notions de distribution d'une variable aléatoire X (\displaystyle X), qui a un nombre fini de valeurs :
P X (x je) = p je , p je ≥ 0 , je = 1 , 2 , … , n (\displaystyle P_(X)(x_(i))=p_(i),\quad p_(i)\geqslant 0,\ ;i=1,\;2,\;\ldots ,\;n) ∑ je = 1 n p je = 1 (\displaystyle\sum _(i=1)^(n)p_(i)=1) je (X) = - journal P X (X) . (\displaystyle I(X)=-\log P_(X)(X).)L'entropie est alors définie par :
H (X) = E (je (X)) = - ∑ je = 1 n p (i) journal p (i) . (\displaystyle H(X)=E(I(X))=-\sum _(i=1)^(n)p(i)\log p(i).)L'unité de mesure de la quantité d'information et d'entropie dépend de la base du logarithme : bit, nat, trit ou hartley.
Propriétés
L'entropie est une quantité définie dans le contexte d'un modèle probabiliste pour une source de données. Par exemple, lancer une pièce a une entropie :
Une source qui génère une chaîne composée uniquement des lettres "A" a une entropie nulle : − ∑ je = 1 ∞ log 2 1 = 0 (\displaystyle -\sum _(i=1)^(\infty )\log _(2)1=0), et la quantité états possibleséquivaut à: 2 0 = 1 (\displaystyle 2^(0)=1) état éventuel(valeur) ("A") et ne dépend pas de la base du logarithme.
C'est aussi une information qu'il faut également prendre en compte. Un exemple de périphériques de stockage qui utilisent des bits avec une entropie égale à zéro, mais avec quantité d'informationségal à 1 état éventuel, c'est à dire. différents de zéro sont des bits de données écrits dans la ROM, dans laquelle chaque bit n'a qu'un seul état éventuel.
Ainsi, par exemple, on peut établir expérimentalement que l'entropie texte en anglais est égal à 1,5 bits par caractère, ce qui bien sûr variera pour différents textes. Le degré d'entropie d'une source de données signifie le nombre moyen de bits par élément de données nécessaires pour le chiffrer sans perte d'information, avec un encodage optimal.
- Certains bits de données peuvent ne pas contenir d'informations. Par exemple, les structures de données stockent souvent des informations redondantes ou ont des sections identiques quelles que soient les informations contenues dans la structure de données.
- La quantité d'entropie n'est pas toujours exprimée sous la forme d'un nombre entier de bits.
Propriétés mathématiques
- Non-négativité: H (X) ⩾ 0 (\displaystyle H(X)\geqslant 0).
- Limitation: H (X) = - E (log 2 p je) = ∑ je = 1 n p je log 2 1 p je = ∑ je = 1 n p je F (g je) ⩽ F (∑ je = 1 n p je g je) = log 2 n (\displaystyle H(X)=-E(\log _(2)p_(i))=\sum _(i=1)^(n)p_(i)\log _(2)(\frac (1)(p_ (i)))=\sum _(i=1)^(n)p_(i)f(g_(i))\leqslant f\left(\sum _(i=1)^(n)p_(i )g_(i)\right)=\log _(2)n), qui découle de l'inégalité de Jensen pour la fonction concave f (g je) = log 2 g je (\displaystyle f(g_(i))=\log _(2)g_(i)) Et g je = 1 p je (\displaystyle g_(i)=(\frac (1)(p_(i)))). Je tombe n (\displaystyle n)éléments de X (\displaystyle X)équiprobable, H (X) = log 2 n (\displaystyle H(X)=\log _(2)n).
- Si indépendant, alors H (X ⋅ Y) = H (X) + H (Y) (\displaystyle H(X\cdot Y)=H(X)+H(Y)).
- L'entropie est une fonction convexe vers le haut de la distribution de probabilité des éléments.
- Si X , Y (\displaystyle X,\;Y) ont la même distribution de probabilité des éléments, alors H (X) = H (Y) (\displaystyle H(X)=H(Y)).
Efficacité
L'alphabet peut avoir une distribution de probabilité loin d'être uniforme. Si l'alphabet d'origine contient n (\displaystyle n) caractères, alors il peut être comparé à un « alphabet optimisé », dont la distribution de probabilité est uniforme. Le rapport d'entropie de l'alphabet original et optimisé est efficacité alphabet source, qui peut être exprimé en pourcentage. L'efficacité de l'alphabet original avec n (\displaystyle n) les caractères peuvent également être définis comme ses n (\displaystyle n)-entropie aire.
L'entropie limite la compression maximale possible sans perte (ou presque sans perte) qui peut être réalisée en utilisant un ensemble théoriquement typique ou, en pratique, le codage Huffman, le codage Lempel-Ziv-Welch ou le codage arithmétique.
Variations et généralisations
b-entropie aire
En général b-entropie aire(Où bégale 2, 3, ...) sources S = (S , P) (\displaystyle (\mathcal (S))=(S,\;P)) avec l'alphabet d'origine S = ( une 1 , … , une n ) (\displaystyle S=\(a_(1),\;\ldots ,\;a_(n)\)) Et distribution discrète probabilités P = ( p 1 , … , p n ) , (\displaystyle P=\(p_(1),\;\ldots ,\;p_(n)\),) Où p je (\displaystyle p_(i)) est la probabilité ( p je = p (une je) (\displaystyle p_(i)=p(a_(i)))), est déterminé par la formule :
H b (S) = - ∑ je = 1 n p je journal b p je . (\displaystyle H_(b)((\mathcal (S)))=-\sum _(i=1)^(n)p_(i)\log _(b)p_(i).)En particulier, lorsque b = 2 (\displaystyle b=2), nous obtenons l'entropie binaire habituelle, mesurée en bits. À b = 3 (\displaystyle b=3), on obtient une entropie trinaire mesurée en trits (un trit a une source d'information à trois états équiprobables). À b = e (\displaystyle b=e), nous obtenons des informations mesurées en nats.
Entropie conditionnelle
Si la séquence de caractères alphabétiques n'est pas indépendante (par exemple, en français, la lettre "q" est presque toujours suivie de "u", et après le mot "leader" dans les journaux soviétiques, le mot "production" ou "travail" était généralement suivie), la quantité d'informations portées par la séquence de ces symboles (et donc l'entropie) est évidemment plus petite. L'entropie conditionnelle est utilisée pour rendre compte de tels faits.
Entropie conditionnelle Le premier ordre (de même pour le modèle de Markov du premier ordre) est appelé l'entropie de l'alphabet, où les probabilités d'apparition d'une lettre après l'autre sont connues (c'est-à-dire les probabilités de combinaisons de deux lettres):
H 1 (S) = - ∑ je p je ∑ j p je (j) log 2 p je (j) , (\displaystyle H_(1)((\mathcal (S)))=-\sum _(i)p_(i) \somme _(j)p_(i)(j)\log _(2)p_(i)(j),)Où je (\displaystyle je) est l'état dépendant du caractère précédent, et p je (j) (\displaystyle p_(i)(j)) est la probabilité j (\ displaystyle j)à condition que je (\displaystyle je)était le personnage précédent.
Par exemple, pour la langue russe sans la lettre "ё" H 0 = 5 , H 1 = 4.358 , H 2 = 3 , 52 , H 3 = 3 , 01 (\displaystyle H_(0)=5,\;H_(1)=4(,)358,\;H_( 2)=3(,)52,\;H_(3)=3(,)01) .
Les entropies conditionnelles partielles et générales décrivent complètement les pertes d'informations lors de la transmission de données dans un canal bruité. Pour cela, le soi-disant matrices de canaux. Pour décrire les pertes côté source (c'est-à-dire que le signal envoyé est connu), la probabilité conditionnelle de réception d'un symbole par le récepteur est considérée, à condition que le symbole ait été envoyé une je (\displaystyle a_(i)). Dans ce cas, la matrice des canaux a la forme suivante :
| b 1 (\displaystyle b_(1)) | b 2 (\displaystyle b_(2)) | … | b j (\displaystyle b_(j)) | … | b m (\displaystyle b_(m)) | |
|---|---|---|---|---|---|---|
| un 1 (\displaystyle a_(1)) | p (b 1 ∣ une 1) (\displaystyle p(b_(1)\mid a_(1))) | p (b 2 ∣ une 1) (\displaystyle p(b_(2)\mid a_(1))) | … | p (b j ∣ une 1) (\displaystyle p(b_(j)\mid a_(1))) | … | p (b m ∣ une 1) (\displaystyle p(b_(m)\mid a_(1))) |
| un 2 (\displaystyle a_(2)) | p (b 1 ∣ une 2) (\displaystyle p(b_(1)\mid a_(2))) | p (b 2 ∣ une 2) (\displaystyle p(b_(2)\mid a_(2))) | … | p (b j ∣ une 2) (\displaystyle p(b_(j)\mid a_(2))) | … | p (b m ∣ une 2) (\displaystyle p(b_(m)\mid a_(2))) |
| … | … | … | … | … | … | … |
| une je (\displaystyle a_(i)) | p (b 1 ∣ une je) (\displaystyle p(b_(1)\mid a_(i))) | p (b 2 ∣ une je) (\displaystyle p(b_(2)\mid a_(i))) | … | p (b j ∣ une je) (\displaystyle p(b_(j)\mid a_(i))) | … | p (b m ∣ une je) (\displaystyle p(b_(m)\mid a_(i))) |
| … | … | … | … | … | … | … |
| une m (\displaystyle a_(m)) | p (b 1 ∣ une m) (\displaystyle p(b_(1)\mid a_(m))) | p (b 2 ∣ une m) (\displaystyle p(b_(2)\mid a_(m))) | … | p (b j ∣ une m) (\displaystyle p(b_(j)\mid a_(m))) | … | p (b m ∣ une m) (\displaystyle p(b_(m)\mid a_(m))) |
Évidemment, les probabilités situées le long de la diagonale décrivent la probabilité de réception correcte, et la somme de tous les éléments de n'importe quelle ligne donne 1. Les pertes attribuables au signal transmis une je (\displaystyle a_(i)), sont décrites en termes d'entropie conditionnelle partielle :
H (B ∣ une je) = - ∑ j = 1 m p (b j ∣ une je) Journal 2 p (b j ∣ une je) . (\displaystyle H(B\mid a_(i))=-\sum _(j=1)^(m)p(b_(j)\mid a_(i))\log _(2)p(b_( j)\mid a_(i)).)Pour calculer la perte de transmission de tous les signaux, l'entropie conditionnelle totale est utilisée :
H (B ∣ UNE) = ∑ je p (une je) H (B ∣ une je) . (\displaystyle H(B\mid A)=\sum _(i)p(a_(i))H(B\mid a_(i)).)H (B ∣ A) (\displaystyle H(B\mid A)) signifie entropie côté source, considérée de la même manière H (A ∣ B) (\displaystyle H(A\mid B))- entropie côté récepteur : au lieu de p (b j ∣ une je) (\displaystyle p(b_(j)\mid a_(i))) est indiqué partout p (une je ∣ b j) (\displaystyle p(a_(i)\mid b_(j)))(en additionnant les éléments d'une ligne, vous pouvez obtenir p (une je) (\displaystyle p(a_(i))), et les éléments de la diagonale signifient la probabilité que exactement le caractère reçu ait été envoyé, c'est-à-dire la probabilité d'une transmission correcte).
Entropie mutuelle
Entropie mutuelle ou entropie d'union est conçu pour calculer l'entropie de systèmes interconnectés (l'entropie de l'apparition conjointe de messages statistiquement dépendants) et est noté H (A B) (\displaystyle H(AB)), Où A (\displaystyle A) caractérise l'émetteur, et B (\displaystyle B)- destinataire.
