Engineer's Book

————— PHYSICS – SPACE – ALGORITHMICS ——-

Entropy 00-0- Transition to Shannon ?

Written By: Jean-Paul Cipria - Nov• 29•18
Shannon - Télégraphe - Dash-Dot-Space-Word-

D’après C. Shannon – Télégraphe – Dash-Dot-Space-Word

Dash i->j =?> Débit D’entropie C=0.53894 bits/s ?

Il y a quelques années j’ai mis sous mon oreiller, pour m’endormir, le document de C. Shannon [SHANNON-1948]. Les quatre première pages y suffisaient amplement; non pas à cause de la difficulté mathématique mais de savoir de quoi il parlait !

.

Created :2018-11-29 13:16:15. – Modified : 2018-12-02 16:52:08.

Difficult ! Master Level.

Difficult ! Master Level.


Expériences En Construction

Experiment is being drawn up

Je me suis décidé à mettre deux pages de mon illustre prédécesseur dans l’ordre de MA logique et citer deux ou trois « paradigmes » ou « théories » qu’il employait de façon tout à fait simple pour l’ingénieur de génie qu’il était mais tout à fait sorti du chapeau du magicien pour le doctorant en science autodidacte qui lit le document ad-nihilo. Je détaille donc, sur un bout de PQ, mon déroulement des pages 3 et 4 qui m’ont sorties de la mouisse un jour de 2011 et que j’ai gardé en tête puis oublié jusqu’à ce qu’une analyse sur un modèle Alpha/Anisotropie/Entropie sur un SAR* de l’ONERA me titille depuis quelques mois.

(*) SAR : Synthetic Aperture Radar.

Le Théorème 1 Page 4

ij ?

Shannon-Figure-2

Shannon-Figure-2

C. Shannon fait appel à ?

La Théorie de Markov lors des probabilités de transitions d’état i à état j. [CIPRIA-Markov-2012]

Les états ne sont pas figurés dans le document. Ce sont les deux « points » d’arrivée et de départ des transitions de Markov. Les deux états sont figurés en rouge sur la figure annotée.

Shannon - Télégraphe - Dash-Dot-Space-Word

Shannon – Télégraphe – Dash-Dot-Space-Word

Duration or Time Stamp or Binary Code ?

Shannon-Texte-Dash

Shannon-Texte-Dash

Quel est le Signal ou l’Information Pertinente ?

L’information, dans le cas que Shannon prend, n’est pas un instant, ni le code binaire qui représente « dash » : 0001 mais la durée en temps élémentaires du signal : 4 temps. Il ignore donc le codage binaire dont il se sert dans les toutes les autres pages !

Solution ?

La réponse est en vert dans la partie de document manuscrit.

Dash-Codage-Temporel

Dash-Codage-Temporel

D’où sort N ?

Shannon-N

Shannon-N

C. Shannon pose cette solution partielle issue du déterminant dont il ne parle pas et qu’il calcule … plus tard. L’ingénieur cherche une explication dans les hypothèses de départ alors qu’elle figure bien plus loin … quand elle y est !

Explications ?

Où te places-tu ? Tempo ou Laplace ?

Pour celui qui ne voit pas la différence en première lecture entre N, X et W, il y a un joyeux mélange entre des espaces de représentations différents. Dans nos têtes et surement pas dans celle de Claude. 😉 Comme par exemple sur les radars une représentation temporelle, une fréquentielle et pour les ingénieurs des « ondes » une représentation en k ou cm-1 pour la physique du solide.

Dans notre cas c’est une représentation temporelle N vers une transformée de Laplace X des signaux qui fourni l’expression « soluble ». Et un Kawa merci. Cette méthode permet de résoudre nombre d’équations différentielles … du moins en mode STATIONNAIRE. C’est à dire que tous les autres modes ne sont pas représentés. Voir le coup des vagues scélérates en propagation océanique !

Donc il transforme une fonction temporelle décalée f(t-t_n) par une Transformée de Laplace X^{-n} . L’avantage dans la T.L. est qu’un polynôme est facilement exploitable mathématiquement. Pour revenir sur F on fait une T.L. inverse sur la solution X pour retrouver la solution en F .

Déroulé selon C. Shannon - 2

Déroulé selon C. Shannon – 2

C. Shannon permute le nombre total d’état N(t) temporel avec le résultat 1 satisfaisant à la probabilité totale 1 dans le domaine X Laplace ajoute à la confusion possible en première lecture. Le théorème arrivant après on se demande en plus comment C. Shannon a trouvé N. N(t-10) ? N(t-8) … etc.

W-bij ?

  • W^{-b^{ij}} Quesako ?

C’est un polynôme de puissance négative d’un élément d’information de transition de i à j ? Ce qui n’est qu’une paraphrase. A partir de ce moment nous pouvons suivre une mathématique. Calculer le déterminant ?

Mais non ! C. Shannon pose cette solution partielle issue du déterminant dont il ne parle pas et qu’il calcule … plus tard.

Comment trouver la Solution de la Matrice ?

Codage Discret - Privé

Codage Discret – Privé ?

Je stochate, tu stochates ?

C’est plus facile. Enfin un peu. La matrice de transition est une stochastique. C’est à dire que la somme de chaque élément de chaque ligne est égal à « 1 ». « 1 » est la probabilité totale. On se trouve donc dans un système d’équations linéaires lignes qu’il faut résoudre. On commence par « diagonaliser » la matrice de telle sorte que nous trouvions la première solution sur la première ligne. Une fois celle-ci trouvée on déduit toutes les autres en reportant sur les lignes suivantes.

Diagonale, échec et mat ?

Mais on peut faire cela en un coup : En diagonalisant, une chose bizarre arrive. Tous les éléments de la diagonale, qui s’appelle valeurs propres ou \lambda , s’expriment dans la base de cette nouvelle matrice par un espace de valeurs propres tout à fait sympathiques pour les ingénieurs et « propres » (je plaisante) dans le sens où ils sont orthogonaux et la plupart du temps très simples.

Passer à l’Ouest ?

Donc, si nous faisons passer les \lambda de l’autre coté de l’équation le second membre est nul. Et re-donc le déterminant est ? Nul. Comme nous sommes en probabilité, matrice stochastique, les \lambda_i=1 D’où le calcul d’un déterminant avec des \delta_{ii} égale à 1 si i=j qui est la diagonale dans son expression.

La même chose sous forme mathématique ?

  • M.X=Id.X ou M.X=1.X

D’où :

  • M.X - Id.X = 0 d’où det(M - Id)=0 si on biffe les X et que donc l’on ne s’intéresse qu’aux matrices. $ Ouf !

ET :

  • Id=\delta_{i,j} . C’est à dire des « 1 » sur la diagonale en notation « distribution ». Ce qui est très pratique.

Qu’en dit C. Shannon ?

C. Shannon - Théorème 1

C. Shannon – Théorème 1

Attention 1 : Dans cette expression du théorème C. Shannon est passé en Transformation de Laplace !

Attention 2 : Sa notation est bizarre ? Dans le déterminant il n’y a pas de somme ? Mais non. Il exprime une valeur d’un élément de la matrice sous forme d’une valeur absolue et non pas l’expression du déterminant qu’une lecture rapide permet de confondre. Mef ! Ensuite nous pouvons reconstituer celle-ci en revenant à la méthode classique, moins condensée, et calculer comme exercice le déterminant à la main dans ce cas très simple.

Réel et Positif et Maximum ?

Rassurez-vous cela n’a rien à voir avec une injonction de marketing d’entreprise.

Nous calculons une quantité d’information. C’est à dire une entropie, ou une énergie que l’on représente souvent en termes d’écart-type ou de variances \sigma^2 que nous indiçons dans les matrices qui décrivent les « backscattered » ou « Retour de Diffusion » de Radar à Synthèse d’Ouverture (RSO ou SAR) en les indiçant soit \sigma^2_{ij} . Les éléments sont positifs comme une énergie non potentielle.

Ils sont réels dans le cas de l’entropie car il n’y a pas de phase dans une énergie ou dans ce contexte probabiliste.

Nous cherchons à trouver le maximum d’information transportable dans un canal afin d’optimiser la transmission. Quand on connait le maximum théorique, on sait jusqu’où aller et donc où est située la « dead-line ». Parlez en à vos managers. Il vont aimer le terme puisqu’ils ne comprennent que celui-là ? MoiTeDire ToiPasPouvoirAlléPluHo ! 😉

CQFD ?

Démonstration Manuscrite

OnKonpranRien ?

L’apport mathématique des transitions devrait se faire comme un requis pour nous aujourd’hui alors que Shannon le considère comme un théorème qu’il démontre dans son cadre des signaux. Ce qui explique la difficulté de lecture d’un ingénieur d’aujourd’hui de ce document de référence. Nous sommes obligés de « respecter » un ordre de démonstration qui favorise la compréhension. En voici une parmi mille.

Upside Down  ?

La démonstration se lit en deux colonnes. Théorème 1 de Shannon.  Je dispose la démonstration partiellement à l’envers par rapport à C. Shannon.

Dans le manuscrit j’écris « probabilité totale = 1 » sur le terme à droite du polynôme caractéristique. Ce qui est faux et vrai (?). En fait le « 1 » à droite est une Dirac qui représente l’élément à faire opérer sur la fonction TL(F). Comme elle figurait des deux cotés de l’équation, on l’a biffée et il ne reste que « 1 ». Re-Ouf !

Solution Particulière Matlab

Programme Simplifié à partir de la solution du déterminant

.

p=[1 0 1 1 0 1 1 0 1 0 -1];
S=roots(p);
erreur=1e-10;
X0 = max(S(find(abs(imag(S))<=erreur)));
C = -log2(X0)

.

D’où vient le signe « – » devant le log2 ? Tous les signaux temporels sont en W^{-t_n} MAIS le polynôme caractéristique (Transformée de Laplace) est constitué de X^{+n} … inversé ! Le log d’un nombre inversé implique un signe moins.

Affichage de la Solution

.

Shannon_1_Discret_Noiseless_Channel
datetime=29-Nov-2018 11:54:44
Shannon - Canaux Numériques Bruités - Transition de Markov JP CIPRIA le 29/11/2018

Le Polynôme Caractéristique est p :
p=1 0 1 1 0 1 1 0 1 0 -1

Les Solutions Complexes sont :
S =
-0.8561 + 0.4342i
-0.8561 - 0.4342i
-0.8627 + 0.0000i
-0.1471 + 1.0789i
-0.1471 - 1.0789i
0.2770 + 1.1149i
0.2770 - 1.1149i
0.8134 + 0.7116i
0.8134 - 0.7116i
0.6883 + 0.0000i

La solution Réelle Max du polynôme est : X0.
X0=0.68828
Le débit d'Entropie C(bits/s) est : C en bit/s.
C=0.53894 bit/s.

.

Voila pour les pages 3 et 4 de référence. One writing beyond !

Références

.

Jean-Paul CIPRIA
Novembre 2011 – Repris le 28/11/2018

You can follow any responses to this entry through the RSS 2.0 feed. You can skip to the end and leave a response. Pinging is currently not allowed.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Anti-Spam Quiz: