Entropie mutuelle I(X;X) = H(X) H(X|Y) = H(Y|X). Entropie mutuelle I(X;X) = H(X) VRAI I(X;Y) = H(Y) – H(Y|X) I(X;X) = H(X) – H(X|X) = H(X) H(X|Y) = H(Y|X)

  • Published on
    03-Apr-2015

  • View
    105

  • Download
    3

Transcript

Page 1 Entropie mutuelle I(X;X) = H(X) H(X|Y) = H(Y|X) Page 2 Entropie mutuelle I(X;X) = H(X) VRAI I(X;Y) = H(Y) H(Y|X) I(X;X) = H(X) H(X|X) = H(X) H(X|Y) = H(Y|X) FAUX, en gnral Page 3 Entropie mutuelle On considre les variables discrtes alatoires X et Y. Y = f (X) avec f une fonction dterministe. I(X;Y) = H(Y) Page 4 Entropie mutuelle On considre les variables discrtes alatoires X et Y. Y = f (X) avec f une fonction dterministe. I(X;Y) = H(Y) VRAI I(X;Y) = H(Y) H(Y|X) = H(Y) H(f (X)|X) = H(Y) Page 5 Capacit de canal Soit C la capacit dun canal en bits/seconde. Il nest pas possible de transmettre des donnes un dbit suprieur R, avec R = C bits/s. Page 6 Capacit de canal Soit C la capacit dun canal en bits/seconde. Il nest pas possible de transmettre des donnes un dbit suprieur R, avec R = C bits/s. FAUX R > C est possible mais avec erreurs R = C est la limite garantissant une transmission sans erreur. Page 7 Capacit de canal Soit C( ) la capacit dun canal BSC, avec dsignant la probabilit derreur. Alors C(1) < C(0.5) Page 8 Capacit de canal Soit C( ) la capacit dun canal BSC, avec dsignant la probabilit derreur. Alors C(1) < C(0.5) FAUX C( ) = 1 H( ) H( ) = - log( ) (1- )log(1- ) H(0.5) = 1 C(0.5) = 0 H(1) = 0 C(1) = 1 Page 9 Capacit de canal Soit C1 un canal AWGN de largeur de bande W, avec une puissance mise P et une dsp de bruit N 0 /2. Soit C2 un canal AWGN avec la mme largeur de bande et pour la mme puissance que C1, mais une dsp de bruit valant S n (f). La puissance totale de bruit pour les 2 canaux est la mme. Le capacit de C2 est suprieure celle de C1. Page 10 Capacit de canal Soit C1 un canal AWGN de largeur de bande W, avec une puissance mise P et une dsp de bruit N 0 /2. Soit C2 un canal AWGN avec la mme largeur de bande et pour la mme puissance que C1, mais une dsp de bruit valant S n (f). La puissance totale de bruit pour les 2 canaux est la mme. Le capacit de C2 est suprieure celle de C1. FAUX Le bruit blanc est le pire cas. Page 11 Capacit de canal Soit X n {0,1} avec Pr(X n =1) = 0.4, et produisant 1 bit/seconde. {X n } ne peut pas tre transmis sans erreur sur un canal BSC dont la probabilit derreur vaut = 0.05. Page 12 Capacit de canal Soit X n {0,1} avec Pr(X n =1) = 0.4, et produisant 1 bit/seconde. {X n } ne peut pas tre transmis sans erreur sur un canal BSC dont la probabilit derreur vaut = 0.05. VRAI Entropie de la source: H Source 0.53 + 0.44 = 0.97 Dbit pour la source : H = 0.97 bits/seconde Capacit du canal : C 0.714 bits/seconde H > C

Recommended

View more >