Entropie mutuelle I(X;X) = H(X) H(X|Y) = H(Y|X). Entropie mutuelle I(X;X) = H(X) VRAI I(X;Y) = H(Y) – H(Y|X) I(X;X) = H(X) – H(X|X) = H(X) H(X|Y) = H(Y|X)

  • Published on
    03-Apr-2015

  • View
    105

  • Download
    3

Embed Size (px)

Transcript

  • Page 1
  • Entropie mutuelle I(X;X) = H(X) H(X|Y) = H(Y|X)
  • Page 2
  • Entropie mutuelle I(X;X) = H(X) VRAI I(X;Y) = H(Y) H(Y|X) I(X;X) = H(X) H(X|X) = H(X) H(X|Y) = H(Y|X) FAUX, en gnral
  • Page 3
  • Entropie mutuelle On considre les variables discrtes alatoires X et Y. Y = f (X) avec f une fonction dterministe. I(X;Y) = H(Y)
  • Page 4
  • Entropie mutuelle On considre les variables discrtes alatoires X et Y. Y = f (X) avec f une fonction dterministe. I(X;Y) = H(Y) VRAI I(X;Y) = H(Y) H(Y|X) = H(Y) H(f (X)|X) = H(Y)
  • Page 5
  • Capacit de canal Soit C la capacit dun canal en bits/seconde. Il nest pas possible de transmettre des donnes un dbit suprieur R, avec R = C bits/s.
  • Page 6
  • Capacit de canal Soit C la capacit dun canal en bits/seconde. Il nest pas possible de transmettre des donnes un dbit suprieur R, avec R = C bits/s. FAUX R > C est possible mais avec erreurs R = C est la limite garantissant une transmission sans erreur.
  • Page 7
  • Capacit de canal Soit C( ) la capacit dun canal BSC, avec dsignant la probabilit derreur. Alors C(1) < C(0.5)
  • Page 8
  • Capacit de canal Soit C( ) la capacit dun canal BSC, avec dsignant la probabilit derreur. Alors C(1) < C(0.5) FAUX C( ) = 1 H( ) H( ) = - log( ) (1- )log(1- ) H(0.5) = 1 C(0.5) = 0 H(1) = 0 C(1) = 1
  • Page 9
  • Capacit de canal Soit C1 un canal AWGN de largeur de bande W, avec une puissance mise P et une dsp de bruit N 0 /2. Soit C2 un canal AWGN avec la mme largeur de bande et pour la mme puissance que C1, mais une dsp de bruit valant S n (f). La puissance totale de bruit pour les 2 canaux est la mme. Le capacit de C2 est suprieure celle de C1.
  • Page 10
  • Capacit de canal Soit C1 un canal AWGN de largeur de bande W, avec une puissance mise P et une dsp de bruit N 0 /2. Soit C2 un canal AWGN avec la mme largeur de bande et pour la mme puissance que C1, mais une dsp de bruit valant S n (f). La puissance totale de bruit pour les 2 canaux est la mme. Le capacit de C2 est suprieure celle de C1. FAUX Le bruit blanc est le pire cas.
  • Page 11
  • Capacit de canal Soit X n {0,1} avec Pr(X n =1) = 0.4, et produisant 1 bit/seconde. {X n } ne peut pas tre transmis sans erreur sur un canal BSC dont la probabilit derreur vaut = 0.05.
  • Page 12
  • Capacit de canal Soit X n {0,1} avec Pr(X n =1) = 0.4, et produisant 1 bit/seconde. {X n } ne peut pas tre transmis sans erreur sur un canal BSC dont la probabilit derreur vaut = 0.05. VRAI Entropie de la source: H Source 0.53 + 0.44 = 0.97 Dbit pour la source : H = 0.97 bits/seconde Capacit du canal : C 0.714 bits/seconde H > C